Menu

ABC

Meta tag robots e rel nofollow


Per dare istruzioni robots, cioè istruzioni agli spider dei motori di ricerca su cosa possono e non possono fare, possiamo utilizzare non solo il file robots.txt (come visto nella lezione ABC Il file robots.txt) ma anche il meta tag robots.
Questo metatag si distingue innanzitutto dal file robots.txt perché si riferisce alla singola pagina in cui è presente, e non al sito nel suo complesso.
Come il robots.txt segue sempre il Robots Exclusion Protocol (REP).

Questo meta tag, inserito nella head della pagina HTML, è dato dal seguente codice:

<meta name="robots" content="...">

Il valore per l'attributo content definisce l'istruzione allo spider relativo alla pagina:

  • index - si richiede di indicizzare la pagina (di inserirla cioè nell'archivio del motore di ricerca);
  • noindex - si richiede di non includere la pagina negli archivi del motore di ricerca;
  • follow - si richiede che tutti i link presenti nella pagina vengano seguiti; questo consente anche il passaggio di valore da una pagina all'altra, come avremo modo di vedere in modo molto ampio;
  • nofollow - si richiede di non seguire i link che da quella pagina puntano verso altre pagine.

I valori relativi all'indicizzazione (index/noindex) e quelli relativi ai link (follow/nofollow) vengono combinati tra loro.
Abbiamo così quattro alternative:

<meta name="robots" content="index, follow">

Si richiede di indicizzare la pagine e seguire tutti i link.

 

<meta name="robots" content="index, nofollow">

Si richiede di indicizzare la pagina ma non seguire i link.

 

<meta name="robots" content="noindex, follow">

Si richiede di non indicizzare la pagina, ma di seguire i link che da quella pagina portano ad altre pagine.

 

<meta name="robots" content="noindex, nofollow">

Si richiede allo spider di non indicizzare e non seguire i link di quella pagina.


Lasciando come name="robots" stiamo fornendo un'istruzione a tutti gli spider. Possiamo però restringere le istruzioni anche a singoli spider.
Ad esempio:

 

<meta name="googlebot" content="index, follow">

In questo caso l'istruzione riguarda specificatamente lo spider Googlebot.

 

Perché usare anche il meta tag robots, se già presente il file robots.txt?

  • Il file robots.txt impedisce del tutto l'accesso dello spider a determinate cartelle e file tramite l'istruzione Disallow, mentre il meta tag robots permette in ogni caso l'accesso alla pagina, istruendo lo spider sulla fase successiva: se indicizzare o meno la pagina, se deve seguire o meno i link; si tratta di un metodo che permette di istruire in modo ancora più preciso e specifico lo spider.
  • Può essere utile in particolare per i contenuti duplicati: ad esempio per le versioni in PDF o quelle stampabili, e in tutte quelle situazioni nelle quali preferiamo non mostrare una pagina specifica al motore di ricerca (anche se è consigliabile un altro metodo, la cosiddetta canonicalizzazione).
Il consiglio è quello di combinare sempre la presenza di un file robots.txt, per le istruzioni generali e per impedire l'accesso a determinate cartelle (soprattutto le cartelle legate alla parte amministrativa del sito), con l'aggiunta del meta tag robots applicata ad ogni singola pagina Web.

In assenza di istruzioni robots tutti gli spider tenderanno a indicizzare le pagine che incontrano e a seguire i link.

Non è quindi obbligatorio l'utilizzo di queste istruzioni, ma certamente migliorano la resa della scansione degli spider sulle nostre pagine.

 

Il rel="nofollow"

Abbiamo parlato dell'attributo nofollow per quanto riguarda il meta tag robots.
In questo modo noi indichiamo al motore di ricerca di non seguire tutti i link che da quella pagina puntano verso altre pagine esterne o interne.
Abbiamo però la possibilità anche di inserire l'istruzione nofollow per singoli link. Questo può essere utile se vogliamo ad esempio permettere allo spider di seguire i link della pagina, tranne alcuni specifici.

Per farlo possiamo utilizzare l'attributo rel="nofollow" del tag <a> relativo al singolo link.

Es.:

<a href="http://www.altrosito.it" rel="nofollow">Altrosito</a>

Con questa istruzione noi indichiamo al motore di ricerca che non riconosciamo il sito a cui la pagina linka, e che pertanto non intendiamo passare valore a quella pagina.

Quando può essere utilizzato?
Ad esempio se gestiamo un forum o se è presente un'area dei commenti ai nostri articoli, nei casi in cui vengano aggiunti dagli utenti link verso altri siti (spesso spam), e che in genere non possiamo verificare o che non sono sempre attinenti con le nostre pagine.

Un classico utilizzo del nofollow è quello operato dai social network.
Gran parte dei link presenti nei profili di Facebook, Twitter, Google Plus e praticamente tutti quelli inseriti nei post sono link nofollowed: questo significa che sono link che non passano valore alla pagina che riceve il link.

Segui anche la seconda parte della video lezione 42 del Corso SEO da cui è tratta questa lezione ABC.

seocenter.it
RIPRODUZIONE RISERVATA


Hai trovato interessante o utile l'articolo? Condividilo con altre persone!


Come ottimizzare i siti web ed essere primi sui motori di ricerca?

Segui il Corso SEO professionale:


  • 120 video lezioni in HD
  • oltre 22 ore di spiegazioni ed esempi
  • accesso all'area didattica 24 su 24
  • documentazione e linkografia per approfondimenti
  • aggiornamenti costanti
  • attestato di partecipazione

Aumenta la visibilità del tuo sito web.Il Corso SEO è disponibile online. Da subito, sul tuo PC, tablet o smartphone.

Inizia adesso