Menu

TUTS

Testare robots.txt con GWT


Abbiamo visto in una lezione ABC cos'è il file robots.txt e quali sono le istruzioni che possiamo dare agli spider dei motori di ricerca.

Una volta scritto o modificato il file robots.txt è importante verificare che non vi siano errori. Un'istruzione errata potrebbe ad esempio impedire l'accesso a determinati contenuti agli spider, con la conseguente impossibilità di una loro indicizzazione.

Per testare il file robots.txt possiamo utilizzare il Tester dei file robots.txt di Strumenti per Webmaster di Google (GWT). Questo servizio ci permette di analizzare il file dal punto di vista degli spider di Google (Googlebot, Googlebot-Image, ecc).

Accediamo alla sezione Scansione Tester dei file robots.txt.

Tester robots.txt di Strumenti per Webmaster di Google

Ci compare il file robots.txt del sito, con l'indicazione di eventuali errori di scrittura o avvisi da parte di Google.

Testare errori robots.txt

Nella parte sottostante troviamo lo strumento di test.

Testare file robots.txt Google

Inserendo l'URL e cliccando su "Testa" possiamo testare la risposta dello spider (accesso consentito o accesso bloccato) in merito ad una determinata pagina web o un elemento (immagini, pdf, ecc). È possibile ottenere la risposta sia per lo spider principale (Googlebot) che per gli spider specifici (Googlebot-Image, Googlebot-News, Googlebot-Video, Googlebot-Mobile).

Nell'esempio sottostante verifichiamo se lo spider Googlebot-Image può accedere o meno ad una determinata immagine.

Tester robots.txt di GWT

Come notiamo il tester ci segnala che l'accesso è bloccato, indicandoci anche quale istruzione determina tale blocco.
Questo ci permette, nel caso in cui fosse necessario, di sapere quale istruzione robots occorre modificare (per approfondimenti rimandiamo alla lezione ABC Il file robots.txt).

Se invece l'accesso ad un elemento (in questo esempio un'altra immagine) è consentito, oltre alla segnalazione “Consentito” ci viene indicata l'istruzione robots che determina questa risposta.

Tester dei file robots.txt di Strumenti per Webmaster di Google

seocenter.it
RIPRODUZIONE RISERVATA


Hai trovato interessante o utile l'articolo? Condividilo con altre persone!


Come ottimizzare i siti web ed essere primi sui motori di ricerca?

Segui il Corso SEO professionale:


  • 120 video lezioni in HD
  • oltre 22 ore di spiegazioni ed esempi
  • accesso all'area didattica 24 su 24
  • documentazione e linkografia per approfondimenti
  • aggiornamenti costanti
  • attestato di partecipazione

Aumenta la visibilità del tuo sito web.Il Corso SEO è disponibile online. Da subito, sul tuo PC, tablet o smartphone.

Inizia adesso