Menu

Valutazione attuale: 1 / 5

Stella attivaStella inattivaStella inattivaStella inattivaStella inattiva
 

TOOLS

Creare il file robots.txt


Nella lezione ABC Il file robots.txt abbiamo visto come creare manualmente il file robots.txt, un file che ha la funzione di fornire istruzioni precise agli spider su quello che può e quello non può fare all'interno del sito.

Tramite alcuni strumenti on-line è possibile creare in modo semplice questo importante file.
Tra i vari, utilizziamo in questa lezione lo strumento Robots.txt File Generator di SEO Book.

Creare file robots.txt

Vediamo i vari elementi dello strumento:

  1. Default robots access: qui si definisce l'accesso predefinito degli spider (selezionando Allow all robots l'accesso è consentito  di default a tutti gli spider; selezionando Disallow all robots, al contrario, vietiamo l'accesso al sito a tutti gli spider);
  2. Additional rules: qui inseriamo le istruzioni specifiche del file robots.txt, come vedremo fra poco;
  3. Sitemap (optional): qui è possibile scrivere il percorso della Sitemap, in modo da inserirla nel file robots.txt (questo ci assicura una migliore scansione da parte dello spider);
  4. Your Robots.txt File: in questo campo comparirà in automatico il file robots.txt, in base ai dati che abbiamo inserito nelle prime tre sezioni.

Scriviamo il file robots.txt, lasciando selezionato “Allow all robots” nella sezione Default robots access: in questo modo, a meno di ulteriori istruzioni più specifiche, tutti gli spider possono accedere all'interno del sito (possono accedere a tutte le pagine e a tutti gli elementi come immagini, pdf, video, ecc).
Vediamo come funziona l'inserimento delle istruzioni robots su Additional robots.txt.

Generatore del robots.txt
Lo strumento si divide in tre elementi:
1) Action: definisce se vogliamo vietare o permettere l'accesso dello spider ad un determinato elemento (rispettivamente Disallow o Allow);
2) Robot: qui indichiamo lo spider al quale è diretta l'istruzione (lasciando “all” è diretta a qualsiasi spider);
3) File o directories: definiamo quale file o cartella del sito è oggetto delle istruzioni robots.

Facciamo un esempio.
Ipotizziamo di voler vietare a tutti gli spider l'accesso alla cartella /administrator/ del sito (http://www.miosito.it/administrator).

Creare file robots.txt con SEO Book

Come vediamo nell'immagine, impostiamo la regola “Disallow” (vietiamo l'accesso) per tutti gli spider (“all”) e indichiamo la cartella /administrator/ che è oggetto del divieto (è importante iniziare con / e chiudere, se è una cartella, con un altro /). Clicchiamo quindi sul pulsante “Add” e vediamo comparire la regola nel file robots.txt.

Generatore file robots
Allo stesso modo possiamo permettere l'accesso a determinati elementi, tramite l'istruzione “Allow”.
Ipotizziamo di voler permettere l'accesso dello spider Googlebot-Image al file /administrator/immagine.jpg del sito (http://www.miosito.it/administrator/immagine.jpg). Ricordiamo che prima l'accesso alla cartella principale /administrator/ è stato vietato a tutti gli spider: in questo modo sarà possibile accedere, esclusivamente per lo spider Googlebot-Image, ad un file contenuto all'interno della cartella /administrator/ .

Creare il file robots con SEO Book

Come vediamo nell'immagine, assegnamo l'istruzione “Allow” per il robot Googlebot-Image e indichiamo il percorso dell'immagine. Cliccando “Add” questa regola compare sul file robots.txt.

A questo punto copiamo il testo in un file nel formato txt e codifica UTF-8, nominiamolo come robots.txt e inseriamolo nel percorso principale del sito (http://www.miosito.it/robots.txt).

Il file sarà così letto dagli spider dei motori di ricerca prima che inizino la scansione del sito.

seocenter.it
RIPRODUZIONE RISERVATA


Hai trovato interessante o utile l'articolo? Condividilo con altre persone!


Come ottimizzare i siti web ed essere primi sui motori di ricerca?

Segui il Corso SEO professionale:


  • 120 video lezioni in HD
  • oltre 22 ore di spiegazioni ed esempi
  • accesso all'area didattica 24 su 24
  • documentazione e linkografia per approfondimenti
  • aggiornamenti costanti
  • attestato di partecipazione

Aumenta la visibilità del tuo sito web.Il Corso SEO è disponibile online. Da subito, sul tuo PC, tablet o smartphone.

Inizia adesso