Qual è il file robots.txt?

Quando crei il tuo sito, molto probabilmente vorrà che sia su Google o altri motori di ricerca.Fortunatamente, hanno i loro robot o "crawlers."Quel percorsi su Internet ai siti indice. Questi robot possono essere controllati in come interagiscono con il tuo sito attraverso un file di testo. Questo sarebbe il robots.txt file.Questo file contiene regole con cui i bot che visitano il tuo sito sono invitati a seguire.Questo può generalmente essere una buona cosa ma può anche essere una brutta cosa per la tua valutazione se configurata in modo errato.

Che aspetto ha un file robots.txt?

Ecco un paio di esempi diversi di ciò che questo file potrebbe sembrare per te.

Consenti a tutti i robot Accesso completo

User-Agent: * Non consentire:

Blocca tutti gli accessi per i robot

User-Agent: * Non consentire: /

Impostare il ritardo di crawl su 10 secondi

User-Agent: * Ritardo di crawl: 10

Impostando un ritardo di crawl di 10 secondi, stai limitando questi motori di ricerca per indicizzare il tuo sito web.Se si dispone di un VPS con una quantità limitata di risorse e le tue pagine non sono ottimizzate per gestire un improvviso picco del traffico Web, è possibile considerare l'aggiornamento del server Cloud VPS per avere più risorse e aggiungere un ritardo di crawl

Quelli sono solo un paio di modelli molto generali per il file robots.txt.È possibile utilizzarlo per bloccare l'accesso a una singola cartella o anche solo un singolo file se lo desiderato.Ogni voce all'interno del file robots.txt avrà un campo utente-agente con qualcosa accanto ad esso.L'asterisco indica un carattere jolly, dove si applicherebbe a tutti.Se vuoi impostarlo per un bot specifico, lo metti in questo campo.Qualsiasi linea dopo che si applica a quell'agente utente fino a quando non viene specificato uno nuovo.Ad esempio, nel file qui sotto, per Google, bloccherebbe la cartella / TMP sul sito, ma per tutti gli altri robot, tutte le cartelle potrebbero essere consentite (inclusa la cartella / TMP).

User-Agent: GoogleBot non consentire: / TMP / User-Agent: * Non consentire:

Come puoi vedere, puoi usarlo per evitare che i robot dedicano i file privati o addirittura inutili directory.Sebbene la memorizzazione dei robot che esistono su Internet, sono disponibili varie risorse per trovarli.

Ci sono molte cose che i robot.txt possono fare per influenzare i crawler del sito, ma prevenire l'accesso è il più comune.Altre opzioni includono l'opzione Ritardo di crawl.È possibile utilizzare questa opzione per rendere il ritardo del bot tra la strisciaggio delle pagine sul sito.

Se dovessi avere domande o desideri assistenza, ti preghiamo di contattarci attraverso la chat dal vivo o inviando un biglietto con il nostro team di supporto tecnico.