Il robots.txt è un file di testo posto nella radice del sito che fornisce indicazioni ai crawler su quali sezioni scansionare o ignorare.
Come funziona
Usa direttive come User-agent (a quale bot si rivolge) e Disallow (cosa non scansionare). Può anche indicare la posizione della sitemap.
Errore da evitare: un
Disallow: / lasciato per sbaglio blocca l'intero sito ai motori di ricerca. È una causa frequente di problemi di indicizzazione.