Un crawler (detto anche spider o bot) è il programma con cui i motori di ricerca esplorano il web: segue i link, legge le pagine e ne raccoglie il contenuto per l'indicizzazione. Il crawler di Google si chiama Googlebot.
Come funziona
Parte da pagine note, segue i link che trova e scopre nuove pagine, tornando periodicamente per rilevare gli aggiornamenti. Quante risorse dedica a un sito dipende dal crawl budget.
Come agevolarlo
Struttura chiara, link interni, sitemap aggiornata e nessun blocco involontario nel robots.txt.