Il crawl budget è la quantità di pagine che i crawler di Google scansionano su un sito in un determinato arco di tempo. Dipende dalla dimensione del sito, dalla sua salute tecnica e dalla sua autorevolezza.
Quando è importante
Per i piccoli siti (poche centinaia di pagine) non è un problema: Google riesce a scansionare tutto. Diventa rilevante per siti molto grandi (e-commerce con migliaia di prodotti), dove sprecare crawl budget su pagine inutili può rallentare l'indicizzazione di quelle importanti.
Come non sprecarlo
Evita pagine duplicate (usa il canonical), blocca via robots.txt le sezioni inutili e mantieni una sitemap pulita.