Cos'è il file robots.txt?
Il robots.txt è un semplice file di testo che risiede nella radice del tuo sito (ad esempio tuodominio.it/robots.txt) e funge da regolamento interno per i crawler dei motori di ricerca, come Googlebot. In poche righe indica quali sezioni del sito possono essere visitate e quali devono essere ignorate.
Non si tratta di un meccanismo di sicurezza — chiunque può leggere il tuo robots.txt — ma di uno strumento di gestione del crawl budget, ovvero delle risorse che Google dedica alla scansione del tuo sito.
La sintassi base: User-agent, Disallow, Allow
Un file robots.txt è composto da blocchi di istruzioni. I tre elementi fondamentali sono:
- User-agent: specifica a quale crawler si applica la regola. Il simbolo * indica tutti i bot.
- Disallow: indica i percorsi vietati alla scansione.
- Allow: permette l'accesso a sottocartelle di una sezione altrimenti bloccata.
Un esempio pratico per una PMI con un'area amministrativa privata:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://tuodominio.it/sitemap.xmlPerché conta per una PMI?
Se il tuo sito ha poche decine di pagine pubbliche, un robots.txt mal configurato può fare danni sproporzionati. Google potrebbe sprecare risorse a scansionare pagine di login, risultati di ricerca interna o pagine duplicate, ignorando invece le pagine di prodotto o servizio che vuoi davvero posizionare.
Un robots.txt ben impostato consente a Google di concentrarsi sui contenuti che generano valore per il tuo business.
Gli errori più comuni da evitare
- Bloccare CSS e JavaScript: Google ha bisogno di caricare questi file per interpretare il layout del sito. Bloccarli impedisce il rendering corretto delle pagine.
- Bloccare l'intero sito: un Disallow: / globale rende il sito invisibile a tutti i motori. È l'errore più grave e, purtroppo, non così raro.
- Dimenticare di aggiornarlo dopo ristrutturazioni del sito o migrazioni a nuove piattaforme.
Come verificarlo su Google Search Console
Google Search Console offre uno strumento chiamato Tester robots.txt (nella sezione Impostazioni → Scansione) che ti permette di simulare il comportamento di Googlebot su qualsiasi URL del tuo sito. Puoi così scoprire se stai bloccando involontariamente pagine importanti prima che il danno si verifichi in modo concreto.
Domande frequenti
Il robots.txt è obbligatorio? No, ma è fortemente consigliato. Senza di esso i crawler possono visitare liberamente tutte le sezioni del sito, incluse quelle che preferiresti tenere private o fuori dall'indice.
Il robots.txt nasconde le pagine dai risultati di ricerca? No. Bloccare una pagina con robots.txt impedisce la scansione, ma la pagina può comunque apparire nei risultati se altri siti la linkano. Per escluderla dall'indice usa il meta tag noindex.
Approfondisci come Google gestisce le risorse di scansione nell'articolo sul crawl budget, o torna alla guida completa sulla SEO tecnica per PMI.