Tester di robots.txt
Ultimo aggiornamento: 2026-10-30
Incolla un file robots.txt, inserisci un URL e scegli un crawler. Il tester applica le regole documentate da Google (il gruppo user-agent più specifico, la regola corrispondente più lunga, le wildcard e l’ancora $) e mostra se l’URL può essere scansionato e quale riga lo decide.
Un URL bloccato può comunque comparire nei risultati di ricerca senza descrizione se altre pagine lo linkano. Per tenere una pagina fuori dai risultati, consenti la scansione e usa invece un tag noindex.
Gira nel tuo browser. Nulla di ciò che inserisci viene inviato altrove.
Come funziona
Un gruppo per crawler
Un crawler segue il gruppo con il proprio nome user-agent e ignora gli altri; più gruppi con lo stesso nome vengono uniti. Solo quando nessun gruppo lo nomina segue il gruppo *. I numeri di versione e un * finale dopo il nome vengono ignorati.
Vince la regola più lunga
Tra le regole allow e disallow che corrispondono al percorso dell’URL decide quella con il percorso più lungo. Se una regola allow e una disallow sono lunghe uguali, vince la allow.
Wildcard e ancora di fine
* sta per qualsiasi sequenza di caratteri e $ alla fine significa che l’URL deve terminare lì. I percorsi distinguono maiuscole e minuscole e includono la query string.
Contano solo quattro campi
Google legge user-agent, allow, disallow e sitemap. Le altre righe, come crawl-delay, vengono ignorate, e il tester le elenca così sai quali sono.
Basato su: Google: come Google interpreta la specifica robots.txt
Fallo su ogni pagina con GSC Magic
Questo controllo verifica un URL rispetto a un file incollato. Con GSC Magic, il tuo agente AI può ispezionare centinaia di URL tramite l’API URL Inspection di Google e vedere quali Google segnala davvero come bloccati da robots.txt.
Ispeziona gli URL della nostra sitemap ed elenca tutti quelli che Google segnala come bloccati da robots.txt.
Quali pagine con impressioni negli ultimi 90 giorni sono ora bloccate da robots.txt?
Domande
Dov’è finito il tester di robots.txt di Search Console?
Google ha ritirato il vecchio tester e lo ha sostituito con il report robots.txt di Search Console, che mostra i file scaricati da Google e i loro errori. Questo tool controlla come le regole trattano un URL specifico.
Bloccare una pagina in robots.txt la rimuove da Google?
No. Un URL disallow può comunque essere indicizzato senza il suo contenuto se altre pagine lo linkano. Usa un tag noindex su una pagina scansionabile per tenerla fuori dai risultati.
I crawler AI seguono robots.txt?
I crawler dell’elenco, come GPTBot, OAI-SearchBot, ClaudeBot e PerplexityBot, sono documentati dai loro operatori come rispettosi di robots.txt. Ognuno segue il proprio gruppo, o il gruppo * quando non ne ha uno.
Il risultato è esattamente quello che fa Googlebot?
Il tester segue l’interpretazione pubblicata da Google del Robots Exclusion Protocol. Google mette anche in cache robots.txt fino a un giorno e tratta in modo speciale gli errori del server, quindi dopo aver modificato il file controlla il report robots.txt in Search Console.
Guide sul blog: Bloccata da robots.txt: trova la regola e decidi se sbloccare