Bloccata da robots.txt: trova la regola e decidi se sbloccare

Ultimo aggiornamento: 2026-10-30

In breve

Bloccata da robots.txt significa che una regola nel tuo file robots.txt impedisce a Googlebot di scansionare l’URL, quindi Google non può indicizzarne il contenuto. Se il blocco è voluto, lascialo. Se la pagina deve stare in Google, rimuovi o restringi la regola; se la vuoi fuori da Google, usa noindex, perché robots.txt non impedisce l’indicizzazione in modo affidabile.

Etichetta esatta in Search Console: Blocked by robots.txt

Cosa significa

La guida di Google sull’indicizzazione delle pagine dice che la pagina è stata bloccata dal file robots.txt del tuo sito e avverte che questo non garantisce che la pagina non venga indicizzata in altro modo: se Google può trovare informazioni sulla pagina senza caricarla, c’è una piccolissima possibilità che venga comunque indicizzata. Quel caso è riportato separatamente come Indicizzata nonostante sia bloccata da robots.txt. L’articolo di aiuto di Google intitola questo motivo URL bloccato da robots.txt; la riga del report dice Bloccata da robots.txt.

Google descrive robots.txt come uno strumento per gestire il traffico dei crawler, non come un modo per tenere una pagina fuori da Google. Googlebot lo rispetta, ma una pagina bloccata può comunque comparire nei risultati senza descrizione se altre pagine la collegano. Un file robots.txt vale solo per il proprio protocollo e host, e Google lo tiene in cache in genere fino a 24 ore, quindi le modifiche non vengono recepite subito.

È un problema?

No, se l’hai voluto. Aree di amministrazione, carrello e checkout, ricerca interna e combinazioni infinite di filtri sono spesso bloccati di proposito, e Google dice che gli URL bloccati da robots.txt sono probabilmente bloccati intenzionalmente. È un problema quando pagine importanti o intere sezioni vengono colte da una regola troppo ampia, da un robots.txt di staging finito in produzione o da un’impostazione del CMS.

Cause comuni

Blocchi intenzionali

URL privati, di utilità o trappole di scansione che hai scelto di tenere lontani dai crawler.

Modelli troppo ampi

Un Disallow su un prefisso di percorso corto, o un modello con wildcard, che corrisponde a molti più URL del previsto.

Residui di staging o di lancio

Un Disallow generale per tutti gli user agent copiato da un sito di sviluppo.

Impostazioni di CMS o plugin

Impostazioni della piattaforma che scrivono regole robots.txt al posto tuo, a volte su un’intera sezione.

Un file diverso da quello che pensi

Ogni protocollo e host ha il suo robots.txt. Un sottodominio o la versione HTTP possono avere regole diverse dal file che hai modificato.

Come risolverlo

  1. Trova la regola. Controlla un URL di esempio: Scansione consentita? mostra se robots.txt lo blocca. Il report robots.txt in Search Console mostra quali file robots.txt Google ha trovato per i tuoi host, quando è stato recuperato ciascuno e eventuali problemi di analisi.
  2. Decidi sezione per sezione. Mantieni i blocchi per gli URL che non devono essere scansionati. Per le pagine che appartengono a Google, rimuovi la riga Disallow corrispondente o aggiungi una regola Allow più specifica.
  3. Usa noindex per tenere le pagine fuori da Google. Se l’obiettivo è tenere una pagina fuori dai risultati di ricerca, rimuovi il blocco robots.txt e aggiungi noindex. Google non può vedere una regola noindex su una pagina che non è autorizzato a scansionare.
  4. Chiedi una nuova scansione di robots.txt dopo modifiche importanti. Google riscansiona spesso robots.txt, ma dopo aver sbloccato URL importanti puoi chiedere una nuova scansione del file nel report robots.txt. Google nota che questo non garantisce una riscansione immediata delle pagine sbloccate.
  5. Testa e verifica. Esegui Test URL live sulle pagine sbloccate, poi clicca Verifica correzione se hai sbloccato un intero gruppo di URL.

Verificalo con GSC Magic

gsc_inspect_urls_batch riporta lo stato di robots.txt per ogni URL, così il tuo assistente può confermare se pagine importanti sono bloccate e quali directory copre una regola. report_index_health applica lo stesso controllo a ogni URL di una sitemap, dove nulla dovrebbe essere bloccato. Nella dashboard di GSC Magic, il controllo rapido di robots.txt e sitemap per ogni sito mostra il robots.txt live accanto alle tue sitemap.

gsc_inspect_urls_batchreport_index_healthgsc_inspect_url

Prompt da copiare

Controlla questi URL ed elenca ogni caso in cui la scansione è vietata da robots.txt. Raggruppali per directory così vedo quale regola è probabilmente responsabile.

Esegui un controllo di salute dell’indice sulla mia sitemap e dimmi se qualche URL inviato è bloccato da robots.txt.

Ecco il mio file robots.txt. Dimmi a quali di questi 50 URL corrisponde ogni regola Disallow e segnala le regole che bloccano URL elencati nella mia sitemap.

Tester di robots.txt →

Guide sul blog

Indexed, though blocked by robots.txt

Questo avviso significa che Google ha indicizzato l’URL anche se robots.txt ne blocca la scansione, di solito perché altre pagine lo collegano. Google non può leggere la pagina, quindi ogni snippet è molto limitato. Se vuoi la pagina fuori da Google, rimuovi il blocco e aggiungi noindex; se la vuoi in Google, rimuovi il blocco.

 Excluded by 'noindex' tag

Questo stato significa che Google ha scansionato la pagina, ha trovato una regola noindex in un robots meta tag o in un header HTTP X-Robots-Tag, e quindi non l’ha indicizzata. Se non vuoi la pagina in Google, funziona così. Se la vuoi, rimuovi il noindex alla fonte, conferma con Test URL live e chiedi l’indicizzazione.

 Discovered - currently not indexed

Rilevata ma non indicizzata significa che Google ha trovato l’URL, tramite un link o una sitemap, ma non l’ha ancora scansionato. Google dice che di solito ha rinviato la scansione perché si aspettava che avrebbe sovraccaricato il sito. Risolvi tagliando gli URL di poco valore, migliorando la risposta del server e collegando le pagine che contano.

Domande frequenti

robots.txt tiene una pagina fuori da Google?

No. Google dice che robots.txt non è un meccanismo per tenere una pagina web fuori da Google. Un URL bloccato può comunque essere indicizzato dai link, senza il suo contenuto. Usa noindex o la protezione con password.

Posso mettere noindex in robots.txt?

No. Google dice che una regola noindex in robots.txt non è supportata. Usa un tag robots meta o l’header HTTP X-Robots-Tag sulla pagina stessa.

Quanto velocemente Google vede un cambiamento in robots.txt?

Google tiene in cache robots.txt in genere fino a 24 ore. Dopo un cambiamento importante puoi chiedere una nuova scansione del file nel report robots.txt.

E se robots.txt stesso restituisce un errore?

La specifica di Google per robots.txt dice che se il file restituisce un errore del server, Google smette di scansionare il sito per le prime 12 ore, poi usa l’ultima copia valida per un massimo di 30 giorni mentre riprova. Una risposta 4xx diversa da 429 viene trattata come se robots.txt non esistesse.

Fonti