Indicizzata nonostante robots.txt: sbloccala o mettila in noindex

Ultimo aggiornamento: 2026-10-30

In breve

Questo avviso significa che Google ha indicizzato l’URL anche se robots.txt ne blocca la scansione, di solito perché altre pagine lo collegano. Google non può leggere la pagina, quindi ogni snippet è molto limitato. Se vuoi la pagina fuori da Google, rimuovi il blocco e aggiungi noindex; se la vuoi in Google, rimuovi il blocco.

Etichetta esatta in Search Console: Indexed, though blocked by robots.txt

Cosa significa

Google lo elenca tra gli avvisi nella tabella Migliora l’esperienza della pagina del report Indicizzazione delle pagine: problemi che non impediscono l’indicizzazione ma riducono la capacità di Google di capire le tue pagine. Google dice che rispetta sempre robots.txt, ma questo non impedisce necessariamente l’indicizzazione se qualcuno collega la pagina. Google non richiederà e non scansionerà la pagina, ma può comunque indicizzarla usando le informazioni delle pagine che la collegano, e qualsiasi snippet mostrato nei risultati sarà probabilmente molto limitato.

La guida di Google a robots.txt dice lo stesso: un URL vietato può comunque comparire nei risultati, potenzialmente con l’URL e l’anchor text dei link, ma senza descrizione. Controllo URL aggiunge un avviso: per una pagina bloccata da robots.txt, Indicizzazione consentita? mostra sempre Sì, perché Google non può vedere alcuna direttiva noindex su di essa.

È un problema?

Dipende da cosa volevi. Se hai bloccato l’URL per tenerlo fuori da Google, il blocco non ha fatto quel lavoro e ti serve noindex. Se l’URL deve stare in Google con uno snippet adeguato, il blocco lo penalizza. In entrambi i casi, robots.txt è lo strumento sbagliato per il risultato che cerchi.

Cause comuni

Usare robots.txt per nascondere pagine

Bloccare pagine in robots.txt sperando di tenerle fuori dalla ricerca, mentre sono collegate dal tuo sito o da altri.

Regole ampie su URL collegati

Regole Disallow che coprono sezioni che le persone collegano, come PDF, URL con parametri o vecchie directory.

Blocco sopra un noindex

Aggiungere un blocco robots.txt a una pagina che ha già noindex, cosa che impedisce a Google di vedere il noindex.

URL bloccati nelle sitemap

Sitemap che elencano URL vietati dal tuo robots.txt. Google lo cita come causa di picchi di errori nel report.

Come risolverlo

  1. Decidi se ogni pagina appartiene a Google. Passa in rassegna gli URL di esempio e dividili tra pagine che vuoi indicizzate e pagine che vuoi eliminare.
  2. Per rimuoverla: sblocca e metti noindex. Rimuovi la regola robots.txt per quegli URL e aggiungi un robots meta tag noindex o un header X-Robots-Tag. Quando Google riscansiona e vede noindex, rimuove la pagina. Per i casi urgenti, lo strumento Rimozioni nasconde un URL per circa sei mesi mentre noindex fa effetto.
  3. Per tenerla: sbloccala. Rimuovi o restringi la regola Disallow così Google può scansionare la pagina e costruire uno snippet completo. Controlla in Controllo URL che Scansione consentita? dica ora Sì.
  4. Ripulisci link e sitemap. Rimuovi gli URL bloccati dalle sitemap e smetti di collegare URL che non vuoi indicizzare.
  5. Chiedi una nuova scansione di robots.txt. Dopo aver modificato il file, chiedi una nuova scansione nel report robots.txt così Google recepisce prima il cambiamento.

Verificalo con GSC Magic

gsc_inspect_urls_batch restituisce sia lo stato di robots.txt sia il verdetto di indicizzazione per ogni URL, così il tuo assistente può elencare gli URL indicizzati nonostante il divieto e raggrupparli per la directory coperta da una regola. gsc_query_analytics mostra se quegli URL ottengono davvero impressioni, il che aiuta a scegliere tra sbloccare e mettere in noindex, e report_index_health trova gli URL vietati dentro la tua sitemap. La dashboard di GSC Magic ha un controllo rapido di robots.txt e sitemap che mostra le regole live accanto alle tue sitemap.

gsc_inspect_urls_batchgsc_query_analyticsgsc_inspect_urlreport_index_health

Prompt da copiare

Controlla questi URL ed elenca ogni caso indicizzato nonostante robots.txt ne vieti la scansione, raggruppato per directory.

Per gli URL indicizzati nonostante robots.txt, mostra impressioni e clic degli ultimi 3 mesi così decido quali sbloccare e quali mettere in noindex.

Esegui un controllo di salute dell’indice sulla mia sitemap ed elenca gli URL inviati che robots.txt blocca.

Tester di robots.txt →

Guide sul blog

Blocked by robots.txt

Bloccata da robots.txt significa che una regola nel tuo file robots.txt impedisce a Googlebot di scansionare l’URL, quindi Google non può indicizzarne il contenuto. Se il blocco è voluto, lascialo. Se la pagina deve stare in Google, rimuovi o restringi la regola; se la vuoi fuori da Google, usa noindex, perché robots.txt non impedisce l’indicizzazione in modo affidabile.

 Excluded by 'noindex' tag

Questo stato significa che Google ha scansionato la pagina, ha trovato una regola noindex in un robots meta tag o in un header HTTP X-Robots-Tag, e quindi non l’ha indicizzata. Se non vuoi la pagina in Google, funziona così. Se la vuoi, rimuovi il noindex alla fonte, conferma con Test URL live e chiedi l’indicizzazione.

 Page indexed without content

Questo avviso significa che l’URL è nell’indice di Google, ma Google non ha potuto leggerne il contenuto. Google indica due possibili motivi: la pagina potrebbe fare cloaking verso Google, oppure essere in un formato che Google non può indicizzare. Controlla l’URL e verifica cosa ha effettivamente ricevuto Googlebot.

Domande frequenti

Perché Google ha indicizzato una pagina che non può scansionare?

Perché bloccare la scansione non è come bloccare l’indicizzazione. Google dice che può indicizzare l’URL usando le informazioni delle pagine che lo collegano, senza scansionare la pagina stessa.

Posso aggiungere noindex e tenere il blocco robots.txt?

No. Google non può vedere noindex su una pagina che non è autorizzato a scansionare. Prima rimuovi il blocco, poi aggiungi noindex.

È un errore?

Google lo elenca come avviso, non come motivo per cui una pagina non è indicizzata. La pagina è indicizzata, ma con uno snippet molto limitato e senza che Google ne abbia letto il contenuto.

Come rimuovo questi URL in fretta?

Usa lo strumento Rimozioni in Search Console, che secondo Google nasconde un URL per circa sei mesi, e aggiungi noindex lasciando consentita la scansione così la rimozione diventa permanente.

Fonti