Bloqueada por robots.txt: encontre a regra e decida se deve desbloquear

Última atualização: 2026-10-30

Em resumo

“Bloqueada por robots.txt” significa que uma regra do seu arquivo robots.txt impede o Googlebot de rastrear a URL, então o Google não consegue indexar o conteúdo dela. Se o bloqueio é intencional, deixe como está. Se a página deve estar no Google, remova ou restrinja a regra; se você quer a página fora do Google, use noindex, porque o robots.txt não impede a indexação de forma confiável.

Rótulo exato no Search Console: Blocked by robots.txt

O que significa

A ajuda de indexação de páginas do Google diz que a página foi bloqueada pelo arquivo robots.txt do seu site e avisa que isso não garante que ela não seja indexada por outra via: se o Google consegue encontrar informações sobre a página sem carregá-la, há uma chance muito pequena de ela ainda ser indexada. Esse caso é informado separadamente como “Indexada, apesar de bloqueada por robots.txt”. O artigo de ajuda do Google dá a esse motivo o título URL bloqueada por robots.txt; a linha do relatório diz “Bloqueada por robots.txt”.

O Google descreve o robots.txt como ferramenta para administrar o tráfego de rastreadores, não como forma de manter uma página fora do Google. O Googlebot obedece ao arquivo, mas uma página bloqueada ainda pode aparecer nos resultados sem descrição se outras páginas linkarem para ela. Um arquivo robots.txt vale apenas para o próprio protocolo e host, e o Google geralmente o mantém em cache por até 24 horas, então mudanças não são percebidas na hora.

É um problema?

Não, se você quis isso. Áreas administrativas, carrinho e checkout, busca interna e combinações infinitas de filtros costumam ser bloqueados de propósito, e o Google diz que URLs bloqueadas por robots.txt provavelmente foram bloqueadas de propósito. Vira problema quando páginas importantes ou seções inteiras são atingidas por uma regra ampla demais, por um robots.txt de staging que foi para produção ou por uma configuração do CMS.

Causas comuns

Bloqueios intencionais

URLs privadas, utilitárias ou armadilhas de rastreamento das quais você decidiu manter os rastreadores afastados.

Padrões amplos demais

Um Disallow em um prefixo de caminho curto, ou um padrão com curinga, que atinge bem mais URLs do que você pretendia.

Sobras de staging ou de lançamento

Um Disallow geral para todos os user agents copiado de um site de desenvolvimento.

Configurações de CMS ou plugin

Configurações da plataforma que escrevem regras no robots.txt para você, às vezes cobrindo uma seção inteira.

Um arquivo diferente do que você pensa

Cada protocolo e host tem o próprio robots.txt. Um subdomínio ou a versão HTTP pode ter regras diferentes do arquivo que você editou.

Como corrigir

  1. Encontre a regra. Inspecione uma URL de exemplo: “Rastreamento permitido?” mostra se o robots.txt bloqueia. O relatório robots.txt do Search Console mostra quais arquivos robots.txt o Google encontrou para os seus hosts, quando cada um foi buscado pela última vez e eventuais problemas de análise.
  2. Decida seção por seção. Mantenha os bloqueios para URLs que não devem ser rastreadas. Para páginas que pertencem ao Google, remova a linha Disallow correspondente ou adicione uma regra Allow mais específica.
  3. Use noindex para manter páginas fora do Google. Se o objetivo é manter uma página fora dos resultados de busca, remova o bloqueio do robots.txt e adicione noindex. O Google não consegue ver uma regra noindex em uma página que não tem permissão para rastrear.
  4. Peça um novo rastreamento do robots.txt depois de mudanças grandes. O Google rastreia o robots.txt com frequência, mas depois de desbloquear URLs importantes você pode pedir um novo rastreamento do arquivo no relatório robots.txt. O Google observa que isso não garante um novo rastreamento imediato das páginas desbloqueadas.
  5. Teste e valide. Rode “Testar URL ativa” nas páginas desbloqueadas e depois clique em Validar correção se você desbloqueou um grupo inteiro de URLs.

Confira com o GSC Magic

gsc_inspect_urls_batch informa o estado do robots.txt de cada URL, então seu assistente confirma se páginas importantes estão bloqueadas e quais diretórios uma regra cobre. report_index_health aplica a mesma checagem a todas as URLs de um sitemap, onde nada deveria estar bloqueado. No painel do GSC Magic, a auditoria rápida de robots.txt e sitemap de cada site mostra o robots.txt ao vivo ao lado dos seus sitemaps.

gsc_inspect_urls_batchreport_index_healthgsc_inspect_url

Prompts para copiar

Inspecione estas URLs e liste todas em que o rastreamento está desautorizado pelo robots.txt. Agrupe por diretório para eu ver qual regra provavelmente é a responsável.

Faça uma checagem de saúde da indexação do meu sitemap e me diga se alguma URL enviada está bloqueada por robots.txt.

Aqui está meu arquivo robots.txt. Diga quais destas 50 URLs cada regra Disallow atinge e sinalize regras que bloqueiam URLs listadas no meu sitemap.

Testador de robots.txt →

Guias no blog

Indexed, though blocked by robots.txt

Esse aviso significa que o Google indexou a URL mesmo com o robots.txt bloqueando o rastreamento dela, geralmente porque outras páginas linkam para ela. O Google não consegue ler a página, então qualquer snippet fica muito limitado. Se você quer a página fora do Google, remova o bloqueio e adicione noindex; se quer a página no Google, remova o bloqueio.

 Excluded by 'noindex' tag

Esse status significa que o Google rastreou a página, encontrou uma regra noindex em uma meta tag robots ou em um cabeçalho HTTP X-Robots-Tag e por isso não a indexou. Se você não quer a página no Google, está funcionando. Se quer, remova o noindex na origem, confirme com “Testar URL ativa” e peça indexação.

 Discovered - currently not indexed

“Descoberta, mas não indexada” significa que o Google encontrou a URL, por meio de um link ou do sitemap, mas ainda não a rastreou. O Google diz que normalmente adiou o rastreamento porque esperava sobrecarregar o site. Corrija cortando URLs de pouco valor, melhorando a resposta do servidor e linkando para as páginas que importam.

Perguntas frequentes

O robots.txt mantém uma página fora do Google?

Não. O Google diz que o robots.txt não é um mecanismo para manter uma página fora do Google. Uma URL bloqueada ainda pode ser indexada a partir de links, sem o conteúdo. Use noindex ou proteção por senha.

Posso colocar noindex no robots.txt?

Não. O Google diz que uma regra noindex no robots.txt não é suportada. Use uma meta tag robots ou o cabeçalho HTTP X-Robots-Tag na própria página.

Em quanto tempo o Google vê uma mudança no robots.txt?

O Google geralmente mantém o robots.txt em cache por até 24 horas. Depois de uma mudança importante, você pode pedir um novo rastreamento do arquivo no relatório robots.txt.

E se o próprio robots.txt devolver erro?

A especificação de robots.txt do Google diz que, se o arquivo devolver erro de servidor, o Google para de rastrear o site nas primeiras 12 horas e depois usa a última cópia boa por até 30 dias enquanto tenta de novo. Uma resposta 4xx que não seja 429 é tratada como se não houvesse robots.txt.

Fontes