Testador de robots.txt
Última atualização: 2026-10-30
Cole um arquivo robots.txt, digite uma URL e escolha um rastreador. O testador aplica as regras documentadas pelo Google (o grupo de user-agent mais específico, a regra correspondente mais longa, curingas e a âncora $) e mostra se a URL pode ser rastreada e qual linha decide isso.
Uma URL bloqueada ainda pode aparecer nos resultados de busca sem descrição se outras páginas apontarem para ela. Para manter uma página fora dos resultados, permita o rastreamento e use uma tag noindex.
Roda no seu navegador. Nada do que você digita é enviado.
Como funciona
Um grupo por rastreador
Um rastreador segue o grupo com o seu próprio nome de user-agent e ignora o resto; vários grupos com o mesmo nome são unidos. Só quando nenhum grupo o nomeia ele segue o grupo *. Números de versão e um * no final do nome são ignorados.
A regra mais longa vence
Entre as regras allow e disallow que correspondem ao caminho da URL, decide a que tem o caminho mais longo. Se uma regra allow e uma disallow tiverem o mesmo tamanho, a allow vence.
Curingas e a âncora de fim
* representa qualquer sequência de caracteres e $ no final significa que a URL precisa terminar ali. Os caminhos diferenciam maiúsculas de minúsculas e incluem a query string.
Só quatro campos contam
O Google lê user-agent, allow, disallow e sitemap. Outras linhas, como crawl-delay, são ignoradas, e o testador as lista para você saber.
Baseado em: Google: como o Google interpreta a especificação robots.txt
Faça isso em todas as páginas com o GSC Magic
Isto confere uma URL contra um arquivo colado. Com o GSC Magic, seu agente de IA pode inspecionar centenas de URLs pela API URL Inspection do Google e ver quais o Google realmente informa como bloqueadas pelo robots.txt.
Inspecione as URLs da nossa sitemap e liste todas as que o Google informa como bloqueadas pelo robots.txt.
Quais páginas com impressões nos últimos 90 dias agora estão bloqueadas pelo robots.txt?
Perguntas
Para onde foi o testador de robots.txt do Search Console?
O Google aposentou o testador antigo e o substituiu pelo relatório robots.txt do Search Console, que mostra os arquivos que o Google buscou e os erros deles. Esta ferramenta verifica como as regras tratam uma URL específica.
Bloquear uma página no robots.txt a remove do Google?
Não. Uma URL com disallow ainda pode ser indexada sem o conteúdo se outras páginas apontarem para ela. Use uma tag noindex em uma página rastreável para mantê-la fora dos resultados.
Os rastreadores de IA seguem o robots.txt?
Os rastreadores da lista, como GPTBot, OAI-SearchBot, ClaudeBot e PerplexityBot, são documentados pelos seus operadores como respeitadores do robots.txt. Cada um segue o próprio grupo, ou o grupo * quando não tem um.
O resultado é exatamente o que o Googlebot faz?
O testador segue a interpretação publicada pelo Google do Robots Exclusion Protocol. O Google também guarda o robots.txt em cache por até um dia e trata erros de servidor de forma especial, então depois de alterar o arquivo confira o relatório robots.txt no Search Console.
Guias no blog: Bloqueada por robots.txt: encontre a regra e decida se deve desbloquear