Probador de robots.txt
Última actualización: 2026-10-30
Pega un archivo robots.txt, introduce una URL y elige un rastreador. El probador aplica las reglas documentadas por Google (el grupo de user-agent más específico, la regla coincidente más larga, los comodines y el ancla $) y muestra si la URL se puede rastrear y qué línea lo decide.
Una URL bloqueada puede seguir apareciendo en los resultados sin descripción si otras páginas enlazan a ella. Para mantener una página fuera de los resultados, permite el rastreo y usa una etiqueta noindex.
Se ejecuta en tu navegador. Nada de lo que escribes se envía a ningún sitio.
Cómo funciona
Un grupo por rastreador
Un rastreador sigue el grupo con su propio nombre de user-agent e ignora el resto; varios grupos con el mismo nombre se combinan. Solo si ningún grupo lo nombra sigue el grupo *. Los números de versión y un * final tras el nombre se ignoran.
Gana la regla más larga
Entre las reglas allow y disallow que coinciden con la ruta de la URL, decide la que tiene la ruta más larga. Si una regla allow y una disallow son igual de largas, gana la allow.
Comodines y ancla final
* representa cualquier secuencia de caracteres y $ al final significa que la URL debe terminar ahí. Las rutas distinguen mayúsculas y minúsculas e incluyen la cadena de consulta.
Solo cuentan cuatro campos
Google lee user-agent, allow, disallow y sitemap. Otras líneas como crawl-delay se ignoran, y el probador las lista para que lo sepas.
Basado en: Google: cómo interpreta Google la especificación de robots.txt
Hazlo en todas tus páginas con GSC Magic
Esto comprueba una URL contra un archivo pegado. Con GSC Magic, tu agente de IA puede inspeccionar cientos de URL con la API de Inspección de URL de Google y ver cuáles informa Google como bloqueadas por robots.txt.
Inspecciona las URL de nuestro sitemap y enumera todas las que Google indica como bloqueadas por robots.txt.
¿Qué páginas con impresiones en los últimos 90 días están ahora bloqueadas por robots.txt?
Preguntas
¿Dónde ha ido el probador de robots.txt de Search Console?
Google retiró el antiguo probador y lo sustituyó por el informe robots.txt de Search Console, que muestra los archivos que Google ha obtenido y sus errores. Esta herramienta comprueba cómo tratan las reglas una URL concreta.
¿Bloquear una página en robots.txt la elimina de Google?
No. Una URL no permitida puede indexarse sin su contenido si otras páginas enlazan a ella. Usa una etiqueta noindex en una página que se pueda rastrear para mantenerla fuera de los resultados.
¿Los rastreadores de IA respetan robots.txt?
Los rastreadores de la lista, como GPTBot, OAI-SearchBot, ClaudeBot y PerplexityBot, están documentados por sus operadores como respetuosos con robots.txt. Cada uno sigue su propio grupo o el grupo * cuando no tiene ninguno.
¿El resultado es exactamente lo que hace Googlebot?
El probador sigue la interpretación publicada por Google del Robots Exclusion Protocol. Google también almacena robots.txt en caché hasta un día y trata los errores del servidor de forma especial, así que revisa el informe robots.txt de Search Console después de cambiar el archivo.
Guías en el blog: Bloqueada por robots.txt: encuentra la regla y decide si desbloquear