Bloqueada por robots.txt: encuentra la regla y decide si desbloquear

Última actualización: 2026-10-30

En resumen

«Bloqueada por robots.txt» significa que una regla de tu archivo robots.txt impide a Googlebot rastrear la URL, así que Google no puede indexar su contenido. Si el bloqueo es intencionado, déjalo. Si la página debería estar en Google, retira la regla o hazla más concreta; si la quieres fuera de Google, usa noindex, porque robots.txt no impide la indexación de forma fiable.

Etiqueta exacta en Search Console: Blocked by robots.txt

Qué significa

La ayuda de Google sobre indexación de páginas dice que la página quedó bloqueada por el archivo robots.txt de tu sitio, y advierte que eso no garantiza que la página no se indexe por otra vía: si Google puede encontrar información sobre la página sin cargarla, hay una probabilidad muy pequeña de que siga indexándose. Ese caso se comunica aparte como «Indexed, though blocked by robots.txt». El artículo de ayuda de Google titula este motivo «URL blocked by robots.txt»; la fila del informe dice «Blocked by robots.txt».

Google describe robots.txt como una herramienta para gestionar el tráfico de los rastreadores, no como una forma de mantener una página fuera de Google. Googlebot lo obedece, pero una página bloqueada puede seguir apareciendo en los resultados sin descripción si otras páginas enlazan a ella. Un archivo robots.txt solo se aplica a su propio protocolo y host, y Google suele cachearlo hasta 24 horas, así que los cambios no se aplican al instante.

¿Es un problema?

No, si lo has hecho a propósito. Las zonas de administración, el carrito y el pago, la búsqueda interna y las combinaciones infinitas de filtros suelen bloquearse adrede, y Google dice que las URL bloqueadas por robots.txt probablemente lo estén de forma intencionada. Es un problema cuando una regla demasiado amplia atrapa páginas importantes o secciones enteras, cuando un robots.txt de staging acaba en producción o cuando lo provoca una configuración del CMS.

Causas habituales

Bloqueos intencionados

URL privadas, de utilidad o trampas de rastreo de las que elegiste mantener alejados a los rastreadores.

Patrones demasiado amplios

Un Disallow sobre un prefijo de ruta corto, o un patrón con comodines, que coincide con muchas más URL de las que querías.

Restos de staging o de lanzamiento

Un Disallow general para todos los agentes de usuario copiado desde un sitio de desarrollo.

Ajustes del CMS o de un plugin

Configuraciones de la plataforma que escriben reglas de robots.txt por ti y a veces cubren una sección entera.

Un archivo distinto del que crees

Cada protocolo y cada host tienen su propio robots.txt. Un subdominio o la versión HTTP pueden tener reglas distintas de las del archivo que editaste.

Cómo solucionarlo

  1. Encuentra la regla. Inspecciona una URL de ejemplo: el campo de permiso de rastreo muestra si robots.txt la bloquea. El informe de robots.txt de Search Console muestra qué archivos robots.txt encontró Google para tus hosts, cuándo se obtuvo cada uno y cualquier problema de análisis.
  2. Decide sección por sección. Mantén los bloqueos de las URL que no deberían rastrearse. En las páginas que sí pertenecen a Google, quita la línea Disallow que coincide o añade una regla Allow más específica.
  3. Usa noindex para mantener páginas fuera de Google. Si el objetivo es que una página no aparezca en los resultados, quita el bloqueo de robots.txt y añade noindex. Google no puede ver una regla noindex en una página que no tiene permiso para rastrear.
  4. Pide un nuevo rastreo de robots.txt tras cambios importantes. Google vuelve a rastrear robots.txt a menudo, pero después de desbloquear URL importantes puedes pedir un nuevo rastreo del archivo desde el informe de robots.txt. Google advierte que eso no garantiza un rastreo inmediato de las páginas desbloqueadas.
  5. Prueba y valida. Ejecuta Probar URL en vivo en las páginas desbloqueadas y luego pulsa Validar corrección si has desbloqueado todo un grupo de URL.

Compruébalo con GSC Magic

gsc_inspect_urls_batch informa del estado de robots.txt de cada URL, así que tu asistente puede confirmar si las páginas importantes están bloqueadas y qué directorios cubre una regla. report_index_health aplica la misma comprobación a todas las URL de un sitemap, donde no debería haber nada bloqueado. En el panel de GSC Magic, la auditoría rápida de robots.txt y sitemap de cada sitio muestra el robots.txt en vivo junto a tus sitemaps.

gsc_inspect_urls_batchreport_index_healthgsc_inspect_url

Prompts para copiar

Inspecciona estas URL y lista todas en las que robots.txt impide el rastreo. Agrúpalas por directorio para ver qué regla es probablemente la responsable.

Haz una comprobación de la salud de la indexación de mi sitemap y dime si alguna URL enviada está bloqueada por robots.txt.

Este es mi archivo robots.txt. Dime a cuáles de estas 50 URL coincide cada regla Disallow y señala las reglas que bloquean URL incluidas en mi sitemap.

Probador de robots.txt →

Guías en el blog

Indexed, though blocked by robots.txt

Este aviso significa que Google indexó la URL aunque robots.txt bloquea su rastreo, normalmente porque otras páginas enlazan a ella. Google no puede leer la página, así que cualquier fragmento de descripción será muy limitado. Si quieres la página fuera de Google, quita el bloqueo y añade noindex; si la quieres en Google, quita el bloqueo.

 Excluded by 'noindex' tag

Este estado significa que Google rastreó la página, encontró una regla noindex en una metaetiqueta robots o en una cabecera HTTP X-Robots-Tag y, por tanto, no la indexó. Si no quieres la página en Google, funciona como debe. Si sí la quieres, quita el noindex en su origen, confírmalo con Probar URL en vivo y solicita indexación.

 Discovered - currently not indexed

Que una página figure como descubierta pero no rastreada significa que Google encontró la URL, a través de un enlace o de un sitemap, pero todavía no la ha rastreado. Google dice que normalmente pospuso el rastreo porque esperaba sobrecargar el sitio. Se corrige reduciendo las URL de poco valor, mejorando la respuesta del servidor y enlazando a las páginas que importan.

Preguntas frecuentes

¿Mantiene robots.txt una página fuera de Google?

No. Google dice que robots.txt no es un mecanismo para mantener una página web fuera de Google. Una URL bloqueada puede seguir indexándose a partir de enlaces, sin su contenido. Usa noindex o protección con contraseña.

¿Puedo poner noindex en robots.txt?

No. Google dice que no admite una regla noindex en robots.txt. Usa una etiqueta meta robots o la cabecera HTTP X-Robots-Tag en la propia página.

¿Cuánto tarda Google en ver un cambio en robots.txt?

Google suele cachear robots.txt hasta 24 horas. Después de un cambio importante puedes pedir un nuevo rastreo del archivo desde el informe de robots.txt.

¿Y si el propio robots.txt devuelve un error?

La especificación de robots.txt de Google dice que si el archivo devuelve un error del servidor, Google deja de rastrear el sitio durante las primeras 12 horas y luego usa la última copia válida hasta 30 días mientras sigue reintentando. Una respuesta 4xx distinta de 429 se trata como si no existiera robots.txt.

Fuentes