Blocked by robots.txt : trouver la règle et décider de débloquer

Dernière mise à jour: 2026-10-30

En bref

Blocked by robots.txt signifie qu’une règle de votre fichier robots.txt empêche Googlebot d’explorer l’URL : Google ne peut donc pas indexer son contenu. Si le blocage est voulu, laissez-le. Si la page doit figurer dans Google, retirez ou resserrez la règle ; si vous voulez la sortir de Google, utilisez plutôt noindex, car robots.txt n’empêche pas l’indexation de façon fiable.

Libellé exact dans Search Console: Blocked by robots.txt

Ce que cela signifie

L’aide de Google sur l’indexation des pages indique que la page a été bloquée par le fichier robots.txt de votre site, et avertit que cela ne garantit pas que la page ne sera pas indexée autrement : si Google peut trouver des informations sur la page sans la charger, il y a une très faible chance qu’elle soit quand même indexée. Ce cas est signalé séparément comme Indexed, though blocked by robots.txt. L’article d’aide de Google intitule cette raison « URL bloquée par robots.txt » ; la ligne du rapport affiche Blocked by robots.txt.

Google présente robots.txt comme un outil de gestion du trafic des robots, pas comme un moyen d’écarter une page de Google. Googlebot lui obéit, mais une page bloquée peut tout de même apparaître dans les résultats sans description si d’autres pages la lient. Un fichier robots.txt ne s’applique qu’à son propre protocole et à son propre hôte, et Google le met généralement en cache jusqu’à 24 heures : les modifications ne sont donc pas prises en compte instantanément.

Est-ce un problème ?

Pas si c’est voulu. Les zones d’administration, le panier et le paiement, la recherche interne et les combinaisons infinies de filtres sont souvent bloqués à dessein, et Google indique que les URL bloquées par robots.txt sont probablement bloquées volontairement. Le statut pose problème quand des pages importantes ou des sections entières sont happées par une règle trop large, par un robots.txt de préproduction livré en production ou par un réglage du CMS.

Causes fréquentes

Blocages volontaires

Des URL privées, utilitaires ou pièges d’exploration que vous avez choisi de tenir à l’écart des robots.

Motifs trop larges

Un Disallow sur un préfixe de chemin court, ou un motif à joker, qui correspond à bien plus d’URL que prévu.

Restes de préproduction ou de lancement

Un Disallow général pour tous les agents, copié depuis un site de développement.

Réglages du CMS ou d’une extension

Des réglages de plateforme qui écrivent des règles robots.txt à votre place, en couvrant parfois toute une section.

Un autre fichier que celui que vous croyez

Chaque protocole et chaque hôte ont leur propre robots.txt. Un sous-domaine ou la version HTTP peut appliquer des règles différentes de celles du fichier que vous avez modifié.

Comment corriger

  1. Trouvez la règle. Inspectez une URL d’exemple : le champ « Exploration autorisée ? » indique si robots.txt la bloque. Le rapport robots.txt de Search Console montre quels fichiers robots.txt Google a trouvés pour vos hôtes, quand chacun a été récupéré et les éventuels problèmes d’analyse.
  2. Décidez section par section. Conservez les blocages pour les URL qui ne doivent pas être explorées. Pour les pages qui ont leur place dans Google, retirez la ligne Disallow correspondante ou ajoutez une règle Allow plus précise.
  3. Utilisez noindex pour écarter des pages de Google. Si l’objectif est de tenir une page hors des résultats de recherche, retirez le blocage robots.txt et ajoutez noindex. Google ne peut pas voir de règle noindex sur une page qu’il n’a pas le droit d’explorer.
  4. Demandez une réexploration de robots.txt après de gros changements. Google réexplore souvent robots.txt, mais après avoir débloqué des URL importantes, vous pouvez demander une réexploration du fichier dans le rapport robots.txt. Google précise que cela ne garantit pas une réexploration immédiate des pages débloquées.
  5. Testez et validez. Lancez « Tester l’URL en direct » sur les pages débloquées, puis cliquez sur « Valider la correction » si vous avez débloqué tout un groupe d’URL.

Vérifier avec GSC Magic

gsc_inspect_urls_batch indique l’état robots.txt de chaque URL : votre assistant peut donc confirmer si des pages importantes sont bloquées et quels répertoires une règle couvre. report_index_health applique le même contrôle à toutes les URL d’un plan de site, où rien ne devrait être bloqué. Dans le tableau de bord GSC Magic, l’audit rapide robots.txt et plan de site de chaque site affiche le robots.txt en direct à côté de vos plans de site.

gsc_inspect_urls_batchreport_index_healthgsc_inspect_url

Prompts à copier

Inspecte ces URL et liste toutes celles dont l’exploration est refusée par robots.txt. Regroupe-les par répertoire pour que je voie quelle règle est probablement en cause.

Lance un contrôle de santé de l’index sur mon plan de site et dis-moi si une URL soumise est bloquée par robots.txt.

Voici mon fichier robots.txt. Dis-moi quelles URL parmi ces 50 correspondent à chaque règle Disallow, et signale les règles qui bloquent des URL inscrites dans mon plan de site.

Testeur robots.txt →

Guides sur le blog

Indexed, though blocked by robots.txt

Cet avertissement signifie que Google a indexé l’URL alors que robots.txt bloque son exploration, généralement parce que d’autres pages la lient. Google ne peut pas lire la page : tout extrait reste donc très limité. Si vous voulez sortir la page de Google, retirez le blocage et ajoutez noindex ; si vous voulez qu’elle y figure, retirez le blocage.

 Excluded by 'noindex' tag

Ce statut signifie que Google a exploré la page, y a trouvé une règle noindex dans une balise robots meta ou un en-tête HTTP X-Robots-Tag, et ne l’a donc pas indexée. Si vous ne voulez pas de cette page dans Google, tout fonctionne comme prévu. Sinon, retirez le noindex à sa source, confirmez avec « Tester l’URL en direct » et demandez l’indexation.

 Discovered - currently not indexed

« Discovered - currently not indexed » signifie que Google a trouvé l’URL, via un lien ou un plan de site, mais ne l’a pas encore explorée. Google indique qu’il a généralement reporté l’exploration parce qu’elle risquait de surcharger le site. Corrigez en réduisant les URL de faible valeur, en améliorant la réponse du serveur et en liant les pages qui comptent.

Questions fréquentes

robots.txt empêche-t-il une page d’apparaître dans Google ?

Non. Google indique que robots.txt n’est pas un mécanisme pour écarter une page web de Google. Une URL bloquée peut encore être indexée à partir de liens, sans son contenu. Utilisez plutôt noindex ou une protection par mot de passe.

Puis-je mettre noindex dans robots.txt ?

Non. Google indique qu’une règle noindex dans robots.txt n’est pas prise en charge. Utilisez une balise robots meta ou l’en-tête HTTP X-Robots-Tag sur la page elle-même.

En combien de temps Google voit-il une modification de robots.txt ?

Google met généralement robots.txt en cache jusqu’à 24 heures. Après un changement important, vous pouvez demander une réexploration du fichier dans le rapport robots.txt.

Et si robots.txt renvoie lui-même une erreur ?

La spécification robots.txt de Google indique que si le fichier renvoie une erreur serveur, Google cesse d’explorer le site pendant les 12 premières heures, puis utilise la dernière bonne copie pendant 30 jours tout en réessayant. Une réponse 4xx autre que 429 est traitée comme si aucun robots.txt n’existait.

Sources