Testeur robots.txt
Dernière mise à jour: 2026-10-30
Collez un fichier robots.txt, saisissez une URL et choisissez un robot. Le testeur applique les règles documentées par Google (le groupe user-agent le plus spécifique, la règle correspondante la plus longue, les jokers et l’ancre $) et indique si l’URL peut être explorée et quelle ligne le décide.
Une URL bloquée peut tout de même apparaître dans les résultats sans description si d’autres pages pointent vers elle. Pour garder une page hors des résultats, autorisez son exploration et utilisez plutôt une balise noindex.
Tout se passe dans votre navigateur. Rien de ce que vous saisissez n’est envoyé.
Comment ça marche
Un groupe par robot
Un robot suit le groupe qui porte son nom de user-agent et ignore les autres ; plusieurs groupes de même nom sont fusionnés. Il ne suit le groupe * que si aucun groupe ne le nomme. Les numéros de version et un * final après le nom sont ignorés.
La règle la plus longue l’emporte
Parmi les règles allow et disallow qui correspondent au chemin de l’URL, celle dont le chemin est le plus long décide. À longueur égale entre une règle allow et une règle disallow, c’est allow qui gagne.
Jokers et ancre de fin
* représente n’importe quelle suite de caractères et $ en fin signifie que l’URL doit se terminer là. Les chemins sont sensibles à la casse et incluent la chaîne de requête.
Quatre champs seulement comptent
Google lit user-agent, allow, disallow et sitemap. Les autres lignes, comme crawl-delay, sont ignorées, et le testeur les liste pour que vous le sachiez.
D’après: Google : comment Google interprète la spécification robots.txt
Faites-le pour chaque page avec GSC Magic
Cet outil vérifie une URL face à un fichier collé. Avec GSC Magic, votre agent IA peut inspecter des centaines d’URL via l’API URL Inspection de Google et voir lesquelles Google signale réellement comme bloquées par robots.txt.
Inspecte les URL de notre sitemap et liste toutes celles que Google signale comme bloquées par robots.txt.
Quelles pages avec des impressions ces 90 derniers jours sont désormais bloquées par robots.txt ?
Questions
Où est passé le testeur robots.txt de Search Console ?
Google a retiré l’ancien testeur et l’a remplacé par le rapport robots.txt de Search Console, qui montre les fichiers récupérés par Google et leurs erreurs. Cet outil vérifie comment une URL précise est traitée par les règles.
Bloquer une page dans robots.txt la retire-t-elle de Google ?
Non. Une URL interdite peut être indexée sans son contenu si d’autres pages pointent vers elle. Utilisez une balise noindex sur une page explorable pour la tenir hors des résultats.
Les robots IA respectent-ils robots.txt ?
Les robots de la liste, comme GPTBot, OAI-SearchBot, ClaudeBot et PerplexityBot, sont documentés par leurs éditeurs comme respectant robots.txt. Chacun suit son propre groupe, ou le groupe * quand il n’en a pas.
Le résultat correspond-il exactement à ce que fait Googlebot ?
Le testeur suit l’interprétation publiée par Google du Robots Exclusion Protocol. Google met aussi robots.txt en cache jusqu’à un jour et traite les erreurs serveur de façon particulière : vérifiez le rapport robots.txt dans Search Console après avoir modifié le fichier.
Guides sur le blog: Blocked by robots.txt : trouver la règle et décider de débloquer