robots.txt-tester
Laatst bijgewerkt: 2026-10-30
Plak een robots.txt-bestand, voer een URL in en kies een crawler. De tester past de gedocumenteerde regels van Google toe (de meest specifieke user-agent-groep, de langst matchende regel, wildcards en de $-anker) en laat zien of de URL gecrawld mag worden en welke regel dat bepaalt.
Een geblokkeerde URL kan toch in zoekresultaten verschijnen, zonder beschrijving, als andere pagina's ernaar linken. Wil je een pagina uit de resultaten houden, sta dan crawlen toe en gebruik een noindex-tag.
Draait in je browser. Wat je invult, wordt nergens naartoe gestuurd.
Hoe het werkt
Eén groep per crawler
Een crawler volgt de groep met zijn eigen user-agentnaam en negeert de rest; meerdere groepen met dezelfde naam worden samengevoegd. Pas als geen groep hem noemt, volgt hij de *-groep. Versienummers en een * achter de naam worden genegeerd.
De langste regel wint
Van de allow- en disallow-regels die het URL-pad matchen, beslist de regel met het langste pad. Zijn een allow- en een disallow-regel even lang, dan wint de allow-regel.
Wildcards en het eind-anker
* staat voor elke reeks tekens en $ aan het einde betekent dat de URL daar moet eindigen. Paden zijn hoofdlettergevoelig en bevatten de query string.
Slechts vier velden tellen
Google leest user-agent, allow, disallow en sitemap. Andere regels zoals crawl-delay worden genegeerd, en de tester noemt ze zodat je het weet.
Gebaseerd op: Google: hoe Google de robots.txt-specificatie interpreteert
Doe het voor elke pagina met GSC Magic
Dit controleert één URL tegen een geplakt bestand. Met GSC Magic kan je AI-agent honderden URL's via Google's URL Inspection API bekijken en zien welke Google daadwerkelijk als geblokkeerd door robots.txt meldt.
Inspecteer de URL's in onze sitemap en noem elke URL die Google als geblokkeerd door robots.txt meldt.
Welke pagina's met vertoningen in de laatste 90 dagen zijn nu geblokkeerd door robots.txt?
Vragen
Waar is de robots.txt-tester van Search Console gebleven?
Google heeft de oude tester opgeheven en vervangen door het robots.txt-rapport in Search Console, dat de bestanden laat zien die Google heeft opgehaald en hun fouten. Deze tool controleert hoe de regels een specifieke URL behandelen.
Haalt een pagina blokkeren in robots.txt hem uit Google?
Nee. Een URL met disallow kan nog steeds worden geïndexeerd zonder inhoud als andere pagina's ernaar linken. Gebruik een noindex-tag op een crawlbare pagina om hem uit de resultaten te houden.
Volgen AI-crawlers robots.txt?
De crawlers in de lijst, zoals GPTBot, OAI-SearchBot, ClaudeBot en PerplexityBot, staan bij hun eigenaren te boek als respecterend voor robots.txt. Elk volgt zijn eigen groep, of de *-groep als die er niet is.
Is het resultaat precies wat Googlebot doet?
De tester volgt Google's gepubliceerde interpretatie van het Robots Exclusion Protocol. Google cachet robots.txt ook tot een dag en behandelt serverfouten apart, dus controleer na een wijziging het robots.txt-rapport in Search Console.
Gidsen op de blog: Geblokkeerd door robots.txt: vind de regel en beslis of je hem opheft