robots.txt-Tester
Zuletzt aktualisiert: 2026-10-30
Füge eine robots.txt ein, gib eine URL ein und wähle einen Crawler. Der Tester wendet Googles dokumentierte Regeln an (die spezifischste User-Agent-Gruppe, die längste passende Regel, Wildcards und die $-Verankerung) und zeigt, ob die URL gecrawlt werden darf und welche Zeile das entscheidet.
Eine blockierte URL kann trotzdem ohne Beschreibung in den Suchergebnissen erscheinen, wenn andere Seiten darauf verlinken. Damit eine Seite nicht in den Ergebnissen erscheint, erlaube das Crawlen und setze stattdessen ein noindex-Tag.
Läuft in deinem Browser. Nichts, was du eingibst, wird irgendwohin gesendet.
So funktioniert es
Eine Gruppe pro Crawler
Ein Crawler befolgt die Gruppe mit seinem eigenen User-Agent-Namen und ignoriert die übrigen; mehrere Gruppen mit demselben Namen werden zusammengeführt. Nur wenn keine Gruppe ihn nennt, befolgt er die *-Gruppe. Versionsnummern und ein abschließendes * nach dem Namen werden ignoriert.
Die längste Regel gewinnt
Von den allow- und disallow-Regeln, die auf den URL-Pfad passen, entscheidet die mit dem längsten Pfad. Sind eine allow- und eine disallow-Regel gleich lang, gewinnt allow.
Wildcards und das Ende
* steht für eine beliebige Zeichenfolge, $ am Ende bedeutet, dass die URL dort enden muss. Pfade sind case-sensitive und schließen den Query-String ein.
Nur vier Felder zählen
Google liest user-agent, allow, disallow und sitemap. Andere Zeilen wie crawl-delay werden ignoriert, der Tester listet sie dir auf.
Grundlage: Google: So interpretiert Google die robots.txt-Spezifikation
Mit GSC Magic für jede Seite
Hier wird eine URL gegen eine eingefügte Datei geprüft. Mit GSC Magic kann dein KI-Agent Hunderte URLs über die URL-Inspection-API von Google prüfen und sehen, welche Google tatsächlich als durch robots.txt blockiert meldet.
Prüfe die URLs aus unserer Sitemap und liste alle auf, die Google als durch robots.txt blockiert meldet.
Welche Seiten mit Impressionen in den letzten 90 Tagen sind jetzt durch robots.txt blockiert?
Fragen
Wohin ist der robots.txt-Tester aus der Search Console verschwunden?
Google hat den alten Tester abgeschafft und durch den robots.txt-Bericht in der Search Console ersetzt, der die abgerufenen Dateien und ihre Fehler zeigt. Dieses Tool prüft, wie eine bestimmte URL von den Regeln behandelt wird.
Entfernt das Blockieren einer Seite in der robots.txt sie aus Google?
Nein. Eine disallow-Regel verhindert die Indexierung nicht: Die URL kann ohne Inhalt in den Ergebnissen erscheinen, wenn andere Seiten darauf verlinken. Setze ein noindex-Tag auf eine crawlbare Seite.
Befolgen KI-Crawler die robots.txt?
Die Crawler in der Liste, etwa GPTBot, OAI-SearchBot, ClaudeBot und PerplexityBot, werden von ihren Betreibern als robots.txt-konform dokumentiert. Jeder befolgt seine eigene Gruppe oder die *-Gruppe, wenn er keine hat.
Ist das Ergebnis exakt das, was Googlebot macht?
Der Tester folgt Googles veröffentlichter Auslegung des Robots Exclusion Protocol. Google cached robots.txt außerdem bis zu einen Tag und behandelt Serverfehler besonders; prüfe nach einer Änderung also den robots.txt-Bericht in der Search Console.
Leitfäden im Blog: Durch robots.txt blockiert: finde die Regel und entscheide, ob du sie aufhebst