Durch robots.txt blockiert: finde die Regel und entscheide, ob du sie aufhebst

Zuletzt aktualisiert: 2026-10-30

Kurz gesagt

„Durch robots.txt blockiert“ bedeutet: Eine Regel in deiner robots.txt hält den Googlebot davon ab, die URL zu crawlen, deshalb kann Google ihren Inhalt nicht indexieren. Ist die Sperre beabsichtigt, lass sie. Soll die Seite in Google sein, entferne oder verenge die Regel; willst du sie aus Google haben, nutze noindex, denn robots.txt verhindert die Indexierung nicht zuverlässig.

Genaue Bezeichnung in der Search Console: Blocked by robots.txt

Was er bedeutet

Laut der Google-Hilfe zur Seitenindexierung wurde die Seite durch die robots.txt deiner Website blockiert, und Google warnt, dass das nicht garantiert, dass die Seite nicht auf anderem Weg indexiert wird: Wenn Google Informationen über die Seite finden kann, ohne sie zu laden, besteht eine sehr kleine Chance, dass sie trotzdem indexiert wird. Dieser Fall wird separat als „Indexiert, obwohl durch robots.txt blockiert“ gemeldet. Der Google-Hilfeartikel betitelt diesen Grund als „URL blocked by robots.txt“, die Berichtszeile lautet „Blocked by robots.txt“.

Google beschreibt robots.txt als Werkzeug zur Steuerung des Crawler-Traffics, nicht als Weg, eine Seite aus Google herauszuhalten. Der Googlebot folgt ihr, aber eine blockierte Seite kann trotzdem ohne Beschreibung in den Ergebnissen erscheinen, wenn andere Seiten auf sie verlinken. Eine robots.txt gilt nur für ihr eigenes Protokoll und ihren eigenen Host, und Google speichert sie in der Regel bis zu 24 Stunden zwischen, Änderungen werden also nicht sofort übernommen.

Ist das ein Problem?

Nicht, wenn du es so wolltest. Admin-Bereiche, Warenkorb und Checkout, interne Suche und endlose Filterkombinationen werden oft absichtlich blockiert, und laut Google sind durch robots.txt blockierte URLs wahrscheinlich beabsichtigt blockiert. Ein Problem ist es, wenn wichtige Seiten oder ganze Bereiche von einer zu breiten Regel erfasst werden, eine Staging-robots.txt in die Produktion gelangt ist oder eine CMS-Einstellung zuschlägt.

Häufige Ursachen

Beabsichtigte Sperren

Private, Utility- oder Crawling-Fallen-URLs, die du von Crawlern fernhalten wolltest.

Zu breite Muster

Ein Disallow auf ein kurzes Pfadpräfix oder ein Wildcard-Muster, das viel mehr URLs trifft als beabsichtigt.

Überbleibsel aus Staging oder Launch

Ein pauschales Disallow für alle User-Agents, das von einer Entwicklungswebsite übernommen wurde.

CMS- oder Plugin-Einstellungen

Plattform-Einstellungen, die robots.txt-Regeln für dich schreiben, manchmal für einen ganzen Bereich.

Eine andere Datei als gedacht

Jedes Protokoll und jeder Host hat eine eigene robots.txt. Eine Subdomain oder die HTTP-Version kann andere Regeln enthalten als die Datei, die du bearbeitet hast.

So behebst du ihn

  1. Finde die Regel. Prüfe eine Beispiel-URL: „Crawling erlaubt?“ zeigt, ob die robots.txt sie blockiert. Der robots.txt-Bericht in der Search Console zeigt, welche robots.txt-Dateien Google für deine Hosts gefunden hat, wann jede zuletzt abgerufen wurde und ob es Parsing-Probleme gibt.
  2. Entscheide Bereich für Bereich. Behalte Sperren für URLs, die nicht gecrawlt werden sollen. Für Seiten, die in Google gehören, entferne die passende Disallow-Zeile oder ergänze eine spezifischere Allow-Regel.
  3. Nutze noindex, um Seiten aus Google zu halten. Wenn das Ziel ist, eine Seite aus den Suchergebnissen zu halten, entferne die robots.txt-Sperre und ergänze noindex. Google kann eine noindex-Anweisung auf einer Seite nicht sehen, die es nicht crawlen darf.
  4. Beantrage nach großen Änderungen einen robots.txt-Abruf. Google ruft die robots.txt oft neu ab, aber nach dem Aufheben einer Sperre für wichtige URLs kannst du im robots.txt-Bericht einen erneuten Abruf der Datei beantragen. Laut Google garantiert das keinen sofortigen erneuten Abruf der entsperrten Seiten.
  5. Teste und validiere. Führe „Live-URL testen“ für entsperrte Seiten aus und klicke „Fehlerbehebung validieren“, wenn du eine ganze Gruppe von URLs entsperrt hast.

Mit GSC Magic prüfen

gsc_inspect_urls_batch meldet den robots.txt-Status für jede URL, sodass dein Assistent bestätigen kann, ob wichtige Seiten blockiert sind und welche Verzeichnisse eine Regel abdeckt. report_index_health wendet dieselbe Prüfung auf jede URL einer Sitemap an, in der nichts blockiert sein sollte. Im GSC-Magic-Dashboard zeigt der Schnelltest zu robots.txt und Sitemap je Website die aktuelle robots.txt neben deinen Sitemaps.

gsc_inspect_urls_batchreport_index_healthgsc_inspect_url

Prompts zum Kopieren

Prüfe diese URLs und liste jede auf, bei der das Crawling durch robots.txt untersagt ist. Gruppiere sie nach Verzeichnis, damit ich sehe, welche Regel wahrscheinlich verantwortlich ist.

Führe eine Indexprüfung meiner Sitemap aus und sag mir, ob eine eingereichte URL durch robots.txt blockiert ist.

Hier ist meine robots.txt. Sag mir, welche dieser 50 URLs jede Disallow-Regel trifft, und markiere Regeln, die URLs aus meiner Sitemap blockieren.

robots.txt-Tester →

Leitfäden im Blog

Indexed, though blocked by robots.txt

Diese Warnung bedeutet: Google hat die URL indexiert, obwohl robots.txt das Crawlen blockiert, meist weil andere Seiten auf sie verlinken. Google kann die Seite nicht lesen, ein Snippet ist also sehr eingeschränkt. Willst du die Seite aus Google haben, entferne die Sperre und setze noindex; soll sie in Google sein, entferne die Sperre.

 Excluded by 'noindex' tag

Dieser Status bedeutet: Google hat die Seite gecrawlt, eine noindex-Anweisung in einem Meta-Robots-Tag oder X-Robots-Tag-HTTP-Header gefunden und sie deshalb nicht indexiert. Wenn du die Seite nicht in Google willst, funktioniert das. Wenn doch, entferne noindex an der Quelle, bestätige es mit „Live-URL testen“ und beantrage die Indexierung.

 Discovered - currently not indexed

„Gefunden – zurzeit nicht indexiert“ bedeutet: Google hat die URL über einen Link oder eine Sitemap entdeckt, sie aber noch nicht gecrawlt. Laut Google wurde das Crawling meist verschoben, weil es die Website überlastet hätte. Behebe das, indem du URLs mit geringem Wert reduzierst, die Serverantwort verbesserst und wichtige Seiten verlinkst.

Häufige Fragen

Hält robots.txt eine Seite aus Google heraus?

Nein. Laut Google ist robots.txt kein Mechanismus, um eine Webseite aus Google herauszuhalten. Eine blockierte URL kann über Links trotzdem ohne ihren Inhalt indexiert werden. Nutze stattdessen noindex oder Passwortschutz.

Kann ich noindex in die robots.txt schreiben?

Nein. Laut Google wird eine noindex-Anweisung in der robots.txt nicht unterstützt. Nutze ein Meta-Robots-Tag oder den X-Robots-Tag-HTTP-Header auf der Seite selbst.

Wie schnell sieht Google eine Änderung an der robots.txt?

Google speichert robots.txt in der Regel bis zu 24 Stunden zwischen. Nach einer wichtigen Änderung kannst du im robots.txt-Bericht einen erneuten Abruf der Datei beantragen.

Was, wenn die robots.txt selbst einen Fehler liefert?

Laut Googles robots.txt-Spezifikation stoppt Google das Crawlen der Website für die ersten 12 Stunden, wenn die Datei einen Serverfehler liefert, und nutzt dann bis zu 30 Tage lang die letzte funktionierende Kopie, während es weiter versucht. Eine 4xx-Antwort außer 429 wird behandelt, als gäbe es keine robots.txt.

Quellen