Indexiert, obwohl durch robots.txt blockiert: freigeben oder noindex setzen

Zuletzt aktualisiert: 2026-10-30

Kurz gesagt

Diese Warnung bedeutet: Google hat die URL indexiert, obwohl robots.txt das Crawlen blockiert, meist weil andere Seiten auf sie verlinken. Google kann die Seite nicht lesen, ein Snippet ist also sehr eingeschränkt. Willst du die Seite aus Google haben, entferne die Sperre und setze noindex; soll sie in Google sein, entferne die Sperre.

Genaue Bezeichnung in der Search Console: Indexed, though blocked by robots.txt

Was er bedeutet

Google führt das unter Warnungen in der Tabelle zur Verbesserung der Seitenerfahrung im Bericht „Seitenindexierung“ auf: Probleme, die die Indexierung nicht verhindern, aber Googles Fähigkeit verringern, deine Seiten zu verstehen. Laut Google respektiert es robots.txt immer, was die Indexierung aber nicht unbedingt verhindert, wenn jemand auf die Seite verlinkt. Google ruft die Seite dann nicht an und crawlt sie nicht, kann sie aber anhand von Informationen der Seiten, die auf sie verlinken, trotzdem indexieren, und jedes in den Ergebnissen gezeigte Snippet ist dann wahrscheinlich sehr eingeschränkt.

Der robots.txt-Leitfaden von Google sagt dasselbe: Eine nicht erlaubte URL kann trotzdem in den Ergebnissen erscheinen, möglicherweise mit der URL und dem Ankertext der Links, aber ohne Beschreibung. Die URL-Prüfung ergänzt eine Warnung, dass bei einer durch robots.txt blockierten Seite „Indexierung erlaubt?“ immer Ja zeigt, weil Google keine noindex-Anweisung darauf sehen kann.

Ist das ein Problem?

Das hängt davon ab, was du wolltest. Wenn du die URL blockiert hast, um sie aus Google herauszuhalten, hat die Sperre das nicht erreicht, und du brauchst noindex. Wenn die URL mit einem ordentlichen Snippet in Google sein soll, hält die Sperre sie zurück. In beiden Fällen ist robots.txt das falsche Werkzeug für dein Ziel.

Häufige Ursachen

robots.txt zum Verstecken von Seiten nutzen

Seiten per robots.txt blockieren, in der Hoffnung, sie aus der Suche zu halten, obwohl deine eigenen oder andere Websites auf sie verlinken.

Breite Regeln über verlinkte URLs

Disallow-Regeln für Bereiche, auf die verlinkt wird, etwa PDFs, Parameter-URLs oder alte Verzeichnisse.

Sperre zusätzlich zu noindex

Eine robots.txt-Sperre zu einer Seite hinzufügen, die bereits noindex hat, wodurch Google das noindex nie sieht.

Blockierte URLs in Sitemaps

Sitemaps, die URLs auflisten, die deine robots.txt verbietet. Google nennt das als Ursache für Fehlerspitzen im Bericht.

So behebst du ihn

  1. Entscheide, ob jede Seite in Google gehört. Geh die Beispiel-URLs durch und sortiere sie in Seiten, die du indexiert haben willst, und Seiten, die weg sollen.
  2. Zum Entfernen: entsperren und noindex setzen. Entferne die robots.txt-Regel für diese URLs und ergänze ein robots-Meta-noindex-Tag oder einen X-Robots-Tag-Header. Sobald Google erneut crawlt und noindex sieht, nimmt es die Seite heraus. In dringenden Fällen blendet das Tool „Entfernungen“ eine URL etwa sechs Monate lang aus, während noindex wirkt.
  3. Zum Behalten: entsperren. Entferne oder verenge die Disallow-Regel, damit Google die Seite crawlen und ein vollständiges Snippet bilden kann. Prüfe in der URL-Prüfung, dass „Crawling erlaubt?“ jetzt Ja sagt.
  4. Räume Links und Sitemaps auf. Entferne blockierte URLs aus deinen Sitemaps und verlinke nicht mehr auf URLs, die du nicht indexiert haben willst.
  5. Beantrage einen erneuten robots.txt-Abruf. Beantrage nach der Bearbeitung der Datei im robots.txt-Bericht einen erneuten Abruf, damit Google die Änderung früher übernimmt.

Mit GSC Magic prüfen

gsc_inspect_urls_batch liefert sowohl den robots.txt-Status als auch das Indexierungsurteil für jede URL, sodass dein Assistent URLs auflisten kann, die indexiert sind, obwohl sie nicht erlaubt sind, und sie nach dem Verzeichnis gruppieren kann, das eine Regel abdeckt. gsc_query_analytics zeigt, ob diese URLs tatsächlich Impressionen bekommen, was dir bei der Wahl zwischen Entsperren und noindex hilft, und report_index_health findet nicht erlaubte URLs in deiner Sitemap. Das GSC-Magic-Dashboard hat einen Schnelltest zu robots.txt und Sitemap, der die aktuellen Regeln neben deinen Sitemaps zeigt.

gsc_inspect_urls_batchgsc_query_analyticsgsc_inspect_urlreport_index_health

Prompts zum Kopieren

Prüfe diese URLs und liste jede auf, die indexiert ist, obwohl robots.txt das Crawling untersagt, gruppiert nach Verzeichnis.

Zeige für URLs, die trotz robots.txt-Sperre indexiert sind, Impressionen und Klicks der letzten 3 Monate, damit ich entscheiden kann, welche ich entsperre und welche ich mit noindex versehe.

Führe eine Indexprüfung meiner Sitemap aus und liste jede eingereichte URL auf, die robots.txt blockiert.

robots.txt-Tester →

Leitfäden im Blog

Blocked by robots.txt

„Durch robots.txt blockiert“ bedeutet: Eine Regel in deiner robots.txt hält den Googlebot davon ab, die URL zu crawlen, deshalb kann Google ihren Inhalt nicht indexieren. Ist die Sperre beabsichtigt, lass sie. Soll die Seite in Google sein, entferne oder verenge die Regel; willst du sie aus Google haben, nutze noindex, denn robots.txt verhindert die Indexierung nicht zuverlässig.

 Excluded by 'noindex' tag

Dieser Status bedeutet: Google hat die Seite gecrawlt, eine noindex-Anweisung in einem Meta-Robots-Tag oder X-Robots-Tag-HTTP-Header gefunden und sie deshalb nicht indexiert. Wenn du die Seite nicht in Google willst, funktioniert das. Wenn doch, entferne noindex an der Quelle, bestätige es mit „Live-URL testen“ und beantrage die Indexierung.

 Page indexed without content

Diese Warnung bedeutet: Die URL ist in Googles Index, aber Google konnte den Seiteninhalt nicht lesen. Google nennt zwei mögliche Gründe: Die Seite ist für Google möglicherweise gecloakt, oder sie liegt in einem Format vor, das Google nicht indexieren kann. Prüfe die URL und sieh nach, was der Googlebot tatsächlich bekommen hat.

Häufige Fragen

Warum hat Google eine Seite indexiert, die es nicht crawlen darf?

Weil Crawling blockieren nicht dasselbe ist wie Indexierung blockieren. Laut Google kann es die URL anhand von Informationen der Seiten indexieren, die auf sie verlinken, ohne die Seite selbst zu crawlen.

Kann ich noindex ergänzen und die robots.txt-Sperre behalten?

Nein. Google kann noindex auf einer Seite nicht sehen, die es nicht crawlen darf. Entferne zuerst die Sperre und ergänze dann noindex.

Ist das ein Fehler?

Google führt es als Warnung, nicht als Grund, warum eine Seite nicht indexiert ist. Die Seite ist indexiert, aber mit einem sehr eingeschränkten Snippet und ohne dass Google ihren Inhalt liest.

Wie entferne ich diese URLs schnell?

Nutze das Tool „Entfernungen“ in der Search Console, das laut Google eine URL etwa sechs Monate lang ausblendet, und ergänze noindex bei erlaubtem Crawling, damit die Entfernung dauerhaft wird.

Quellen