Geïndexeerd, maar geblokkeerd door robots.txt: hef de blokkade op of zet noindex

Laatst bijgewerkt: 2026-10-30

In het kort

Deze waarschuwing betekent dat Google de URL heeft geïndexeerd terwijl robots.txt het crawlen blokkeert, meestal omdat andere pagina’s ernaar linken. Google kan de pagina niet lezen, dus elke snippet is zeer beperkt. Wil je de pagina uit Google, hef de blokkade op en voeg noindex toe; wil je hem erin, hef de blokkade dan op.

Exact label in Search Console: Indexed, though blocked by robots.txt

Wat het betekent

Google zet dit onder waarschuwingen in de tabel “Pagina-ervaring verbeteren” van het rapport Pagina-indexering: problemen die indexering niet verhinderen maar wel beperken hoe goed Google je pagina’s begrijpt. Google zegt dat het robots.txt altijd respecteert, maar dat voorkomt indexering niet noodzakelijk als iemand naar de pagina linkt. Google vraagt de pagina dan niet op en crawlt hem niet, maar kan hem nog steeds indexeren met informatie van de pagina’s die ernaar linken, en elke snippet in resultaten is waarschijnlijk zeer beperkt.

De robots.txt-gids van Google zegt hetzelfde: een niet-toegestane URL kan nog steeds in resultaten verschijnen, mogelijk met de URL en de ankertekst van links, maar zonder beschrijving. URL-inspectie voegt een waarschuwing toe dat bij een pagina die door robots.txt is geblokkeerd, “Indexering toegestaan?” altijd “Ja” toont, omdat Google er geen noindex-richtlijn op kan zien.

Is het een probleem?

Het hangt ervan af wat je wilde. Heb je de URL geblokkeerd om hem buiten Google te houden, dan deed de blokkade dat werk niet en heb je noindex nodig. Hoort de URL met een fatsoenlijke snippet in Google te staan, dan houdt de blokkade hem tegen. Hoe dan ook is robots.txt het verkeerde middel voor het resultaat dat je wilt.

Veelvoorkomende oorzaken

robots.txt gebruiken om pagina’s te verbergen

Pagina’s in robots.txt blokkeren in de hoop ze uit zoekresultaten te houden, terwijl je eigen site of andere sites ernaar linken.

Brede regels over gelinkte URL’s

Disallow-regels voor secties waar mensen naar linken, zoals pdf’s, parameter-URL’s of oude mappen.

Blokkeren bovenop noindex

Een robots.txt-blokkade toevoegen aan een pagina die al noindex heeft, waardoor Google de noindex nooit ziet.

Geblokkeerde URL’s in sitemaps

Sitemaps die URL’s vermelden die je robots.txt verbiedt. Google noemt dit als oorzaak van foutpieken in het rapport.

Zo los je het op

  1. Beslis of elke pagina in Google hoort. Loop de voorbeeld-URL’s door en sorteer ze in pagina’s die je geïndexeerd wilt hebben en pagina’s die je kwijt wilt.
  2. Om hem te verwijderen: hef de blokkade op en zet noindex. Verwijder de robots.txt-regel voor die URL’s en voeg een robots-meta noindex tag of X-Robots-Tag-header toe. Zodra Google opnieuw crawlt en noindex ziet, laat het de pagina vallen. In urgente gevallen verbergt de tool Verwijderingen een URL ongeveer zes maanden terwijl noindex ingaat.
  3. Om hem te houden: hef de blokkade op. Verwijder of vernauw de Disallow-regel zodat Google de pagina kan crawlen en een volledige snippet kan maken. Controleer in URL-inspectie of “Crawlen toegestaan?” nu “Ja” zegt.
  4. Ruim links en sitemaps op. Haal geblokkeerde URL’s uit je sitemaps en link niet meer naar URL’s die je niet geïndexeerd wilt hebben.
  5. Vraag een nieuwe crawl van robots.txt aan. Vraag na het bewerken van het bestand een nieuwe crawl aan in het robots.txt-rapport, zodat Google de wijziging eerder oppikt.

Check het met GSC Magic

gsc_inspect_urls_batch geeft zowel de robots.txt-status als het indexeringsoordeel per URL, zodat je assistent URL’s kan opsommen die geïndexeerd zijn terwijl ze verboden zijn en ze kan groeperen per map die een regel dekt. gsc_query_analytics laat zien of die URL’s echt vertoningen krijgen, wat helpt bij de keuze tussen deblokkeren en noindex, en report_index_health vindt verboden URL’s in je sitemap. Het GSC Magic-dashboard heeft een snelle robots.txt- en sitemap-audit die de live regels naast je sitemaps toont.

gsc_inspect_urls_batchgsc_query_analyticsgsc_inspect_urlreport_index_health

Prompts om te kopiëren

Inspecteer deze URL’s en noem elke URL die geïndexeerd is terwijl robots.txt crawlen verbiedt, gegroepeerd per map.

Toon voor URL’s die geïndexeerd zijn ondanks een robots.txt-blokkade de vertoningen en klikken van de afgelopen 3 maanden, zodat ik kan beslissen welke ik deblokkeer en welke ik op noindex zet.

Doe een indexgezondheidscheck op mijn sitemap en noem elke ingediende URL die robots.txt blokkeert.

robots.txt-tester →

Gidsen op de blog

Blocked by robots.txt

“Geblokkeerd door robots.txt” betekent dat een regel in je robots.txt-bestand Googlebot tegenhoudt bij het crawlen van de URL, dus kan Google de inhoud niet indexeren. Is de blokkade bedoeld, laat hem dan staan. Hoort de pagina in Google, verwijder of vernauw de regel; wil je hem juist buiten Google houden, gebruik dan noindex, want robots.txt voorkomt indexering niet betrouwbaar.

 Excluded by 'noindex' tag

Deze status betekent dat Google de pagina heeft gecrawld, een noindex-regel vond in een robots-meta tag of een X-Robots-Tag-http-header, en hem daarom niet heeft geïndexeerd. Wil je de pagina niet in Google, dan werkt dit. Wil je hem er wel in, verwijder dan de noindex bij de bron, bevestig met “Live-URL testen” en vraag indexering aan.

 Page indexed without content

Deze waarschuwing betekent dat de URL in de index van Google staat, maar dat Google de inhoud van de pagina niet kon lezen. Google noemt twee mogelijke oorzaken: de pagina is mogelijk gecloakt voor Google, of heeft een formaat dat Google niet kan indexeren. Inspecteer de URL en controleer wat Googlebot werkelijk ontving.

Veelgestelde vragen

Waarom indexeerde Google een pagina die het niet mag crawlen?

Omdat crawlen blokkeren niet hetzelfde is als indexeren blokkeren. Google zegt dat het de URL kan indexeren met informatie van pagina’s die ernaar linken, zonder de pagina zelf te crawlen.

Kan ik noindex toevoegen en de robots.txt-blokkade laten staan?

Nee. Google kan noindex niet zien op een pagina die het niet mag crawlen. Verwijder eerst de blokkade en voeg dan noindex toe.

Is dit een fout?

Google vermeldt het als waarschuwing, niet als reden waarom een pagina niet is geïndexeerd. De pagina is geïndexeerd, maar met een zeer beperkte snippet en zonder dat Google de inhoud leest.

Hoe verwijder ik deze URL’s snel?

Gebruik de tool Verwijderingen in Search Console, die volgens Google een URL ongeveer zes maanden verbergt, en voeg noindex toe terwijl crawlen is toegestaan, zodat de verwijdering definitief wordt.

Bronnen