Geblokkeerd door robots.txt: vind de regel en beslis of je hem opheft

Laatst bijgewerkt: 2026-10-30

In het kort

“Geblokkeerd door robots.txt” betekent dat een regel in je robots.txt-bestand Googlebot tegenhoudt bij het crawlen van de URL, dus kan Google de inhoud niet indexeren. Is de blokkade bedoeld, laat hem dan staan. Hoort de pagina in Google, verwijder of vernauw de regel; wil je hem juist buiten Google houden, gebruik dan noindex, want robots.txt voorkomt indexering niet betrouwbaar.

Exact label in Search Console: Blocked by robots.txt

Wat het betekent

De hulp van Google over Pagina-indexering zegt dat de pagina is geblokkeerd door het robots.txt-bestand van je site, en waarschuwt dat dit niet garandeert dat de pagina niet op een andere manier wordt geïndexeerd: als Google informatie over de pagina kan vinden zonder hem te laden, is er een zeer kleine kans dat hij alsnog wordt geïndexeerd. Dat geval wordt apart gemeld als “Geïndexeerd, maar geblokkeerd door robots.txt”. Het artikel van Google noemt deze reden “URL blocked by robots.txt”; de regel in het rapport heet “Geblokkeerd door robots.txt”.

Google beschrijft robots.txt als hulpmiddel om crawlverkeer te beheren, niet als manier om een pagina buiten Google te houden. Googlebot volgt het bestand, maar een geblokkeerde pagina kan nog steeds in resultaten verschijnen zonder beschrijving als andere pagina’s ernaar linken. Een robots.txt-bestand geldt alleen voor zijn eigen protocol en host, en Google cachet het meestal tot 24 uur, dus wijzigingen worden niet direct opgepikt.

Is het een probleem?

Niet als je het zo bedoelde. Beheeromgevingen, winkelwagen en checkout, interne zoekopdrachten en eindeloze filtercombinaties worden vaak bewust geblokkeerd, en Google zegt dat door robots.txt geblokkeerde URL’s waarschijnlijk opzettelijk zijn geblokkeerd. Het is een probleem wanneer belangrijke pagina’s of hele secties worden geraakt door een te brede regel, een staging-robots.txt die naar productie is gegaan of een CMS-instelling.

Veelvoorkomende oorzaken

Bewuste blokkades

Privé-, hulp- of crawlval-URL’s waar je crawlers bewust weghoudt.

Te brede patronen

Een Disallow op een kort padprefix, of een wildcardpatroon, dat veel meer URL’s raakt dan bedoeld.

Restanten uit staging of lancering

Een algehele Disallow voor alle user-agents die van een ontwikkelsite is overgezet.

CMS- of plugininstellingen

Platforminstellingen die zelf robots.txt-regels schrijven, soms voor een hele sectie.

Een ander bestand dan je denkt

Elk protocol en elke host heeft zijn eigen robots.txt. Een subdomein of de HTTP-versie kan andere regels hebben dan het bestand dat je hebt aangepast.

Zo los je het op

  1. Vind de regel. Inspecteer een voorbeeld-URL: “Crawlen toegestaan?” laat zien of robots.txt hem blokkeert. Het rapport robots.txt in Search Console toont welke robots.txt-bestanden Google voor je hosts vond, wanneer elk voor het laatst is opgehaald en eventuele verwerkingsproblemen.
  2. Beslis per sectie. Houd blokkades voor URL’s die niet gecrawld moeten worden. Voor pagina’s die in Google horen, verwijder je de bijpassende Disallow-regel of voeg je een specifiekere Allow-regel toe.
  3. Gebruik noindex om pagina’s buiten Google te houden. Is het doel een pagina uit de zoekresultaten te houden, verwijder dan de robots.txt-blokkade en voeg noindex toe. Google kan een noindex-regel niet zien op een pagina die het niet mag crawlen.
  4. Vraag na grote wijzigingen een nieuwe crawl van robots.txt aan. Google crawlt robots.txt vaak opnieuw, maar na het opheffen van blokkades voor belangrijke URL’s kun je in het robots.txt-rapport een nieuwe crawl van het bestand aanvragen. Google merkt op dat dit geen onmiddellijke nieuwe crawl van de vrijgegeven pagina’s garandeert.
  5. Test en valideer. Voer “Live-URL testen” uit op vrijgegeven pagina’s en klik daarna op “Oplossing valideren” als je een hele groep URL’s hebt vrijgegeven.

Check het met GSC Magic

gsc_inspect_urls_batch meldt de robots.txt-status per URL, zodat je assistent kan bevestigen of belangrijke pagina’s geblokkeerd zijn en welke mappen een regel dekt. report_index_health past dezelfde check toe op elke URL in een sitemap, waar niets geblokkeerd hoort te zijn. In het GSC Magic-dashboard toont de snelle robots.txt- en sitemap-audit per site de live robots.txt naast je sitemaps.

gsc_inspect_urls_batchreport_index_healthgsc_inspect_url

Prompts om te kopiëren

Inspecteer deze URL’s en noem elke URL waarvoor crawlen door robots.txt niet is toegestaan. Groepeer ze per map, zodat ik zie welke regel waarschijnlijk verantwoordelijk is.

Doe een indexgezondheidscheck op mijn sitemap en zeg of een ingediende URL door robots.txt is geblokkeerd.

Dit is mijn robots.txt-bestand. Zeg welke van deze 50 URL’s door elke Disallow-regel worden geraakt, en markeer regels die URL’s uit mijn sitemap blokkeren.

robots.txt-tester →

Gidsen op de blog

Indexed, though blocked by robots.txt

Deze waarschuwing betekent dat Google de URL heeft geïndexeerd terwijl robots.txt het crawlen blokkeert, meestal omdat andere pagina’s ernaar linken. Google kan de pagina niet lezen, dus elke snippet is zeer beperkt. Wil je de pagina uit Google, hef de blokkade op en voeg noindex toe; wil je hem erin, hef de blokkade dan op.

 Excluded by 'noindex' tag

Deze status betekent dat Google de pagina heeft gecrawld, een noindex-regel vond in een robots-meta tag of een X-Robots-Tag-http-header, en hem daarom niet heeft geïndexeerd. Wil je de pagina niet in Google, dan werkt dit. Wil je hem er wel in, verwijder dan de noindex bij de bron, bevestig met “Live-URL testen” en vraag indexering aan.

 Discovered - currently not indexed

“Ontdekt, momenteel niet geïndexeerd” betekent dat Google de URL heeft gevonden, via een link of een sitemap, maar hem nog niet heeft gecrawld. Volgens Google is het crawlen meestal uitgesteld omdat het de site zou overbelasten. Los het op door weinig waardevolle URL’s te schrappen, je serverrespons te verbeteren en te linken naar de pagina’s die ertoe doen.

Veelgestelde vragen

Houdt robots.txt een pagina buiten Google?

Nee. Google zegt dat robots.txt geen mechanisme is om een webpagina buiten Google te houden. Een geblokkeerde URL kan nog steeds via links worden geïndexeerd, zonder inhoud. Gebruik in plaats daarvan noindex of wachtwoordbeveiliging.

Kan ik noindex in robots.txt zetten?

Nee. Google ondersteunt geen noindex-regel in robots.txt. Gebruik een robots-meta tag of de X-Robots-Tag-http-header op de pagina zelf.

Hoe snel ziet Google een wijziging in robots.txt?

Google cachet robots.txt meestal tot 24 uur. Na een belangrijke wijziging kun je in het robots.txt-rapport een nieuwe crawl van het bestand aanvragen.

Wat als robots.txt zelf een fout teruggeeft?

De robots.txt-specificatie van Google zegt dat Google het crawlen van de site de eerste 12 uur staakt als het bestand een serverfout teruggeeft, en daarna tot 30 dagen de laatste goede kopie gebruikt en het opnieuw probeert. Een 4xx-respons anders dan 429 wordt behandeld alsof er geen robots.txt is.

Bronnen