Blocked by robots.txt: find reglen, og beslut, om du vil ophæve blokeringen

Senest opdateret: 2026-10-30

I korte træk

Blocked by robots.txt betyder, at en regel i din robots.txt-fil stopper Googlebot i at crawle URL’en, så Google ikke kan indeksere dens indhold. Hvis blokeringen er med vilje, så lad den være. Hvis siden skal være i Google, skal du fjerne eller indsnævre reglen; vil du have den ud af Google, skal du bruge noindex i stedet, fordi robots.txt ikke pålideligt forhindrer indeksering.

Den præcise betegnelse i Search Console: Blocked by robots.txt

Hvad det betyder

Googles hjælp til Page indexing siger, at siden blev blokeret af dit websteds robots.txt-fil, og advarer om, at det ikke garanterer, at siden ikke bliver indekseret på anden vis: hvis Google kan finde oplysninger om siden uden at indlæse den, er der en meget lille chance for, at den stadig bliver indekseret. Det tilfælde rapporteres separat som Indexed, though blocked by robots.txt. Googles hjælpeartikel kalder årsagen URL blocked by robots.txt; rækken i rapporten lyder Blocked by robots.txt.

Google beskriver robots.txt som et værktøj til at styre crawlertrafik, ikke som en måde at holde en side ude af Google. Googlebot adlyder den, men en blokeret side kan stadig optræde i resultaterne uden beskrivelse, hvis andre sider linker til den. En robots.txt-fil gælder kun for sin egen protokol og vært, og Google cacher den generelt i op til 24 timer, så ændringer slår ikke igennem med det samme.

Er det et problem?

Ikke hvis det var meningen. Administrationsområder, kurv og checkout, intern søgning og endeløse filterkombinationer blokeres ofte med vilje, og Google siger, at URL’er blokeret af robots.txt sandsynligvis er blokeret med vilje. Det er et problem, når vigtige sider eller hele sektioner bliver fanget af en for bred regel, en staging-robots.txt, der er havnet i produktion, eller en CMS-indstilling.

Typiske årsager

Blokeringer med vilje

Private URL’er, hjælpe-URL’er eller crawl-fælder, som du selv har valgt at holde crawlere væk fra.

For brede mønstre

En Disallow på et kort sti-præfiks eller et wildcard-mønster, der rammer langt flere URL’er end tilsigtet.

Rester fra staging eller lancering

En generel Disallow for alle user agents, kopieret med fra et udviklingswebsted.

CMS- eller plugin-indstillinger

Platformsindstillinger, der skriver robots.txt-regler for dig, nogle gange for en hel sektion.

En anden fil, end du tror

Hver protokol og vært har sin egen robots.txt. En subdomæne eller HTTP-versionen kan have andre regler end den fil, du redigerede.

Sådan retter du det

  1. Find reglen. Inspicér en eksempel-URL: Crawl allowed? viser, om robots.txt blokerer den. Rapporten robots.txt i Search Console viser, hvilke robots.txt-filer Google fandt for dine værter, hvornår hver blev hentet, og eventuelle parseproblemer.
  2. Beslut sektion for sektion. Behold blokeringer for URL’er, der ikke bør crawles. For sider, der hører til i Google, skal du fjerne den matchende Disallow-linje eller tilføje en mere specifik Allow-regel.
  3. Brug noindex til at holde sider ude af Google. Hvis målet er at holde en side ude af søgeresultaterne, skal du fjerne robots.txt-blokeringen og tilføje noindex. Google kan ikke se en noindex-regel på en side, den ikke må crawle.
  4. Anmod om gen-crawling af robots.txt efter store ændringer. Google crawler robots.txt ofte, men efter du har ophævet blokeringen af vigtige URL’er, kan du anmode om gen-crawling af filen i robots.txt-rapporten. Google bemærker, at det ikke garanterer en øjeblikkelig gen-crawling af de ophævede sider.
  5. Test og validér. Kør Test live URL på sider, du har ophævet blokeringen for, og klik derefter på Validate fix, hvis du ophævede en hel gruppe URL’er.

Tjek det med GSC Magic

gsc_inspect_urls_batch rapporterer robots.txt-status for hver URL, så din assistent kan bekræfte, om vigtige sider er blokeret, og hvilke mapper en regel dækker. report_index_health anvender samme tjek på hver URL i et sitemap, hvor intet bør være blokeret. I GSC Magic-dashboardet viser den hurtige robots.txt- og sitemap-audit for hvert websted den live robots.txt ved siden af dine sitemaps.

gsc_inspect_urls_batchreport_index_healthgsc_inspect_url

Prompts, du kan kopiere

Inspicér disse URL’er, og list hver enkelt, hvor crawling er forbudt af robots.txt. Gruppér dem efter mappe, så jeg kan se, hvilken regel der sandsynligvis er ansvarlig.

Kør et indekssundhedstjek på mit sitemap, og fortæl mig, om nogen indsendt URL er blokeret af robots.txt.

Her er min robots.txt-fil. Fortæl mig, hvilke af disse 50 URL’er hver Disallow-regel matcher, og markér regler, der blokerer URL’er, som står i mit sitemap.

robots.txt-tester →

Guides på bloggen

Indexed, though blocked by robots.txt

Advarslen betyder, at Google indekserede URL’en, selv om robots.txt blokerer crawling af den, som regel fordi andre sider linker til den. Google kan ikke læse siden, så ethvert uddrag er meget begrænset. Vil du have siden ud af Google, skal du fjerne blokeringen og tilføje noindex; vil du have den i Google, skal du fjerne blokeringen.

 Excluded by 'noindex' tag

Status betyder, at Google crawlede siden, fandt en noindex-regel i et robots-meta-tag eller en X-Robots-Tag-HTTP-header og derfor ikke indekserede den. Hvis du ikke vil have siden i Google, fungerer det efter hensigten. Hvis du vil have den i Google, skal du fjerne noindex ved kilden, bekræfte med Test live URL og anmode om indeksering.

 Discovered - currently not indexed

Discovered - currently not indexed betyder, at Google har fundet URL’en via et link eller et sitemap, men ikke har crawlet den endnu. Google siger, at Google typisk har udskudt crawlingen, fordi den forventedes at overbelaste webstedet. Ret det ved at skære lavværdige URL’er væk, forbedre serverens svartid og linke til de sider, der betyder noget.

Ofte stillede spørgsmål

Holder robots.txt en side ude af Google?

Nej. Google siger, at robots.txt ikke er en mekanisme til at holde en webside ude af Google. En blokeret URL kan stadig blive indekseret ud fra links, uden sit indhold. Brug i stedet noindex eller adgangskodebeskyttelse.

Kan jeg sætte noindex i robots.txt?

Nej. Google siger, at en noindex-regel i robots.txt ikke understøttes. Brug et robots-meta-tag eller HTTP-headeren X-Robots-Tag på selve siden.

Hvor hurtigt ser Google en ændring i robots.txt?

Google cacher generelt robots.txt i op til 24 timer. Efter en vigtig ændring kan du anmode om gen-crawling af filen i robots.txt-rapporten.

Hvad hvis robots.txt selv returnerer en fejl?

Googles specifikation for robots.txt siger, at hvis filen returnerer en serverfejl, stopper Google med at crawle webstedet de første 12 timer og bruger derefter den sidste gode kopi i op til 30 dage, mens den prøver igen. Et 4xx-svar andre end 429 behandles, som om der ikke fandtes en robots.txt.

Kilder