Blokkert av robots.txt: finn regelen og avgjør om du skal åpne

Sist oppdatert: 2026-10-30

Kort fortalt

«Blokkert av robots.txt» betyr at en regel i robots.txt-filen din hindrer Googlebot i å gjennomsøke URL-en, så Google kan ikke indeksere innholdet. Hvis blokkeringen er tilsiktet, la den stå. Hvis siden skal være i Google, fjern eller avgrens regelen; vil du ha den ut av Google, bruk noindex i stedet, fordi robots.txt ikke pålitelig hindrer indeksering.

Nøyaktig etikett i Search Console: Blocked by robots.txt

Hva det betyr

Googles hjelp om Sideindeksering sier at siden ble blokkert av nettstedets robots.txt-fil, og advarer om at dette ikke garanterer at siden ikke blir indeksert på en annen måte: hvis Google kan finne informasjon om siden uten å laste den, er det en svært liten sjanse for at den likevel blir indeksert. Det tilfellet rapporteres separat som Indeksert, selv om den er blokkert av robots.txt. Googles hjelpeartikkel kaller årsaken URL blokkert av robots.txt; raden i rapporten lyder Blokkert av robots.txt.

Google beskriver robots.txt som et verktøy for å administrere crawler-trafikk, ikke som en måte å holde en side ute av Google. Googlebot følger den, men en blokkert side kan fortsatt vises i resultatene uten beskrivelse hvis andre sider lenker til den. En robots.txt-fil gjelder bare for sin egen protokoll og vert, og Google bufrer den vanligvis i opptil 24 timer, så endringer fanges ikke opp umiddelbart.

Er det et problem?

Ikke hvis du mente det. Administrasjonsområder, handlekurv og kasse, internt søk og endeløse filterkombinasjoner blokkeres ofte med vilje, og Google sier at URL-er som er blokkert av robots.txt er sannsynligvis blokkert med vilje. Det er et problem når viktige sider eller hele seksjoner fanges av en for bred regel, en robots.txt fra staging som er publisert i produksjon, eller en CMS-innstilling.

Vanlige årsaker

Tilsiktede blokkeringer

Private, tekniske URL-er eller rene gjennomsøkingsfeller som du har valgt å holde crawlere borte fra.

For brede mønstre

En Disallow på et kort baneprefiks, eller et jokertegnmønster, som treffer langt flere URL-er enn tiltenkt.

Rester fra staging eller lansering

En generell Disallow for alle brukeragenter, kopiert over fra et utviklingsnettsted.

Innstillinger i CMS eller plugin

Plattforminnstillinger som skriver robots.txt-regler for deg, og noen ganger dekker en hel seksjon.

En annen fil enn du tror

Hver protokoll og vert har sin egen robots.txt. Et underdomene eller HTTP-versjonen kan ha andre regler enn filen du redigerte.

Slik retter du det

  1. Finn regelen. Inspiser en eksempel-URL: Gjennomsøking tillatt? viser om robots.txt blokkerer den. robots.txt-rapporten i Search Console viser hvilke robots.txt-filer Google fant for vertene dine, når hver av dem sist ble hentet, og eventuelle problemer med tolkingen.
  2. Avgjør seksjon for seksjon. Behold blokkeringer for URL-er som ikke skal gjennomsøkes. For sider som hører hjemme i Google, fjern den aktuelle Disallow-linjen eller legg til en mer spesifikk Allow-regel.
  3. Bruk noindex for å holde sider ute av Google. Hvis målet er å holde en side ute av søkeresultatene, fjern robots.txt-blokkeringen og legg til noindex. Google kan ikke se en noindex-regel på en side den ikke får gjennomsøke.
  4. Be om ny gjennomsøking av robots.txt etter store endringer. Google gjennomsøker robots.txt ofte, men etter at du har åpnet viktige URL-er, kan du be om ny gjennomsøking av filen i robots.txt-rapporten. Google bemerker at dette ikke garanterer umiddelbar ny gjennomsøking av de åpnede sidene.
  5. Test og valider. Kjør Test live URL på åpnede sider, og klikk deretter Validate fix hvis du åpnet en hel gruppe URL-er.

Sjekk det med GSC Magic

gsc_inspect_urls_batch rapporterer robots.txt-statusen for hver URL, så assistenten din kan bekrefte om viktige sider er blokkert, og hvilke kataloger en regel dekker. report_index_health bruker samme sjekk på hver URL i et områdekart, der ingenting skal være blokkert. I GSC Magic-dashbordet viser den raske robots.txt- og områdekartsrevisjonen for hvert nettsted den aktive robots.txt-filen sammen med områdekartene dine.

gsc_inspect_urls_batchreport_index_healthgsc_inspect_url

Prompter du kan kopiere

Inspiser disse URL-ene og list opp alle der gjennomsøking er avvist av robots.txt. Grupper dem etter katalog, så jeg kan se hvilken regel som sannsynligvis er ansvarlig.

Kjør en indekshelsesjekk på områdekartet mitt og si om noen innsendt URL er blokkert av robots.txt.

Her er robots.txt-filen min. Si hvilke av disse 50 URL-ene hver Disallow-regel treffer, og flagg regler som blokkerer URL-er som står i områdekartet mitt.

robots.txt-tester →

Guider på bloggen

Indexed, though blocked by robots.txt

Denne advarselen betyr at Google indekserte URL-en selv om robots.txt blokkerer gjennomsøking av den, vanligvis fordi andre sider lenker til den. Google kan ikke lese siden, så eventuelt utdrag blir svært begrenset. Vil du ha siden ut av Google, fjern blokkeringen og legg til noindex; vil du ha den i Google, fjern blokkeringen.

 Excluded by 'noindex' tag

Denne statusen betyr at Google gjennomsøkte siden, fant en noindex-regel i en robots-metatagg eller en X-Robots-Tag-header, og derfor ikke indekserte den. Vil du ikke ha siden i Google, virker dette som det skal. Vil du ha den der, fjern noindex ved kilden, bekreft med Test live URL og be om indeksering.

 Discovered - currently not indexed

«Oppdaget – foreløpig ikke indeksert» betyr at Google fant URL-en via en lenke eller et områdekart, men ennå ikke har gjennomsøkt den. Google sier at gjennomsøkingen vanligvis ble utsatt fordi Google ventet at den ville overbelaste nettstedet. Rett det ved å kutte lavverdige URL-er, forbedre serverresponsen og lenke til sidene som betyr noe.

Vanlige spørsmål

Holder robots.txt en side ute av Google?

Nei. Google sier at robots.txt ikke er en mekanisme for å holde en nettside ute av Google. En blokkert URL kan fortsatt bli indeksert fra lenker, uten innholdet sitt. Bruk noindex eller passordbeskyttelse i stedet.

Kan jeg legge noindex i robots.txt?

Nei. Google sier at en noindex-regel i robots.txt ikke støttes. Bruk en robots-metatagg eller HTTP-headeren X-Robots-Tag på selve siden.

Hvor raskt ser Google en endring i robots.txt?

Google bufrer vanligvis robots.txt i opptil 24 timer. Etter en viktig endring kan du be om ny gjennomsøking av filen i robots.txt-rapporten.

Hva skjer hvis robots.txt selv returnerer en feil?

Googles spesifikasjon for robots.txt sier at hvis filen returnerer en serverfeil, stopper Google gjennomsøkingen av nettstedet de første 12 timene, og bruker deretter den siste gode kopien i opptil 30 dager mens den prøver på nytt. En 4xx-respons annet enn 429 behandles som om det ikke fantes noen robots.txt.

Kilder