Indeksert, selv om den er blokkert av robots.txt: åpne den eller bruk noindex

Sist oppdatert: 2026-10-30

Kort fortalt

Denne advarselen betyr at Google indekserte URL-en selv om robots.txt blokkerer gjennomsøking av den, vanligvis fordi andre sider lenker til den. Google kan ikke lese siden, så eventuelt utdrag blir svært begrenset. Vil du ha siden ut av Google, fjern blokkeringen og legg til noindex; vil du ha den i Google, fjern blokkeringen.

Nøyaktig etikett i Search Console: Indexed, though blocked by robots.txt

Hva det betyr

Google lister dette under advarsler i tabellen Forbedre sideopplevelsen i rapporten Sideindeksering: problemer som ikke hindrer indeksering, men som reduserer Googles evne til å forstå sidene dine. Google sier at den alltid respekterer robots.txt, men at det ikke nødvendigvis hindrer indeksering hvis noen lenker til siden. Google vil ikke be om og gjennomsøke siden, men kan fortsatt indeksere den ved hjelp av informasjon fra sidene som lenker til den, og eventuelt utdrag som vises i resultatene, blir sannsynligvis svært begrenset.

Googles guide til robots.txt sier det samme: en avvist URL kan fortsatt vises i resultatene, potensielt med URL-en og ankerteksten til lenkene, men uten beskrivelse. URL-inspeksjon legger til en advarsel om at for en side som er blokkert av robots.txt, viser Indeksering tillatt? alltid Ja, fordi Google ikke kan se noe noindex-direktiv på den.

Er det et problem?

Det kommer an på hva du ville. Hvis du blokkerte URL-en for å holde den ute av Google, gjorde ikke blokkeringen den jobben, og du trenger noindex i stedet. Hvis URL-en skal være i Google med et skikkelig utdrag, holder blokkeringen den tilbake. Uansett er robots.txt feil verktøy for resultatet du er ute etter.

Vanlige årsaker

Robots.txt brukt til å skjule sider

Sider blokkert i robots.txt i håp om å holde dem ute av søk, mens de er lenket fra ditt eget eller andre nettsteder.

Brede regler over lenker

Disallow-regler som dekker seksjoner folk lenker til, for eksempel PDF-er, parameter-URL-er eller gamle kataloger.

Blokkering oppå noindex

En robots.txt-blokkering lagt til en side som allerede har noindex, noe som hindrer Google i å se noindex i det hele tatt.

Blokkerte URL-er i områdekart

Områdekart som lister URL-er som robots.txt avviser. Google nevner dette som en årsak til feiltopper i rapporten.

Slik retter du det

  1. Avgjør om hver side hører hjemme i Google. Gå gjennom eksempel-URL-ene og sorter dem i sider du vil ha indeksert, og sider du vil bli kvitt.
  2. Vil du fjerne den: åpne og bruk noindex. Fjern robots.txt-regelen for disse URL-ene og legg til en robots-meta med noindex eller en X-Robots-Tag-header. Når Google gjennomsøker på nytt og ser noindex, fjerner den siden. I hastetilfeller skjuler verktøyet Fjerninger en URL i omtrent seks måneder mens noindex trer i kraft.
  3. Vil du beholde den: åpne den. Fjern eller avgrens Disallow-regelen så Google kan gjennomsøke siden og bygge et fullstendig utdrag. Sjekk i URL-inspeksjon at Gjennomsøking tillatt? nå sier Ja.
  4. Rydd i lenker og områdekart. Fjern blokkerte URL-er fra områdekartene dine, og slutt å lenke til URL-er du ikke vil ha indeksert.
  5. Be om ny gjennomsøking av robots.txt. Når du har redigert filen, be om ny gjennomsøking i robots.txt-rapporten, så Google fanger opp endringen raskere.

Sjekk det med GSC Magic

gsc_inspect_urls_batch returnerer både robots.txt-statusen og indeksvurderingen for hver URL, så assistenten din kan liste opp URL-er som er indeksert mens de er avvist, og gruppere dem etter katalogen en regel dekker. gsc_query_analytics viser om disse URL-ene faktisk får visninger, noe som hjelper deg å velge mellom å åpne dem og å bruke noindex, og report_index_health finner avviste URL-er inne i områdekartet ditt. GSC Magic-dashbordet har en rask robots.txt- og områdekartsrevisjon som viser de aktive reglene sammen med områdekartene dine.

gsc_inspect_urls_batchgsc_query_analyticsgsc_inspect_urlreport_index_health

Prompter du kan kopiere

Inspiser disse URL-ene og list opp alle som er indeksert selv om robots.txt avviser gjennomsøking, gruppert etter katalog.

For URL-er som er indeksert selv om de er blokkert av robots.txt: vis visninger og klikk de siste 3 månedene, så jeg kan avgjøre hvilke som skal åpnes, og hvilke som skal få noindex.

Kjør en indekshelsesjekk på områdekartet mitt og list opp alle innsendte URL-er som robots.txt blokkerer.

robots.txt-tester →

Guider på bloggen

Blocked by robots.txt

«Blokkert av robots.txt» betyr at en regel i robots.txt-filen din hindrer Googlebot i å gjennomsøke URL-en, så Google kan ikke indeksere innholdet. Hvis blokkeringen er tilsiktet, la den stå. Hvis siden skal være i Google, fjern eller avgrens regelen; vil du ha den ut av Google, bruk noindex i stedet, fordi robots.txt ikke pålitelig hindrer indeksering.

 Excluded by 'noindex' tag

Denne statusen betyr at Google gjennomsøkte siden, fant en noindex-regel i en robots-metatagg eller en X-Robots-Tag-header, og derfor ikke indekserte den. Vil du ikke ha siden i Google, virker dette som det skal. Vil du ha den der, fjern noindex ved kilden, bekreft med Test live URL og be om indeksering.

 Page indexed without content

Denne advarselen betyr at URL-en er i Googles indeks, men at Google ikke kunne lese sideinnholdet. Google nevner to mulige årsaker: siden kan bruke cloaking overfor Google, eller den kan være i et format Google ikke kan indeksere. Inspiser URL-en og sjekk hva Googlebot faktisk fikk.

Vanlige spørsmål

Hvorfor indekserte Google en side den ikke får gjennomsøke?

Fordi å blokkere gjennomsøking ikke er det samme som å blokkere indeksering. Google sier at den kan indeksere URL-en ved hjelp av informasjon fra sider som lenker til den, uten å gjennomsøke selve siden.

Kan jeg legge til noindex og beholde robots.txt-blokkeringen?

Nei. Google kan ikke se noindex på en side den ikke får gjennomsøke. Fjern blokkeringen først, og legg deretter til noindex.

Er dette en feil?

Google lister det som en advarsel, ikke som en årsak til at en side ikke er indeksert. Siden er indeksert, men med et svært begrenset utdrag og uten at Google har lest innholdet.

Hvordan fjerner jeg disse URL-ene raskt?

Bruk verktøyet Fjerninger i Search Console, som ifølge Google skjuler en URL i omtrent seks måneder, og legg til noindex mens gjennomsøking er tillatt, så fjerningen blir permanent.

Kilder