Indexed, though blocked by robots.txt: åbn den eller sæt noindex på

Senest opdateret: 2026-10-30

I korte træk

Advarslen betyder, at Google indekserede URL’en, selv om robots.txt blokerer crawling af den, som regel fordi andre sider linker til den. Google kan ikke læse siden, så ethvert uddrag er meget begrænset. Vil du have siden ud af Google, skal du fjerne blokeringen og tilføje noindex; vil du have den i Google, skal du fjerne blokeringen.

Den præcise betegnelse i Search Console: Indexed, though blocked by robots.txt

Hvad det betyder

Google lister dette under advarsler i tabellen Improve page experience i rapporten Page indexing: problemer, der ikke forhindrer indeksering, men reducerer Googles evne til at forstå dine sider. Google siger, at det altid respekterer robots.txt, men at det ikke nødvendigvis forhindrer indeksering, hvis nogen linker til siden. Google anmoder ikke om og crawler ikke siden, men kan stadig indeksere den ved hjælp af oplysninger fra de sider, der linker til den, og ethvert uddrag, der vises i resultaterne, vil sandsynligvis være meget begrænset.

Googles guide om robots.txt siger det samme: en ikke-tilladt URL kan stadig optræde i resultaterne, muligvis med URL’en og ankerteksten fra links, men uden en beskrivelse. URL-inspektion tilføjer en advarsel om, at Indexing allowed? for en side blokeret af robots.txt altid viser Yes, fordi Google ikke kan se noget noindex-direktiv på den.

Er det et problem?

Det afhænger af, hvad du ville opnå. Blokerede du URL’en for at holde den ude af Google, gjorde blokeringen ikke det arbejde, og du har brug for noindex i stedet. Skal URL’en være i Google med et ordentligt uddrag, holder blokeringen den tilbage. Uanset hvad er robots.txt det forkerte værktøj til det resultat, du går efter.

Typiske årsager

Brug af robots.txt til at skjule sider

At blokere sider i robots.txt i håb om at holde dem ude af søgeresultaterne, mens der linkes til dem fra dit eget eller andre websteder.

Brede regler over linkede URL’er

Disallow-regler, der dækker sektioner, som folk linker til, for eksempel PDF’er, parameter-URL’er eller gamle mapper.

Blokering oven på noindex

At tilføje en robots.txt-blokering til en side, der allerede har noindex, hvilket forhindrer Google i nogensinde at se noindexen.

Blokerede URL’er i sitemaps

Sitemaps, der lister URL’er, som din robots.txt forbyder. Google nævner det som en årsag til fejltoppe i rapporten.

Sådan retter du det

  1. Beslut, om hver side hører til i Google. Gennemgå eksempel-URL’erne, og opdel dem i sider, du vil have indekseret, og sider, du vil af med.
  2. For at fjerne den: åbn og sæt noindex på. Fjern robots.txt-reglen for de URL’er, og tilføj et robots-meta-noindex-tag eller en X-Robots-Tag-header. Når Google crawler igen og ser noindex, fjerner det siden. I hastetilfælde skjuler værktøjet Removals en URL i cirka seks måneder, mens noindex virker.
  3. For at beholde den: åbn den. Fjern eller indsnævr Disallow-reglen, så Google kan crawle siden og bygge et fuldt uddrag. Tjek i URL-inspektion, at Crawl allowed? nu siger Yes.
  4. Ryd op i links og sitemaps. Fjern blokerede URL’er fra dine sitemaps, og stop med at linke til URL’er, du ikke vil have indekseret.
  5. Anmod om gen-crawling af robots.txt. Når du har redigeret filen, skal du anmode om gen-crawling i robots.txt-rapporten, så Google opdager ændringen tidligere.

Tjek det med GSC Magic

gsc_inspect_urls_batch returnerer både robots.txt-status og indekseringsdommen for hver URL, så din assistent kan liste URL’er, der er indekseret, selv om de er forbudte, og gruppere dem efter den mappe, en regel dækker. gsc_query_analytics viser, om disse URL’er faktisk får visninger, hvilket hjælper dig med at vælge mellem at åbne dem og at sætte noindex på, og report_index_health finder forbudte URL’er i dit sitemap. GSC Magic-dashboardet har en hurtig robots.txt- og sitemap-audit, der viser de live regler ved siden af dine sitemaps.

gsc_inspect_urls_batchgsc_query_analyticsgsc_inspect_urlreport_index_health

Prompts, du kan kopiere

Inspicér disse URL’er, og list hver enkelt, der er indekseret, selv om robots.txt forbyder crawling, grupperet efter mappe.

Vis visninger og klik for de sidste 3 måneder for URL’er, der er indekseret, men blokeret af robots.txt, så jeg kan beslutte, hvilke der skal åbnes, og hvilke der skal have noindex.

Kør et indekssundhedstjek på mit sitemap, og list enhver indsendt URL, som robots.txt blokerer.

robots.txt-tester →

Guides på bloggen

Blocked by robots.txt

Blocked by robots.txt betyder, at en regel i din robots.txt-fil stopper Googlebot i at crawle URL’en, så Google ikke kan indeksere dens indhold. Hvis blokeringen er med vilje, så lad den være. Hvis siden skal være i Google, skal du fjerne eller indsnævre reglen; vil du have den ud af Google, skal du bruge noindex i stedet, fordi robots.txt ikke pålideligt forhindrer indeksering.

 Excluded by 'noindex' tag

Status betyder, at Google crawlede siden, fandt en noindex-regel i et robots-meta-tag eller en X-Robots-Tag-HTTP-header og derfor ikke indekserede den. Hvis du ikke vil have siden i Google, fungerer det efter hensigten. Hvis du vil have den i Google, skal du fjerne noindex ved kilden, bekræfte med Test live URL og anmode om indeksering.

 Page indexed without content

Advarslen betyder, at URL’en er i Googles indeks, men at Google ikke kunne læse sidens indhold. Google nævner to mulige årsager: siden kan vise Google andet indhold end brugerne (cloaking), eller den kan være i et format, Google ikke kan indeksere. Inspicér URL’en, og tjek, hvad Googlebot faktisk fik.

Ofte stillede spørgsmål

Hvorfor indekserede Google en side, den ikke må crawle?

Fordi det at blokere crawling ikke er det samme som at blokere indeksering. Google siger, at Google kan indeksere URL’en ved hjælp af oplysninger fra sider, der linker til den, uden at crawle selve siden.

Kan jeg tilføje noindex og beholde robots.txt-blokeringen?

Nej. Google kan ikke se noindex på en side, det ikke må crawle. Fjern først blokeringen, og tilføj derefter noindex.

Er dette en fejl?

Google lister det som en advarsel, ikke som en årsag til at en side ikke er indekseret. Siden er indekseret, men med et meget begrænset uddrag og uden at Google har læst dens indhold.

Hvordan fjerner jeg disse URL’er hurtigt?

Brug værktøjet Removals i Search Console, som ifølge Google skjuler en URL i cirka seks måneder, og tilføj noindex med crawling tilladt, så fjernelsen bliver permanent.

Kilder