Indexerad trots robots.txt: öppna upp eller använd noindex

Senast uppdaterad: 2026-10-30

Kort sagt

Varningen betyder att Google indexerade URL:en trots att robots.txt blockerar genomsökningen, oftast för att andra sidor länkar till den. Google kan inte läsa sidan, så en eventuell utdragstext är mycket begränsad. Om du vill ha sidan borta från Google, ta bort blockeringen och lägg till noindex; om du vill ha den kvar i Google, ta bort blockeringen.

Exakt etikett i Search Console: Indexed, though blocked by robots.txt

Vad det betyder

Google listar det här under varningar i rapporten Sidindexering: problem som inte hindrar indexering men som minskar Googles möjlighet att förstå dina sidor. Google säger att det alltid respekterar robots.txt, men att det inte nödvändigtvis hindrar indexering om någon länkar till sidan. Google kommer inte att begära och genomsöka sidan, men det kan ändå indexera den med information från sidorna som länkar till den, och en eventuell utdragstext i resultaten blir troligen mycket begränsad.

Googles guide om robots.txt säger samma sak: en otillåten URL kan fortfarande visas i resultaten, potentiellt med URL:en och länkarnas ankartext, men utan beskrivning. URL-granskning lägger till en varning om att fältet Indexering tillåten? alltid visar Ja för en sida som blockeras av robots.txt, eftersom Google inte kan se något noindex-direktiv på den.

Är det ett problem?

Det beror på vad du ville. Om du blockerade URL:en för att hålla den borta från Google gjorde blockeringen inte jobbet, och du behöver noindex i stället. Om URL:en ska finnas i Google med en ordentlig utdragstext håller blockeringen den tillbaka. Oavsett vilket är robots.txt fel verktyg för resultatet du är ute efter.

Vanliga orsaker

robots.txt används för att dölja sidor

Sidor blockeras i robots.txt i hopp om att hålla dem borta från sökresultaten, samtidigt som de länkas från din egen eller andra webbplatser.

Breda regler över länkade URL:er

Disallow-regler som omfattar sektioner som folk länkar till, som PDF:er, parameter-URL:er eller gamla kataloger.

Blockering ovanpå noindex

En robots.txt-blockering läggs till på en sida som redan har noindex, vilket hindrar Google från att någonsin se noindex.

Blockerade URL:er i sitemaps

Sitemaps som listar URL:er som din robots.txt inte tillåter. Google nämner det som en orsak till feltoppar i rapporten.

Så åtgärdar du det

  1. Avgör om varje sida hör hemma i Google. Gå igenom exempel-URL:erna och sortera dem i sidor du vill ska indexeras och sidor du vill bli av med.
  2. För att ta bort den: öppna upp och lägg till noindex. Ta bort robots.txt-regeln för de URL:erna och lägg till en robots meta-tagg med noindex eller ett X-Robots-Tag-huvud. När Google genomsöker igen och ser noindex släpper det sidan. I akuta fall döljer verktyget Borttagningar en URL i ungefär sex månader medan noindex får effekt.
  3. För att behålla den: öppna upp den. Ta bort eller snäva in Disallow-regeln så att Google kan genomsöka sidan och bygga en fullständig utdragstext. Kontrollera i URL-granskning att Genomsökning tillåten? nu visar Ja.
  4. Rensa länkar och sitemaps. Ta bort blockerade URL:er från dina sitemaps och sluta länka till URL:er som du inte vill ska indexeras.
  5. Begär en ny genomsökning av robots.txt. När du har redigerat filen, begär en ny genomsökning i rapporten robots.txt så att Google plockar upp ändringen snabbare.

Kontrollera det med GSC Magic

gsc_inspect_urls_batch returnerar både robots.txt-statusen och indexeringsbedömningen för varje URL, så din assistent kan lista URL:er som är indexerade trots att de är otillåtna och gruppera dem efter katalogen som en regel omfattar. gsc_query_analytics visar om URL:erna faktiskt får visningar, vilket hjälper dig att välja mellan att öppna upp och att sätta noindex, och report_index_health hittar otillåtna URL:er i din sitemap. GSC Magic-dashboarden har en snabbkontroll av robots.txt och sitemap som visar de aktuella reglerna bredvid dina sitemaps.

gsc_inspect_urls_batchgsc_query_analyticsgsc_inspect_urlreport_index_health

Prompter att kopiera

Granska de här URL:erna och lista alla som är indexerade trots att robots.txt inte tillåter genomsökning, grupperade efter katalog.

För URL:er som är indexerade trots att robots.txt blockerar dem: visa visningar och klick de senaste 3 månaderna så att jag kan avgöra vilka jag ska öppna upp och vilka som ska få noindex.

Kör en indexhälsokontroll på min sitemap och lista alla inskickade URL:er som robots.txt blockerar.

robots.txt-testare →

Guider på bloggen

Blocked by robots.txt

Blockerad av robots.txt betyder att en regel i din robots.txt-fil hindrar Googlebot från att genomsöka URL:en, så Google kan inte indexera innehållet. Om blockeringen är avsiktlig, låt den vara. Om sidan ska finnas i Google, ta bort eller snäva in regeln; om du vill ha den borta från Google, använd noindex i stället, eftersom robots.txt inte på ett tillförlitligt sätt förhindrar indexering.

 Excluded by 'noindex' tag

Statusen betyder att Google genomsökte sidan, hittade en noindex-regel i en robots meta-tagg eller ett X-Robots-Tag i HTTP-huvudet och därför inte indexerade den. Om du inte vill ha sidan i Google fungerar det som det ska. Om du vill det, ta bort noindex vid källan, bekräfta med Testa live-URL och begär indexering.

 Page indexed without content

Varningen betyder att URL:en finns i Googles index, men att Google inte kunde läsa sidans innehåll. Google anger två möjliga skäl: sidan kan vara cloakad för Google, eller så kan den ha ett format som Google inte kan indexera. Granska URL:en och kontrollera vad Googlebot faktiskt fick.

Vanliga frågor

Varför indexerade Google en sida som det inte får genomsöka?

Eftersom blockering av genomsökning inte är samma sak som blockering av indexering. Google säger att det kan indexera URL:en med information från sidorna som länkar till den, utan att genomsöka själva sidan.

Kan jag lägga till noindex och behålla robots.txt-blockeringen?

Nej. Google kan inte se noindex på en sida som det inte får genomsöka. Ta bort blockeringen först och lägg sedan till noindex.

Är det här ett fel?

Google listar det som en varning, inte som en orsak till att en sida inte indexeras. Sidan är indexerad, men med en mycket begränsad utdragstext och utan att Google läser dess innehåll.

Hur tar jag bort de här URL:erna snabbt?

Använd verktyget Borttagningar i Search Console, som enligt Google döljer en URL i ungefär sex månader, och lägg till noindex med genomsökning tillåten så att borttagningen blir permanent.

Källor