Blockerad av robots.txt: hitta regeln och avgör om du ska öppna upp

Senast uppdaterad: 2026-10-30

Kort sagt

Blockerad av robots.txt betyder att en regel i din robots.txt-fil hindrar Googlebot från att genomsöka URL:en, så Google kan inte indexera innehållet. Om blockeringen är avsiktlig, låt den vara. Om sidan ska finnas i Google, ta bort eller snäva in regeln; om du vill ha den borta från Google, använd noindex i stället, eftersom robots.txt inte på ett tillförlitligt sätt förhindrar indexering.

Exakt etikett i Search Console: Blocked by robots.txt

Vad det betyder

Googles hjälpsida för Sidindexering säger att sidan blockerades av webbplatsens robots.txt-fil, och varnar för att det inte garanterar att sidan inte indexeras på annat sätt: om Google kan hitta information om sidan utan att ladda den finns det en mycket liten chans att den ändå indexeras. Det fallet rapporteras separat som Indexerad trots att robots.txt blockerar. Googles hjälpartikel kallar orsaken URL blockerad av robots.txt; raden i rapporten lyder Blockerad av robots.txt.

Google beskriver robots.txt som ett verktyg för att hantera sökmotorernas trafik, inte som ett sätt att hålla en sida borta från Google. Googlebot lyder den, men en blockerad sida kan ändå visas i resultaten utan beskrivning om andra sidor länkar till den. En robots.txt-fil gäller bara för sitt eget protokoll och sin egen värd, och Google cachar den i allmänhet i upp till 24 timmar, så ändringar slår inte igenom direkt.

Är det ett problem?

Inte om du menade det. Adminområden, varukorg och kassa, intern sökning och oändliga filterkombinationer blockeras ofta medvetet, och Google säger att URL:er som blockeras av robots.txt förmodligen är avsiktligt blockerade. Det är ett problem när viktiga sidor eller hela sektioner fångas av en alltför bred regel, en robots.txt från staging som följt med till produktion eller en CMS-inställning.

Vanliga orsaker

Avsiktliga blockeringar

Privata, tekniska eller genomsökningsfällor som du valt att hålla sökmotorerna borta från.

Alltför breda mönster

En Disallow på ett kort sökvägsprefix, eller ett jokerteckenmönster, som matchar långt fler URL:er än tänkt.

Rester från staging eller lansering

En generell Disallow för alla användaragenter som kopierats från en utvecklingswebbplats.

Inställningar i CMS eller plugin

Plattformsinställningar som skriver robots.txt-regler åt dig, ibland för en hel sektion.

En annan fil än du tror

Varje protokoll och värd har sin egen robots.txt. En subdomän eller HTTP-versionen kan ha andra regler än filen du redigerade.

Så åtgärdar du det

  1. Hitta regeln. Granska en exempel-URL: Genomsökning tillåten? visar om robots.txt blockerar den. Rapporten robots.txt i Search Console visar vilka robots.txt-filer Google hittade för dina värdar, när var och en hämtades senast och eventuella tolkningsproblem.
  2. Bestäm sektion för sektion. Behåll blockeringar för URL:er som inte ska genomsökas. För sidor som hör hemma i Google, ta bort den matchande Disallow-raden eller lägg till en mer specifik Allow-regel.
  3. Använd noindex för att hålla sidor borta från Google. Om målet är att hålla en sida borta från sökresultaten, ta bort robots.txt-blockeringen och lägg till noindex. Google kan inte se en noindex-regel på en sida som det inte får genomsöka.
  4. Begär ny genomsökning av robots.txt efter stora ändringar. Google genomsöker robots.txt ofta, men när du har öppnat upp viktiga URL:er kan du begära en ny genomsökning av filen i rapporten robots.txt. Google noterar att det inte garanterar en omedelbar ny genomsökning av de upplåsta sidorna.
  5. Testa och validera. Kör Testa live-URL på upplåsta sidor och klicka sedan på Validera åtgärd om du öppnade upp en hel grupp URL:er.

Kontrollera det med GSC Magic

gsc_inspect_urls_batch rapporterar robots.txt-statusen för varje URL, så din assistent kan bekräfta om viktiga sidor är blockerade och vilka kataloger en regel omfattar. report_index_health gör samma kontroll på varje URL i en sitemap, där inget borde vara blockerat. I GSC Magic-dashboarden visar snabbkontrollen av robots.txt och sitemap för varje webbplats den live-robots.txt bredvid dina sitemaps.

gsc_inspect_urls_batchreport_index_healthgsc_inspect_url

Prompter att kopiera

Granska de här URL:erna och lista alla där genomsökning är otillåten enligt robots.txt. Gruppera dem efter katalog så att jag kan se vilken regel som troligen är ansvarig.

Kör en indexhälsokontroll på min sitemap och säg om någon inskickad URL blockeras av robots.txt.

Här är min robots.txt-fil. Säg vilka av de här 50 URL:erna varje Disallow-regel matchar, och flagga regler som blockerar URL:er som finns i min sitemap.

robots.txt-testare →

Guider på bloggen

Indexed, though blocked by robots.txt

Varningen betyder att Google indexerade URL:en trots att robots.txt blockerar genomsökningen, oftast för att andra sidor länkar till den. Google kan inte läsa sidan, så en eventuell utdragstext är mycket begränsad. Om du vill ha sidan borta från Google, ta bort blockeringen och lägg till noindex; om du vill ha den kvar i Google, ta bort blockeringen.

 Excluded by 'noindex' tag

Statusen betyder att Google genomsökte sidan, hittade en noindex-regel i en robots meta-tagg eller ett X-Robots-Tag i HTTP-huvudet och därför inte indexerade den. Om du inte vill ha sidan i Google fungerar det som det ska. Om du vill det, ta bort noindex vid källan, bekräfta med Testa live-URL och begär indexering.

 Discovered - currently not indexed

Upptäckt men inte indexerad betyder att Google hittade URL:en, via en länk eller en sitemap, men ännu inte har genomsökt den. Google säger att genomsökningen oftast sköts upp för att den befarades överbelasta webbplatsen. Åtgärda det genom att skära bort lågvärda URL:er, förbättra serverns svarstid och länka till sidorna som spelar roll.

Vanliga frågor

Håller robots.txt en sida borta från Google?

Nej. Google säger att robots.txt inte är en mekanism för att hålla en webbsida borta från Google. En blockerad URL kan fortfarande indexeras via länkar, utan sitt innehåll. Använd noindex eller lösenordsskydd i stället.

Kan jag lägga noindex i robots.txt?

Nej. Google säger att en noindex-regel i robots.txt inte stöds. Använd en robots meta-tagg eller HTTP-huvudet X-Robots-Tag på själva sidan.

Hur snabbt ser Google en ändring i robots.txt?

Google cachar i allmänhet robots.txt i upp till 24 timmar. Efter en viktig ändring kan du begära en ny genomsökning av filen i rapporten robots.txt.

Vad händer om robots.txt själv returnerar ett fel?

Googles specifikation för robots.txt säger att om filen returnerar ett serverfel slutar Google genomsöka webbplatsen under de första 12 timmarna och använder sedan den senaste fungerande kopian i upp till 30 dagar medan det försöker igen. Ett 4xx-svar annat än 429 behandlas som om ingen robots.txt fanns.

Källor