robots.txt-testare
Senast uppdaterad: 2026-10-30
Klistra in en robots.txt-fil, ange en URL och välj en crawler. Testaren tillämpar Googles dokumenterade regler (den mest specifika user-agent-gruppen, den längsta matchande regeln, jokertecken och $-ankaret) och visar om URL:en får crawlas och vilken rad som avgör det.
En blockerad URL kan fortfarande visas i sökresultaten utan beskrivning om andra sidor länkar till den. För att hålla en sida borta från resultaten, tillåt crawlning och använd en noindex-tagg i stället.
Körs i webbläsaren. Inget du skriver in skickas någonstans.
Så fungerar det
En grupp per crawler
En crawler följer gruppen med sitt eget user-agent-namn och ignorerar resten; flera grupper med samma namn slås samman. Bara när ingen grupp namnger den följer den *-gruppen. Versionsnummer och ett avslutande * efter namnet ignoreras.
Den längsta regeln vinner
Bland allow- och disallow-reglerna som matchar URL-sökvägen avgör den med den längsta sökvägen. Om en allow- och en disallow-regel är lika långa vinner allow-regeln.
Jokertecken och slutankaret
* står för valfri teckensekvens och $ i slutet betyder att URL:en måste sluta där. Sökvägar är skiftlägeskänsliga och inkluderar frågesträngen.
Bara fyra fält räknas
Google läser user-agent, allow, disallow och sitemap. Andra rader som crawl-delay ignoreras, och testaren listar dem så att du vet.
Baserat på: Google: så tolkar Google robots.txt-specifikationen
Gör det för varje sida med GSC Magic
Det här kontrollerar en URL mot en inklistrad fil. Med GSC Magic kan din AI-agent granska hundratals URL:er via Googles URL Inspection-API och se vilka Google faktiskt rapporterar som blockerade av robots.txt.
Granska URL:erna i vår sitemap och lista alla som Google rapporterar som blockerade av robots.txt.
Vilka sidor med visningar de senaste 90 dagarna är nu blockerade av robots.txt?
Frågor
Vart tog robots.txt-testaren i Search Console vägen?
Google tog bort den gamla testaren och ersatte den med robots.txt-rapporten i Search Console, som visar filerna Google hämtade och deras fel. Det här verktyget kontrollerar hur en specifik URL behandlas av reglerna.
Försvinner en sida från Google om den blockeras i robots.txt?
Nej. En URL som blockeras av disallow kan fortfarande indexeras utan innehåll om andra sidor länkar till den. Använd en noindex-tagg på en sida som får crawlas för att hålla den borta från resultaten.
Följer AI-crawlers robots.txt?
Crawlarna i listan, som GPTBot, OAI-SearchBot, ClaudeBot och PerplexityBot, är dokumenterade av sina operatörer att respektera robots.txt. Var och en följer sin egen grupp, eller *-gruppen när den saknar en egen.
Är resultatet exakt vad Googlebot gör?
Testaren följer Googles publicerade tolkning av Robots Exclusion Protocol. Google cachar också robots.txt i upp till en dag och hanterar serverfel särskilt, så kontrollera robots.txt-rapporten i Search Console efter att du ändrat filen.
Guider på bloggen: Blockerad av robots.txt: hitta regeln och avgör om du ska öppna upp