robots.txt-tester
Sist oppdatert: 2026-10-30
Lim inn en robots.txt-fil, skriv inn en URL og velg en crawler. Testeren bruker Googles dokumenterte regler (den mest spesifikke brukeragentgruppen, den lengste matchende regelen, jokertegn og $-ankeret) og viser om URL-en kan gjennomsøkes og hvilken linje som avgjør det.
En blokkert URL kan fortsatt vises i søkeresultater uten beskrivelse hvis andre sider lenker til den. For å holde en side ute av resultatene, tillat gjennomsøking og bruk en noindex-tagg i stedet.
Kjører i nettleseren. Ingenting du skriver inn, sendes noe sted.
Slik fungerer det
Én gruppe per crawler
En crawler følger gruppen med sitt eget brukeragentnavn og ignorerer resten; flere grupper med samme navn slås sammen. Bare når ingen gruppe navngir den, følger den *-gruppen. Versjonsnumre og en avsluttende * etter navnet ignoreres.
Den lengste regelen vinner
Blant allow- og disallow-reglene som matcher URL-stien, avgjør den med den lengste stien. Hvis en allow- og en disallow-regel er like lange, vinner allow-regelen.
Jokertegn og sluttankeret
* står for en vilkårlig tegnsekvens, og $ på slutten betyr at URL-en må slutte der. Stier skiller mellom store og små bokstaver og inkluderer spørringsstrengen.
Bare fire felt teller
Google leser user-agent, allow, disallow og sitemap. Andre linjer som crawl-delay ignoreres, og testeren viser dem så du vet det.
Basert på: Google: slik tolker Google robots.txt-spesifikasjonen
Gjør det for hver side med GSC Magic
Dette sjekker én URL mot en innlimt fil. Med GSC Magic kan AI-agenten din inspisere hundrevis av URL-er gjennom Googles URL Inspection-API og se hvilke Google faktisk rapporterer som blokkert av robots.txt.
Inspiser URL-ene i nettstedskartet vårt og list alle Google rapporterer som blokkert av robots.txt.
Hvilke sider med visninger de siste 90 dagene er nå blokkert av robots.txt?
Spørsmål
Hvor ble det av robots.txt-testeren i Search Console?
Google fjernet den gamle testeren og erstattet den med robots.txt-rapporten i Search Console, som viser filene Google hentet og feilene deres. Dette verktøyet sjekker hvordan en bestemt URL behandles av reglene.
Blir en side fjernet fra Google hvis den er blokkert i robots.txt?
Nei. En URL som blokkeres av disallow, kan fortsatt indekseres uten innholdet hvis andre sider lenker til den. Bruk en noindex-tagg på en side som kan gjennomsøkes, for å holde den ute av resultatene.
Følger AI-crawlere robots.txt?
Crawlerne i listen, som GPTBot, OAI-SearchBot, ClaudeBot og PerplexityBot, er dokumentert av operatørene sine for å respektere robots.txt. Hver av dem følger sin egen gruppe, eller *-gruppen når den ikke har noen.
Er resultatet nøyaktig det Googlebot gjør?
Testeren følger Googles publiserte tolkning av Robots Exclusion Protocol. Google bufrer også robots.txt i opptil en dag og behandler serverfeil spesielt, så sjekk robots.txt-rapporten i Search Console etter at du har endret filen.
Guider på bloggen: Blokkert av robots.txt: finn regelen og avgjør om du skal åpne