robots.txt-tester
Senest opdateret: 2026-10-30
Indsæt en robots.txt-fil, angiv en URL, og vælg en crawler. Testeren anvender Googles dokumenterede regler (den mest specifikke user-agent-gruppe, den længste matchende regel, jokertegn og $-ankeret) og viser, om URL’en må crawles, og hvilken linje der afgør det.
En blokeret URL kan stadig vises i søgeresultaterne uden beskrivelse, hvis andre sider linker til den. For at holde en side ude af resultaterne, tillad crawlning, og brug et noindex-tag i stedet.
Kører i browseren. Intet, du indtaster, sendes nogen steder.
Sådan virker det
Én gruppe pr. crawler
En crawler følger gruppen med sit eget user-agent-navn og ignorerer resten; flere grupper med samme navn slås sammen. Kun når ingen gruppe navngiver den, følger den *-gruppen. Versionsnumre og et afsluttende * efter navnet ignoreres.
Den længste regel vinder
Blandt allow- og disallow-reglerne, der matcher URL-stien, afgør den med den længste sti. Hvis en allow- og en disallow-regel er lige lange, vinder allow-reglen.
Jokertegn og slutankeret
* står for en vilkårlig tegnsekvens, og $ i slutningen betyder, at URL’en skal slutte der. Stier er versalfølsomme og inkluderer forespørgselsstrengen.
Kun fire felter tæller
Google læser user-agent, allow, disallow og sitemap. Andre linjer som crawl-delay ignoreres, og testeren viser dem, så du ved det.
Baseret på: Google: sådan fortolker Google robots.txt-specifikationen
Gør det for hver side med GSC Magic
Dette tjekker én URL mod en indsat fil. Med GSC Magic kan din AI-agent inspicere hundredvis af URL’er gennem Googles URL Inspection-API og se, hvilke Google faktisk rapporterer som blokeret af robots.txt.
Inspicér URL’erne i vores sitemap, og list alle dem, Google rapporterer som blokeret af robots.txt.
Hvilke sider med visninger de sidste 90 dage er nu blokeret af robots.txt?
Spørgsmål
Hvor blev robots.txt-testeren i Search Console af?
Google nedlagde den gamle tester og erstattede den med robots.txt-rapporten i Search Console, som viser de filer, Google hentede, og deres fejl. Dette værktøj tjekker, hvordan en bestemt URL behandles af reglerne.
Fjerner robots.txt en blokeret side fra Google?
Nej. En URL, der er blokeret af disallow, kan stadig indekseres uden indhold, hvis andre sider linker til den. Brug et noindex-tag på en side, der må crawles, for at holde den ude af resultaterne.
Følger AI-crawlere robots.txt?
Crawlerne på listen, som GPTBot, OAI-SearchBot, ClaudeBot og PerplexityBot, er dokumenteret af deres operatører for at respektere robots.txt. Hver af dem følger sin egen gruppe, eller *-gruppen når den ikke har nogen.
Er resultatet præcis det, Googlebot gør?
Testeren følger Googles offentliggjorte fortolkning af Robots Exclusion Protocol. Google cacher også robots.txt i op til en dag og håndterer serverfejl særskilt, så tjek robots.txt-rapporten i Search Console, efter du har ændret filen.
Guides på bloggen: Blocked by robots.txt: find reglen, og beslut, om du vil ophæve blokeringen