robots.txt-testi
Päivitetty viimeksi: 2026-10-30
Liitä robots.txt-tiedosto, syötä URL ja valitse crawler. Testi soveltaa Googlen dokumentoituja sääntöjä (tarkin user-agent-ryhmä, pisin vastaava sääntö, jokerimerkit ja $-ankkuri) ja näyttää, saako URL:ää crawlata ja mikä rivi sen ratkaisee.
Estetty URL voi silti näkyä hakutuloksissa ilman kuvausta, jos muut sivut linkittävät siihen. Jos haluat pitää sivun poissa tuloksista, salli crawlaus ja käytä sen sijaan noindex-tagia.
Toimii selaimessasi. Mitään kirjoittamaasi ei lähetetä minnekään.
Näin se toimii
Yksi ryhmä crawleria kohden
Crawler noudattaa ryhmää, jossa on sen oma user-agent-nimi, ja jättää muut huomiotta; useat samannimiset ryhmät yhdistetään. Vasta kun mikään ryhmä ei nimeä sitä, se noudattaa *-ryhmää. Versiot ja nimen perässä oleva * jätetään huomiotta.
Pisin sääntö voittaa
URL-polkuun sopivista allow- ja disallow-säännöistä ratkaisee se, jossa on pisin polku. Jos allow- ja disallow-sääntö ovat yhtä pitkiä, allow-sääntö voittaa.
Jokerimerkit ja loppuankkuri
* tarkoittaa mitä tahansa merkkijonoa, ja lopussa oleva $ tarkoittaa, että URL:n on loputtava siihen. Polut ovat kirjainkokoherkkiä ja sisältävät kyselymerkkijonon.
Vain neljä kenttää lasketaan
Google lukee kentät user-agent, allow, disallow ja sitemap. Muut rivit, kuten crawl-delay, jätetään huomiotta, ja testi listaa ne, jotta tiedät.
Perustuu: Google: miten Google tulkitsee robots.txt-määritystä
Tee se jokaiselle sivulle GSC Magicin avulla
Tämä tarkistaa yhden URL:n liitettyä tiedostoa vasten. GSC Magicin avulla tekoälyagenttisi voi tarkastaa satoja URL:ia Googlen URL Inspection -API:n kautta ja nähdä, mitkä Google todella raportoi robots.txt:n estämiksi.
Tarkasta sivustokarttamme URL:t ja listaa jokainen, jonka Google raportoi robots.txt:n estämäksi.
Mitkä sivut, joilla on ollut näyttökertoja viimeisen 90 päivän aikana, on nyt estetty robots.txt:ssä?
Kysymyksiä
Minne Search Consolen robots.txt-testi katosi?
Google poisti vanhan testin ja korvasi sen Search Consolen robots.txt-raportilla, joka näyttää Googlen noutamat tiedostot ja niiden virheet. Tämä työkalu tarkistaa, miten säännöt kohtelevat tiettyä URL:ää.
Poistaako robots.txt:n esto sivun Googlesta?
Ei. Disallow-estetty URL voidaan silti indeksoida ilman sisältöä, jos muut sivut linkittävät siihen. Käytä noindex-tagia crawlattavalla sivulla pitääksesi sen poissa tuloksista.
Noudattavatko AI-crawlerit robots.txt:tä?
Listan crawlerit, kuten GPTBot, OAI-SearchBot, ClaudeBot ja PerplexityBot, ovat operaattoreidensa dokumentaation mukaan robots.txt:tä noudattavia. Kukin noudattaa omaa ryhmäänsä tai *-ryhmää, jos sellaista ei ole.
Onko tulos täsmälleen sama kuin Googlebotilla?
Testi noudattaa Googlen julkaisemaa tulkintaa Robots Exclusion Protocolista. Google myös välimuistittaa robots.txt:tä jopa vuorokauden ja käsittelee palvelinvirheet erikseen, joten tarkista Search Consolen robots.txt-raportti tiedoston muuttamisen jälkeen.
Oppaat blogissa: Estetty robots.txt-tiedostolla: löydä sääntö ja päätä, avaatko sen