Estetty robots.txt-tiedostolla: löydä sääntö ja päätä, avaatko sen

Päivitetty viimeksi: 2026-10-30

Lyhyesti

Estetty robots.txt-tiedostolla tarkoittaa, että robots.txt-tiedostosi sääntö estää Googlebotia ryömimästä URL-osoitetta, joten Google ei voi indeksoida sen sisältöä. Jos esto on tarkoituksellinen, jätä se. Jos sivun pitäisi olla Googlessa, poista tai kavenna sääntöä; jos haluat sen pois Googlesta, käytä noindexia, koska robots.txt ei luotettavasti estä indeksointia.

Tarkka nimike Search Consolessa: Blocked by robots.txt

Mitä tila tarkoittaa

Googlen Sivujen indeksointi -ohje sanoo, että sivustosi robots.txt esti sivun, ja varoittaa, ettei tämä takaa, ettei sivua indeksoida jollain muulla tavalla: jos Google löytää tietoa sivusta lataamatta sitä, on hyvin pieni mahdollisuus, että se indeksoidaan silti. Tällainen tapaus raportoidaan erikseen tilassa Indexed, though blocked by robots.txt. Googlen ohjeartikkeli otsikoi syyn nimellä URL blocked by robots.txt; raportin rivi sanoo Blocked by robots.txt.

Google kuvaa robots.txt-tiedostoa työkaluksi, jolla hallitaan ryömintäliikennettä, ei tavaksi pitää sivua poissa Googlesta. Googlebot noudattaa sitä, mutta estetty sivu voi silti näkyä tuloksissa ilman kuvausta, jos muut sivut linkittävät siihen. robots.txt koskee vain omaa protokollaansa ja isäntäänsä, ja Google tallentaa sen yleensä välimuistiin jopa 24 tunniksi, joten muutokset eivät näy heti.

Onko se ongelma?

Ei, jos tarkoitit sitä. Hallinta-alueet, ostoskori ja kassa, sisäinen haku ja loputtomat suodatinyhdistelmät estetään usein tarkoituksella, ja Googlen mukaan robots.txt-tiedoston estämät URL-osoitteet on todennäköisesti estetty tarkoituksella. Ongelma se on silloin, kun liian laaja sääntö nappaa tärkeitä sivuja tai kokonaisia osioita, kun kehitysympäristön robots.txt päätyy tuotantoon tai kun CMS-asetus tekee niin.

Yleisimmät syyt

Tarkoitukselliset estot

Yksityiset, apu- tai ryömintäansa-URL-osoitteet, jotka päätit pitää poissa ryömijöiltä.

Liian laajat mallit

Disallow-sääntö lyhyellä polun etuliitteellä tai jokerimerkkimalli, joka osuu paljon useampaan URL-osoitteeseen kuin tarkoitit.

Kehitys- tai julkaisuvaiheen jäänteet

Kaikkia käyttäjäagentteja koskeva yleinen Disallow, joka on kopioitu kehityssivustolta.

CMS- tai lisäosa-asetukset

Alustan asetukset, jotka kirjoittavat robots.txt-säännöt puolestasi ja kattavat joskus kokonaisen osion.

Eri tiedosto kuin luulet

Jokaisella protokollalla ja isännällä on oma robots.txt. Aliverkkotunnuksessa tai HTTP-versiossa voi olla eri säännöt kuin muokkaamassasi tiedostossa.

Näin korjaat sen

  1. Löydä sääntö. Tarkista esimerkki-URL-osoite: Crawl allowed? näyttää, estääkö robots.txt sen. Search Consolen robots.txt-raportti näyttää, mitkä robots.txt-tiedostot Google löysi isännillesi, milloin kukin haettiin ja mahdolliset jäsennysongelmat.
  2. Päätä osio kerrallaan. Pidä estot URL-osoitteille, joita ei pidä ryömiä. Sivuille, jotka kuuluvat Googleen, poista vastaava Disallow-rivi tai lisää tarkempi Allow-sääntö.
  3. Käytä noindexia pitääksesi sivut poissa Googlesta. Jos tavoite on pitää sivu poissa hakutuloksista, poista robots.txt-esto ja lisää noindex. Google ei näe noindex-sääntöä sivulla, jota sen ei ole lupa ryömiä.
  4. Pyydä robots.txt:n uudelleenryömintä isojen muutosten jälkeen. Google ryömii robots.txt:n usein uudelleen, mutta tärkeiden URL-osoitteiden avaamisen jälkeen voit pyytää tiedoston uudelleenryömintää robots.txt-raportissa. Google huomauttaa, ettei tämä takaa avattujen sivujen välitöntä uudelleenryömintää.
  5. Testaa ja vahvista. Aja Test live URL avatuille sivuille ja napsauta sitten Validate fix, jos avasit kokonaisen URL-osoiteryhmän.

Tarkista GSC Magicilla

gsc_inspect_urls_batch raportoi kunkin URL-osoitteen robots.txt-tilan, joten avustajasi voi varmistaa, ovatko tärkeät sivut estettyinä ja mitä hakemistoja sääntö kattaa. report_index_health tekee saman tarkistuksen jokaiselle sivustokartan URL-osoitteelle, joista yhdenkään ei pitäisi olla estetty. GSC Magic -hallintapaneelissa kunkin sivuston robots.txt- ja sivustokarttapika-analyysi näyttää tuoreen robots.txt-tiedoston sivustokarttojesi rinnalla.

gsc_inspect_urls_batchreport_index_healthgsc_inspect_url

Kehotteet kopioitavaksi

Tarkista nämä URL-osoitteet ja listaa jokainen, jossa robots.txt estää ryömimisen. Ryhmittele ne hakemistoittain, jotta näen, mikä sääntö todennäköisesti on vastuussa.

Aja sivustokartalleni indeksin kunnon tarkistus ja kerro, estääkö robots.txt jonkin lähetetyn URL-osoitteen.

Tässä on robots.txt-tiedostoni. Kerro, mitä näistä 50 URL-osoitteesta kukin Disallow-sääntö koskee, ja merkitse säännöt, jotka estävät sivustokartassani listattuja URL-osoitteita.

robots.txt-testi →

Oppaat blogissa

Indexed, though blocked by robots.txt

Tämä varoitus tarkoittaa, että Google indeksoi URL-osoitteen, vaikka robots.txt estää sen ryömimisen, yleensä siksi, että muut sivut linkittävät siihen. Google ei voi lukea sivua, joten mahdollinen katkelma on hyvin rajallinen. Jos haluat sivun pois Googlesta, poista esto ja lisää noindex; jos haluat sen Googleen, poista esto.

 Excluded by 'noindex' tag

Tämä tila tarkoittaa, että Google ryömi sivun, löysi robots-meta tagista tai X-Robots-Tag-HTTP-otsakkeesta noindex-säännön eikä siksi indeksoinut sitä. Jos et halua sivua Googleen, tämä toimii. Jos haluat, poista noindex lähteestään, varmista asia Test live URL -toiminnolla ja pyydä indeksointia.

 Discovered - currently not indexed

Tila ”Discovered - currently not indexed” tarkoittaa, että Google löysi URL-osoitteen linkin tai sivustokartan kautta mutta ei ole vielä ryöminyt sitä. Googlen mukaan se yleensä lykkäsi ryömintää, koska sen odotettiin kuormittavan sivustoa. Korjaa vähentämällä vähäarvoisia URL-osoitteita, parantamalla palvelimen vastausaikaa ja linkittämällä tärkeisiin sivuihin.

Usein kysytyt kysymykset

Pitääkö robots.txt sivun poissa Googlesta?

Ei. Googlen mukaan robots.txt ei ole keino pitää verkkosivua poissa Googlesta. Estetty URL-osoite voidaan silti indeksoida linkkien perusteella ilman sen sisältöä. Käytä sen sijaan noindexia tai salasanasuojausta.

Voinko laittaa noindexin robots.txt-tiedostoon?

Et. Googlen mukaan noindex-sääntöä robots.txt-tiedostossa ei tueta. Käytä robots-meta tagia tai X-Robots-Tag-HTTP-otsaketta itse sivulla.

Kuinka nopeasti Google näkee robots.txt-muutoksen?

Google tallentaa robots.txt:n yleensä välimuistiin jopa 24 tunniksi. Tärkeän muutoksen jälkeen voit pyytää tiedoston uudelleenryömintää robots.txt-raportissa.

Entä jos robots.txt itse palauttaa virheen?

Googlen robots.txt-määrityksen mukaan jos tiedosto palauttaa palvelinvirheen, Google lopettaa sivuston ryömimisen ensimmäisten 12 tunnin ajaksi ja käyttää sen jälkeen viimeistä toimivaa kopiota jopa 30 päivää yrittäen samalla uudelleen. Muu 4xx-vastaus kuin 429 käsitellään kuin robots.txt-tiedostoa ei olisi.

Lähteet