Indeksoitu, vaikka robots.txt estää: avaa esto tai lisää noindex

Päivitetty viimeksi: 2026-10-30

Lyhyesti

Tämä varoitus tarkoittaa, että Google indeksoi URL-osoitteen, vaikka robots.txt estää sen ryömimisen, yleensä siksi, että muut sivut linkittävät siihen. Google ei voi lukea sivua, joten mahdollinen katkelma on hyvin rajallinen. Jos haluat sivun pois Googlesta, poista esto ja lisää noindex; jos haluat sen Googleen, poista esto.

Tarkka nimike Search Consolessa: Indexed, though blocked by robots.txt

Mitä tila tarkoittaa

Google listaa tämän Sivujen indeksointi -raportin Improve page experience -taulukon varoituksiin: ongelmiin, jotka eivät estä indeksointia mutta heikentävät Googlen kykyä ymmärtää sivujasi. Google sanoo aina noudattavansa robots.txt-tiedostoa, mutta se ei välttämättä estä indeksointia, jos joku linkittää sivulle. Google ei pyydä eikä ryömi sivua, mutta voi silti indeksoida sen linkittävien sivujen tiedoilla, ja tuloksissa näytetty katkelma on todennäköisesti hyvin rajallinen.

Googlen robots.txt-opas sanoo saman: estetty URL-osoite voi silti näkyä tuloksissa, mahdollisesti URL-osoitteen ja linkkien ankkuritekstin kanssa mutta ilman kuvausta. URL-osoitteen tarkistus lisää varoituksen, että robots.txt-tiedoston estämälle sivulle Indexing allowed? näyttää aina Yes, koska Google ei näe sillä mitään noindex-direktiiviä.

Onko se ongelma?

Se riippuu siitä, mitä halusit. Jos estit URL-osoitteen pitääksesi sen poissa Googlesta, esto ei tehnyt sitä työtä ja tarvitset sen sijaan noindexin. Jos URL-osoitteen pitäisi olla Googlessa kunnollisella katkelmalla, esto pidättelee sitä. Kummassakin tapauksessa robots.txt on väärä työkalu siihen tulokseen, jota tavoittelet.

Yleisimmät syyt

robots.txt:n käyttäminen sivujen piilottamiseen

Sivujen estäminen robots.txt-tiedostossa siinä toivossa, että ne pysyvät poissa hausta, vaikka omat tai muut sivustot linkittävät niihin.

Laajat säännöt linkitettyjen URL-osoitteiden yli

Disallow-säännöt, jotka kattavat osioita, joihin ihmiset linkittävät, kuten PDF-tiedostot, parametri-URL-osoitteet tai vanhat hakemistot.

Esto noindexin päälle

robots.txt-eston lisääminen sivulle, jolla on jo noindex, mikä estää Googlea koskaan näkemästä noindexia.

Estetyt URL-osoitteet sivustokartoissa

Sivustokartat, jotka listaavat URL-osoitteita, jotka robots.txt estää. Google nimeää tämän yhdeksi raportin virhepiikkien syyksi.

Näin korjaat sen

  1. Päätä, kuuluuko kukin sivu Googleen. Käy esimerkki-URL-osoitteet läpi ja jaa ne sivuihin, jotka haluat indeksiin, ja sivuihin, jotka haluat pois.
  2. Poistamiseen: avaa esto ja lisää noindex. Poista robots.txt-sääntö näille URL-osoitteille ja lisää robots-meta noindex -tagi tai X-Robots-Tag-otsake. Kun Google ryömii uudelleen ja näkee noindexin, se pudottaa sivun. Kiireellisissä tapauksissa Removals-työkalu piilottaa URL-osoitteen noin kuudeksi kuukaudeksi sillä välin, kun noindex tulee voimaan.
  3. Pitämiseen: avaa esto. Poista Disallow-sääntö tai kavenna sitä, jotta Google voi ryömiä sivun ja rakentaa täyden katkelman. Tarkista URL-osoitteen tarkistuksesta, että Crawl allowed? sanoo nyt Yes.
  4. Siivoa linkit ja sivustokartat. Poista estetyt URL-osoitteet sivustokartoistasi ja lopeta linkittäminen URL-osoitteisiin, joita et halua indeksiin.
  5. Pyydä robots.txt:n uudelleenryömintä. Kun olet muokannut tiedostoa, pyydä uudelleenryömintää robots.txt-raportissa, jotta Google poimii muutoksen aiemmin.

Tarkista GSC Magicilla

gsc_inspect_urls_batch palauttaa sekä robots.txt-tilan että indeksointipäätöksen jokaiselle URL-osoitteelle, joten avustajasi voi listata URL-osoitteet, jotka on indeksoitu vaikka ne on estetty, ja ryhmitellä ne säännön kattaman hakemiston mukaan. gsc_query_analytics näyttää, saavatko ne URL-osoitteet todella näyttökertoja, mikä auttaa valitsemaan eston avaamisen ja noindexin välillä, ja report_index_health löytää estetyt URL-osoitteet sivustokartastasi. GSC Magic -hallintapaneelissa on robots.txt- ja sivustokarttapika-analyysi, joka näyttää voimassa olevat säännöt sivustokarttojesi rinnalla.

gsc_inspect_urls_batchgsc_query_analyticsgsc_inspect_urlreport_index_health

Kehotteet kopioitavaksi

Tarkista nämä URL-osoitteet ja listaa jokainen, joka on indeksoitu, vaikka robots.txt estää ryömimisen, hakemistoittain ryhmiteltynä.

Näytä URL-osoitteille, jotka on indeksoitu vaikka robots.txt estää, näyttökerrat ja napsautukset viimeiseltä 3 kuukaudelta, jotta voin päättää, mitkä avaan ja mitkä merkitsen noindexilla.

Aja sivustokartalleni indeksin kunnon tarkistus ja listaa jokainen lähetetty URL-osoite, jonka robots.txt estää.

robots.txt-testi →

Oppaat blogissa

Blocked by robots.txt

Estetty robots.txt-tiedostolla tarkoittaa, että robots.txt-tiedostosi sääntö estää Googlebotia ryömimästä URL-osoitetta, joten Google ei voi indeksoida sen sisältöä. Jos esto on tarkoituksellinen, jätä se. Jos sivun pitäisi olla Googlessa, poista tai kavenna sääntöä; jos haluat sen pois Googlesta, käytä noindexia, koska robots.txt ei luotettavasti estä indeksointia.

 Excluded by 'noindex' tag

Tämä tila tarkoittaa, että Google ryömi sivun, löysi robots-meta tagista tai X-Robots-Tag-HTTP-otsakkeesta noindex-säännön eikä siksi indeksoinut sitä. Jos et halua sivua Googleen, tämä toimii. Jos haluat, poista noindex lähteestään, varmista asia Test live URL -toiminnolla ja pyydä indeksointia.

 Page indexed without content

Tämä varoitus tarkoittaa, että URL-osoite on Googlen indeksissä, mutta Google ei pystynyt lukemaan sivun sisältöä. Google nimeää kaksi mahdollista syytä: sivu voi olla naamioitu Googlelle tai se voi olla muodossa, jota Google ei voi indeksoida. Tarkista URL-osoite ja se, mitä Googlebot todella vastaanotti.

Usein kysytyt kysymykset

Miksi Google indeksoi sivun, jota se ei saa ryömiä?

Koska ryömimisen estäminen ei ole sama kuin indeksoinnin estäminen. Googlen mukaan se voi indeksoida URL-osoitteen linkittävien sivujen tiedoilla ilman, että se ryömii itse sivua.

Voinko lisätä noindexin ja pitää robots.txt-eston?

Et. Google ei näe noindexia sivulla, jota sen ei ole lupa ryömiä. Poista ensin esto ja lisää sitten noindex.

Onko tämä virhe?

Google listaa sen varoitukseksi, ei syyksi, miksi sivu ei ole indeksissä. Sivu on indeksissä, mutta hyvin rajallisella katkelmalla ja ilman, että Google lukee sen sisältöä.

Miten poistan nämä URL-osoitteet nopeasti?

Käytä Search Consolen Removals-työkalua, joka Googlen mukaan piilottaa URL-osoitteen noin kuudeksi kuukaudeksi, ja lisää noindex ryömimisen ollessa sallittua, jotta poisto jää pysyväksi.

Lähteet