Estetty, koska käyttö on kielletty (403): kun palvelimesi hylkii Googlebotia

Päivitetty viimeksi: 2026-10-30

Lyhyesti

Tämä tila tarkoittaa, että palvelimesi palautti Googlebotille 403 Forbidden. Google huomauttaa, ettei Googlebot koskaan lähetä tunnistetietoja, joten Googlebotille palautettu 403 on yleensä virheellinen. Jos sivun pitäisi olla Googlessa, etsi palomuuri, CDN tai palvelinsääntö, joka estää sen, ja salli vahvistettu Googlebot.

Tarkka nimike Search Consolessa: Blocked due to access forbidden (403)

Mitä tila tarkoittaa

Googlen Sivujen indeksointi -ohje selittää, että HTTP 403 tarkoittaa, että käyttäjäagentti antoi tunnistetiedot mutta ei saanut pääsyä. Googlebot ei koskaan anna tunnistetietoja, joten palvelimesi palauttaa tämän virheen virheellisesti, eikä sivua indeksoida. Saadaksesi sen indeksiin, päästä kirjautumattomat käyttäjät sisään tai salli nimenomaisesti Googlebotin pyynnöt ilman todennusta sen henkilöllisyyden vahvistamisen jälkeen.

Esto on usein turvakerroksessa eikä itse sivussa. Ryömintävirheiden ohjeissaan Google huomauttaa, että suojausjärjestelmät on usein asetettu estämään poikkeuksellisen suuria pyyntömääriä, ja että Googlebot voi laukaista ne, koska se tekee enemmän pyyntöjä kuin ihmiskävijä. Google sanoo myös, ettei 403:a pidä käyttää ryömimisen hidastamiseen: muilla 4xx-koodeilla kuin 429 ei ole vaikutusta ryömintänopeuteen.

Onko se ongelma?

Kyllä, jos URL-osoitteen on tarkoitus olla julkinen. 403 julkisilla sivuilla estää indeksoinnin kokonaan, ja jos se leviää indeksoituihin sivuihin, se poistaa ne ajan myötä. Se on hyväksyttävää yksityisillä alueilla, vaikka linkittämättä jättäminen noihin URL-osoitteisiin pitää raportin siistimpänä.

Yleisimmät syyt

WAF- tai bottisuojaussäännöt

Turvapalvelut, jotka haastavat tai estävät pyyntöjä käyttäjäagentin, pyyntönopeuden tai maineen perusteella ja nappaavat joskus Googlebotin.

Maa- tai IP-estot

Geo-esto tai IP-kieltolistat, jotka kattavat osoitteet, joista Googlebot ryömii.

Hakemisto- tai hotlink-suojaus

Säännöt, jotka kieltävät pääsyn kansioihin tai tiedostotyyppeihin, kuten PDF-tiedostoihin tai kuviin.

Tiedostojen käyttöoikeusvirheet

Palvelimen tiedosto- tai hakemistokäyttöoikeudet, jotka eivät salli sivun lukemista.

Väärennettyihin Googleboteihin tarkoitetut säännöt

Säännöt, joilla on tarkoitus estää Googlebotin käyttäjäagenttia käyttävät huijarit mutta jotka estävät myös oikean ryömijän.

Näin korjaat sen

  1. Toista 403. Aja Test live URL. Jos live-testikin saa 403:n, esto on nyt päällä. Tarkista käyttölokit Googlebotin pyyntöihin tulleista 403-vastauksista.
  2. Etsi estävä kerros. Tarkista CDN:n ja WAF:n tapahtumalokit, palvelimen kokoonpano ja turvalisäosat. Google huomauttaa, ettei palomuuri välttämättä ole hallinnassasi, joten ota hosting-palveluntarjoajasi mukaan.
  3. Salli vahvistettu Googlebot. Salli Googlebot vahvistettuasi sen käänteisellä DNS-haulla tai Googlen julkaisemilla IP-osoitealueilla, ei pelkän käyttäjäagentin perusteella, jotta huijarit pysyvät estettyinä.
  4. Korjaa käyttöoikeudet. Korjaa julkisen sisällön tiedosto- ja hakemistokäyttöoikeudet.
  5. Pyydä indeksointia ja vahvista. Kun esto on poissa, pyydä indeksointia avain-URL-osoitteille ja napsauta Validate fix ongelmassa.

Tarkista GSC Magicilla

gsc_inspect_urls_batch raportoi kunkin URL-osoitteen sivun hakutilan, joten avustajasi voi listata jokaisen 403:lla estetyn URL-osoitteen ja näyttää, onko kyse yhdestä hakemistosta, yhdestä tiedostotyypistä vai koko sivustosta, mikä rajaa vastuussa olevan säännön. Jos Bing Webmaster Tools on yhdistetty, bing_crawl_issues ja bing_url_info näyttävät, hylätäänkö myös Bingbot, mikä vihjaa, että turvakerros estää ryömijöitä yleisesti.

gsc_inspect_urls_batchgsc_inspect_urlbing_crawl_issuesbing_url_info

Kehotteet kopioitavaksi

Tarkista nämä URL-osoitteet ja listaa jokainen, joka on estetty käytön kieltämisen vuoksi (403). Ryhmittele ne hakemiston ja tiedostopäätteen mukaan.

Tarkista sivustoni Bingin ryömintäongelmat ja kerro, saako Bing myös 403-virheitä URL-osoitteissa, jotka Google raportoi kielletyiksi.

Muutimme palomuurisääntöjä tänään. Tarkista nämä aiemmin estetyt URL-osoitteet ja kerro, mitkä Google raportoi yhä 403:na.

Oppaat blogissa

Blocked due to unauthorized request (401)

Tämä tila tarkoittaa, että palvelin vastasi Googlebotille 401 Unauthorized ja pyysi tunnistetietoja, joita Googlebotilla ei ole. Jos sivu on yksityinen, se on oikein ja sivu pysyy poissa Googlesta. Jos sen pitäisi olla julkinen, poista valtuutusvaatimus tai, jos se on pakko pitää, päästä vahvistetut Googlebot-pyynnöt läpi.

 Blocked due to other 4xx issue

Tämä tila tarkoittaa, että Googlebot sai 4xx-asiakasvirheen, joka ei ole yksi koodeista, joilla on oma rivi, kuten 401, 403 tai 404. Google ei anna lisätietoja, joten ensimmäinen askel on löytää tarkka koodi, jonka palvelimesi palautti. Korjaa sitten se, miten palvelimesi käsittelee pyynnön sivuilla, joiden pitäisi olla julkisia.

 Server error (5xx)

Palvelinvirhe (5xx) tarkoittaa, että palvelimesi palautti 500-tason virheen, kun Googlebot pyysi sivua. Google hidastaa ryömintää nähdessään näitä virheitä ja pudottaa lopulta URL-osoitteet, jotka epäonnistuvat jatkuvasti. Tarkista palvelimen tila Crawl stats -raportista, toista virhe ja korjaa sitten kapasiteetti, aikakatkaisut tai säännöt, jotka estävät Googlebotin.

Usein kysytyt kysymykset

Miksi palvelimeni lähettäisi Googlebotille 403:n?

Yleensä turvakerroksen vuoksi: palomuuri, bottien hallinta, geo- tai IP-esto tai suojaussääntö, joka reagoi pyyntömäärään. Google huomauttaa, että Googlebot voi laukaista suojausjärjestelmät, koska se tekee enemmän pyyntöjä kuin ihminen.

Miten sallin Googlebotin turvallisesti?

Vahvista pyynnöt käänteisellä DNS-haulla tai vertaamalla niitä Googlen julkaisemiin IP-osoitealueisiin ja salli ne sitten. Älä luota pelkkään käyttäjäagentin merkkijonoon, koska kuka tahansa voi väärentää sen.

Voinko käyttää 403:a ryömimisen vähentämiseen?

Et. Googlen mukaan 401:llä ja 403:lla ei ole vaikutusta ryömintänopeuteen. Lyhyisiin hätätilanteisiin Google suosittelee 503:n tai 429:n palauttamista tilapäisesti.

Lähteet