Crawlcsökkenés a Googlebotnál? Így orvosolhatók a szerverhibák!

A Googlebot aktivitásának csökkenésével kapcsolatos legutóbbi hírek egy Reddit beszélgetésből származnak, ahol a felhasználók egy drámai mászási csökkenésről számoltak be. John Mueller, a Google munkatársa, reagált a felvetésekre, és a problémák okaként a szerveroldali hibákat jelölte meg, nem pedig a 404-es hibakódokat. Az ilyen típusú csökkenések gyakran a 429-es, 500-as és 503-as válaszokkal, valamint időtúllépésekkel hozhatók összefüggésbe, nem pedig a hiányzó oldalakkal.

Az egyik Reddit felhasználó arról számolt be, hogy a Googlebot mászási kéréseinek száma körülbelül 90%-kal csökkent, miután hibás hreflang URL-eket telepítettek az HTTP fejlécbe. Ezek az URL-ek a Googlebot próbálkozásakor 404-es válaszokat adtak, ami aggasztotta a felhasználót. Kiemelte: “A múlt héten véletlenül hibás hreflang URL-eket adtunk hozzá a Link: HTTP fejléchez az egész oldalon. A Googlebot azonnal megpróbálta ezeket elérni, és mind visszaadott egy kemény 404-es hibát. 24 órán belül a mászási kérelmek körülbelül 90%-kal csökkentek. Az indexelt oldalak stabilak, de a mászási volumen még nem állt helyre.”

Mi okozhatja a Googlebot mászásának csökkenését?

Mueller jelezte, hogy a 404-es hibák önállóan nem valószínű, hogy ilyen gyors csökkenést okoznának. A szerveroldali problémák, mint például a 429-es, 500-as vagy 503-as hibák, sokkal valószínűbb okai ennek a drámai változásnak. A szakértő azt tanácsolta, hogy érdemes alaposan megvizsgálni, mi történt a szerver oldalon, mivel ha a CDN blokkolta a Googlebotot, akkor ezt sürgősen rendezni kell. Amint a szerver problémái megoldódnak, a mászási arányok várhatóan automatikusan helyreállnak. Azonban fontos hangsúlyozni, hogy a helyreállás időt vehet igénybe, és nincs meghatározott időkeret erre.

A Google irányelvei azt is javasolják, hogy ha szükséges a mászás csökkentése, a 500-as, 503-as vagy 429-es válaszok visszaadása a megfelelő megoldás, míg a 403-as és 404-es hibák nem ajánlottak erre a célra. Ha tehát hirtelen csökken a mászási kérelmek száma, érdemes ellenőrizni, hogy a szerver és a CDN milyen válaszokat adott a Googlebotnak a problémás időszak alatt. A naplókat és a Search Console mászási statisztikáit is érdemes átnézni a 429-es, 500-as és 503-as hibák vagy időtúllépések megjelenésére vonatkozóan.

Mire figyeljünk a helyreállítás során?

Az első lépés a probléma okának diagnosztizálása. Ellenőrizni kell, hogy a jelentett 404-es hibák valóban dominálnak-e, vagy csak véletlen egybeesésről van szó. A Googlebot válasza, ha problémák merülnek fel, gyakran automatikusan helyreáll, de a helyreállás nem azonnali. A tapasztalatok szerint a Googlebot általában megpróbálja újra megkeresni az érintett oldalakat, amikor azok elérhetővé válnak. A szakértők szerint tehát fontos a türelem, mivel a helyreállítás időbe telhet.

Mi a véleménye a szakértőnek?

Megkérdeztük Császár Viktor SEO szakértőt, hogy mit gondol a Googlebot mászásának csökkenésével kapcsolatos hírekről. Viktor kifejtette: “A Googlebot mászási arányainak hirtelen csökkenése figyelmeztető jel lehet, amely a weboldal teljesítményének figyelmes nyomon követését igényli. A hibás URL-ek telepítése közvetlen hatással lehet az indexelési folyamatra, ezért fontos, hogy a webmesterek alaposan ellenőrizzék a beállításaikat. A szerveroldali problémák gyakran elkerülhetők megfelelő karbantartással. Javaslom, hogy a weboldalak tulajdonosai rendszeresen végezzék el a szükséges ellenőrzéseket és frissítéseket, hogy elkerüljék a hasonló helyzeteket.” További információkért látogassanak el a weboldalamra: Császár Viktor weboldala.

Forrás: SearchEngineJournal.com