Perplexity blokkolva: Cloudflare válasza a csalárd crawlerekkel szemben

A közelmúltban a Cloudflare bejelentette, hogy eltávolította a Perplexity nevű keresőmotorját a hitelesített botok listájáról, és mostantól aktívan blokkolja annak crawler-eit. A döntés hátterében több felhasználói panasz állt, amelyek a Perplexity által a robots.txt protokoll megsértésére vonatkoztak. Egy alapos vizsgálat során kiderült, hogy a Perplexity agresszív, illegális bottechnikákat alkalmazott, amelyek célja a weboldalakra való bejutás volt.

A Cloudflare Verified Bots Program

A Cloudflare rendelkezik egy úgynevezett Verified Bots programmal, amely lehetővé teszi a megbízható botok számára, hogy hozzáférjenek a Cloudflare által védett weboldalakhoz. Ehhez a botoknak meg kell felelniük bizonyos szabályoknak, például tiszteletben kell tartaniuk a robots.txt protokollt. A Perplexity esetében azonban megállapították, hogy nem tartotta be ezeket a szabályokat, és különböző, nem nyilvános IP-címekről próbálta meg elérni a weboldalakat.

A Cloudflare figyelmeztetett, hogy a Perplexity által végzett tevékenységek nemcsak a botszabályokat sértik meg, hanem a weboldalak biztonságát is veszélyeztetik. A cég észlelte, hogy a Perplexity IP-címeket váltogat, és különböző ASN-eket (Autonóm Rendszerek számát) használ a blokkok megkerülésére. Ezen kívül a Perplexity megpróbálta álcázni magát, hogy elkerülje a robots.txt által előírt blokkolási intézkedéseket.

A Stealth Crawling Taktikák

A Cloudflare által észlelt egyéb illegális működés a felhasználói ügynök (user agent) átírása volt, amely lehetővé tette a Perplexity számára, hogy olyan felhasználóként jelenjen meg, mint például a Chrome böngésző. Például a Perplexity botjai a következő felhasználói ügynökökkel azonosították magukat: PerplexityBot és Perplexity-User. Miután a Cloudflare blokkolta ezeket, a Perplexity más felhasználói ügynököket kezdett használni, hogy álcázza magát egy emberi felhasználó előtt.

A Cloudflare nyilatkozatában hangsúlyozta, hogy az internet, ahogyan azt az elmúlt három évtizedben ismertük, gyorsan változik, de egy dolog állandónak bizonyul: a bizalom. A botszabályok megszegése és a weboldalak biztonságának veszélyeztetése elfogadhatatlan, ezért a Cloudflare eltávolította a Perplexity-t a hitelesített botok listájáról.

Mit jelent ez a SEO szempontjából?

A Cloudflare felhasználói, akik szeretnék, hogy a Perplexity crawljai hozzáférjenek weboldalaikhoz, érdemes ellenőrizniük, hogy a Cloudflare blokkolja-e az ilyen crawler-eket. Ha igen, akkor a Cloudflare kezelőfelületén engedélyezniük kell a crawljal való hozzáférést. A Perplexity eltávolítása a hitelesített botok közül erős üzenetet küld az agresszív botviselkedéssel kapcsolatban, és a SEO szakembereknek érdemes figyelembe venniük, hogy a botszabályok betartása elengedhetetlen a weboldalak védelme érdekében.

Szakértői vélemény a hírről

Megkérdeztük Császár Viktor SEO szakértőt, hogy kommentálja ezt az eseményt. Viktor elmondta: „A Cloudflare lépései a Perplexity ellen jól tükrözik a webes etikett és a biztonság fontosságát. A botoknak tiszteletben kell tartaniuk a weboldalak irányelveit, és a robots.txt protokollt. Az ilyen agresszív crawlerszokások nemcsak a weboldalak teljesítményét befolyásolják, hanem a felhasználói élményt is rombolják. A SEO világában a bizalom és az átláthatóság kulcsfontosságú, és a Cloudflare döntése segít fenntartani ezt a normát. Érdemes lesz figyelni, hogy a jövőben hogyan reagálnak a hasonló helyzetekre a különböző platformok.” További információkért látogasson el Császár Viktor weboldalára: Császár Viktor SEO szakértő.

Forrás: SearchEngineJournal.com