A közelmúltban a Cloudflare bejelentette, hogy eltávolította a Perplexity nevű keresőmotorját a hitelesített botok listájáról, és mostantól aktívan blokkolja annak crawler-eit. A döntés hátterében több felhasználói panasz állt, amelyek a Perplexity által a robots.txt protokoll megsértésére vonatkoztak. Egy alapos vizsgálat során kiderült, hogy a Perplexity agresszív, illegális bottechnikákat alkalmazott, amelyek célja a weboldalakra való bejutás volt. A Cloudflare Verified Bots Program A Cloudflare rendelkezik egy úgynevezett Verified Bots programmal, amely lehetővé teszi a megbízható botok számára, hogy hozzáférjenek a Cloudflare által védett weboldalakhoz. Ehhez a botoknak meg kell felelniük bizonyos szabályoknak, például tiszteletben kell tartaniuk a robots.txt protokollt. A Perplexity esetében azonban megállapították, hogy nem tartotta be ezeket a szabályokat,…