A Cloudflare figyeli a botokat az egész munkamenet során

Az internet furcsa mérföldkövet ért el: a botok már több webes kérést generálnak, mint az emberek. A Cloudflare becslése szerint az automatizált forgalom az összes webes forgalom mintegy 57%-át teszi ki. Ez az adat adja a hátterét a cég hétfőn bejelentett új termékének, a Cloudflare Precursor-nak, amely megváltoztatja, ahogyan a web megkülönbözteti az embereket és a gépeket.

A hagyományos védekezési módszerek, mint például egy CAPTCHA, csak egyetlen pillanatban vizsgálják az azonosítót. A modern botok azonban már képesek ezt az egyetlen pillanatot meghamisítani. A Precursor ezzel szemben egy más megközelítést alkalmaz: a böngészőben fut, és figyeli a teljes munkamenetet, beleértve az egérmozgást, a görgetés ritmusát, a gépelési sebességet, a vágólap használatát és azt, hogy egy oldal mennyi ideig látható. „A hagyományos biztonsági ellenőrzések egyetlen pillanatot vizsgálnak, de a modern botok elég okossá váltak ahhoz, hogy átverjék a bejáratot” – mondta Dane Knecht, a Cloudflare technológiai igazgatója. A Precursor célja, hogy bezárja a fekete dobozként ismert bejelentkezés és a vásárlás közötti időszakot.

Kapcsolódó: Kínai AI-botok fosztogatása

A gépek osztályozása céljaik szerint

A Precursor az átgondolt védekezés egyik fele. A másik része a „jó” botok kezelésére összpontosít. Nem minden automatizálás ellenséges. A Cloudflare most három kategóriába sorolja az AI-forgalmat: keresőbotok, amelyek indexelnek az információk későbbi megválaszolásához; ügynökbotok, amelyek valós időben járnak el egy személy nevében; és tréningbotok, amelyek tartalmakat szívnak fel egy modell betanításához. Szeptember 15-től az új weboldalak alapértelmezetten blokkolni fogják a tréning- és ügynökbotokat a hirdetéseket tartalmazó oldalakon, míg a keresőbotok továbbra is átengedhetők lesznek. A logika mögött a bevétel áll: a keresőbotok visszaadják az olvasókat az oldalakra, míg a többiek gyakran nem. Ez a lépés illeszkedik a Cloudflare azon politikájába, amely szerint az AI-crawlereknek fizetniük kell a kiadóknak, vagy blokkolva lesznek.

Kapcsolódó: AI-tartalom a kiberbűnözők fórumain

Tartalomhasználat és azonosítás

A cég egy új adatbázist, a BotBase-t is bevezet, amely minden ismert crawler-t név szerint azonosít. Ezenkívül a weboldalak beállíthatják, hogyan használhatják fel a botok a tartalmukat: tárolhatnak semmit, indexelhetnek és linkelhetnek vissza, vagy összefoglalhatnak és reprodukálhatnak. A Cloudflare arra is törekszik, hogy az üzemeltetők maguk deklarálják magukat egy meglévő webes fejléc használatával, így egy weboldal engedélyezheti például a „OpenAI”-t, és ez a választás akkor is érvényes marad, ha közvetítők rétegein keresztül érkezik a kérés. A Cloudflare szerint ez a lehetőség elvesztése a web domainjeinek több mint 20%-án jelentős visszatartó erő lehet.

Kapcsolódó: AI ügynökök irányítási csapdái

Ez a változás mélyebben érinti a web infrastruktúráját is. Ugyanezen a napon az Internet Engineering Task Force (IETF) publikálta a QUERY nevű új HTTP-metódust, amely a komplex kereséseknek saját, biztonságos és cache-elhető igét ad, ahelyett, hogy adatváltoztató kérésekként kellene álcázni őket. A Cloudflare és az Akamai mérnökei is részt vettek a szabvány kidolgozásában. Ez a tendencia azt mutatja, hogy a web alapvető gépezetét, amelyet eredetileg emberi kattintásokra terveztek, most csendben átalakítják egy olyan környezetté, ahol a látogatók többsége gép.

Kapcsolódó: Hamis valóság AI-böngészők számára