Cloudflare fizetős tartalmat követel az AI-cégektől

A Cloudflare új határidőt szabott az AI-iparág számára: szét kell választani a hagyományos keresési célokat szolgáló webes robotokat (mint a Google Search) az AI-agensek és tréningek céljára használtaktól. Szeptember 15-től a Cloudflare alapértelmezett beállításai blokkolni fogják a „vegyes használatú” robotokat a hirdetéseket tartalmazó oldalakról — közölte a cég szerdán.

AI-crawler forgalom és sávszélesség-megtakarítás

Ez azt jelenti, hogy a keresést, AI-használatot és tréninget kombináló robotok alapértelmezés szerint nem férhetnek hozzá ezekhez az oldalakhoz, hacsak a weboldal tulajdonosa másképp nem állítja be a beállításokat. A változás segíthet a kiadók sávszélességének és számítási erőforrásainak megőrzésében az AI-modell-szolgáltatók számára is, mivel a Cloudflare adatai arra utalnak, hogy az AI-crawler forgalom több mint 50%-át változatlan oldalak újra-letöltése teszi ki.

Kapcsolódó: AI-összefoglalók és forgalmacsökkenés

A módosítások az új Cloudflare-ügyfelekre, az új weboldalakra, valamint az összes meglévő ingyenes felhasználóra vonatkoznak. A lépés befolyásolhatja, hogyan férnek hozzá a webes tartalomhoz az AI-modell-szolgáltatók tréning céljából, és hogyan táplálják agentiális szolgáltatásaikat. A Cloudflare szerint a legtöbb weboldal-tulajdonos szeretné, ha tartalma megtalálható lenne kereséssel és AI-szolgáltatásokkal is, de védelmet kérnek szellemi tulajdonuk ingyenes átadása ellen.

Kapcsolódó: OpenAI felvásárolja az Ona platformot

A Google és a botok megkülönböztetése

A cég kiemeli, hogy a „világ legnagyobb keresőmotorja” — egyértelműen a Google — körülbelül „2x több információhoz” fér hozzá, mint más AI-cégek, mert a keresőóriás megnehezíti az ügyfelek számára, hogy a Google Search-ben felfedezhetők maradjanak anélkül, hogy AI-célokra is felhasználnák őket. A Google korábban visszautasította ezt az általánosítást, megjegyezve, hogy van egy Google Extended nevű botja, amely lehetővé teszi a weboldal-tulajdonosoknak, hogy kizárják tartalmukat a tréningből és az olyan AI-termékekből, mint a Gemini Apps és a Vertex API.

Kapcsolódó: Apple AI támogatás fejlesztőknek

„Most, hogy az interneten a forgalom többsége nem emberi, tovább kell lépnünk és gyorsabban kell cselekednünk, hogy fenntartható ökoszisztéma jöhessen létre” — mondta Matthew Prince, a Cloudflare társalapítója és vezérigazgatója a bejelentés kapcsán, utalva arra a mérföldkőre, amikor a botok először haladták meg az emberi forgalmat az interneten.

„A Cloudflare új eszközei és partnerségei növelik a weboldal-tulajdonosok láthatóságát és kereskedelmi lehetőségeit, valamint előnyöket biztosítanak azoknak az AI-cégeknek, amelyeknek világos és átlátható szándékú botjai vannak. Reméljük, hogy az alapértelmezett változtatásokra vonatkozó javaslataink arra ösztönzik a vegyes használatú robotokat, hogy szétválasszák a keresést az AI-használattól és a tréningtől” — mondta Prince.

Kapcsolódó: Google kiadói AI képzés

Míg a Cloudflare számos terméket kínál a felhasználóknak saját AI-rendszereik elindításához, a cég eszközöket is kiadott, hogy a kiadóknak több ellenőrzést biztosítson a tartalmuk felett az AI-korszakban. Az elmúlt években a Cloudflare bevezetett eszközöket az AI-botok elleni küzdelemre, beleértve egy piacteret is, amely lehetővé teszi a weboldalak számára, hogy az AI-botokat felszámítsák a tartalomlehívásért, Pay Per Crawl néven. Ez utóbbi most „Pay Per Use”-ra is fejlődik, ami lehetővé teszi a kiadók számára, hogy díjat számítsanak fel az AI-cégeknek, amikor tartalmuk értéket teremt, nem csak akkor, amikor letöltik.

Kapcsolódó: SPUR közös nyelv AI-hoz

Amikor egy kiadó elfogadja az ajánlatot, fizetést kap, amikor tartalma megjelenik a Ceramic AI keresési eredményei között, vagy amikor a You.com prémium tartalomhoz fér hozzá. Más AI-cégek is testre szabhatják ezt a modellt a saját működésükhöz — mondja a Cloudflare.