AI-eszközök beszélnek ősemberül a költségek csökkentéséért

A nagyvállalatok módszeresen ősember-nyelvhasználatra kényszerítik AI-eszközeiket, hogy megállítsák a drága AI-tokenek felhasználását és mérsékeljék hatalmas kiadásaikat – derül ki a 404 Media vizsgálatából. Az eszköz a szokásosan bőbeszédű LLM-eket, mint a Claude Code, Codex vagy Gemini, sokkal lényegre törőbb válaszokra készteti. A „barátságos csevegőrobot” helyett inkább a „Hulk üt!” típusú kommunikáció dominál.

A caveman plugint közvetlenül a szárnyaló és kiszámíthatatlan AI-költségek miatt vetik be. A tanácsadó óriás, az Accenture korábbi jelentése szerint a „szárnyaló tokenköltés” jelentős részét az okozza, hogy emberek PDF-eket konvertálnak prezentációkká AI segítségével. A caveman használói között vannak fejlesztők az OpenAI-nál, a Nvidiánál és a GitHubnál is, az eszköz alkotója szerint. Egy vezető OpenAI-alkalmazott még kódot is adományozott a projekthez, támogatást adva az OpenAI Codex eszközéhez.

Kapcsolódó: OpenAI Codex pluginok

Az ősember-nyelv titka

„Március elején készítettem a Cavemant, mert sokat használtam a Claude Code-ot, és észrevettem, hogy rengeteg tokenköltésem ment el felesleges prózára: udvariaskodásra, kitérőkre, átmenetekre és csevegő nyelvezetre, ami egy ügynöki ciklusban nem igazán számít” – mondta Julius Brussee, a caveman megalkotója a 404 Mediának. Az egyik cég, amelyik használja a cavemant, az elektromos és digitális infrastruktúrával foglalkozó Legrand, amely ironikus módon épp a data center üzletágba lépett. Egy belső Legrand-memo szerint „mivel a számlázási rendszer megváltozott és az új kvótákat bevezették, mindannyiunknak figyelmesnek kell lennünk a mesterséges intelligencia használatával, hogy ne használjuk fel gyorsan a teljes költségvetési keretünket.” A memo négy olyan dolgot sorol fel, amelyek „nagy hatásúak” lesznek: nem mindig a legerősebb modellt használni; nem mindig a magas érvelési beállításokat használni az LLM-eknél; különböző, megfelelőbb modelleket használni a különböző feladatokhoz; és végül „használni a ‘caveman skill’-t a kimeneti fogyasztás csökkentésére (a kód befolyásolása nélkül).”

Kapcsolódó: Codex Anthropic Claude-ban

Takarékoskodás és használat

A 404 Media tesztjei során a cavemannel a Claude Code-dal a plugintól az LLM válaszai sokkal lényegre törőbbek lettek. „Változtatásokat szeretnél benne?” – kérdezte az LLM, miután felülvizsgáltatott vele egy korábban írt kódot. „Hivatalos API-t használ, nem kaparja le az adatokat” – tette hozzá az LLM, leírva, hogyan működik a kód. Amikor duplán ellenőriztem, hogy a caveman telepítve van-e, a Claude azt válaszolta: „Már aktív. Mire van szükséged?” A caveman képes megjeleníteni az általa mentett tokenek teljes számát is. Az én esetemben a caveman körülbelül 5800 tokent, vagyis 65%-ot takarított meg. „A modell kevésbé beszél, mint egy udvarias chatbot, és inkább egy tömör eszközként viselkedik” – mondta Brussee. „Ugyanaz a lényeg, kevesebb szó. Az én értékeléseim alapján a Caveman a kimeneti tokeneket durván 65–75%-kal csökkentette az alapértelmezett bőbeszédű kimenethez képest, és még egy normál „légy tömör” utasítást is felülmúlt. Ez a szám változó a munkafolyamattól függően, de a hatás egyértelmű volt.”

Kapcsolódó: Cursor 3 AI-ügynök

Négy szintű „morogás”

A caveman felhasználói választhatnak a „morogás” szintjei közül: lite, full (ami az alapértelmezett beállítás), ultra vagy Wenyan, amely klasszikus kínai karakterekre fordítja a kimenetet. „A cél a volt, hogy csökkentsük a kimeneti tokeneket anélkül, hogy érintenénk azokat a részeket, ahol a pontosság számít: kód, parancsok, útvonalak, URL-ek, számok, függvénynevek és technikai részletek. A Caveman többnyire a környező nyelvet tömöríti” – tette hozzá Brussee. A GitHubon található rekordok szerint Shayne Sweeney, az OpenAI mérnöki igazgatója is hozzájárult kódokkal a cavemanhez. Egy pár hónappal ezelőtti commitban ez áll: „Add Codex plugin support.”

Kapcsolódó: Codex mobilvezérlés

A probléma valós

A caveman egy egész ügynököt is kínál, amely mindent ősember nyelvre sűrít. „caveman-code mindent összezsugorít – teljes terminálos kódolási ügynök, ősember alulról felfelé. Körülbelül kétszer kevesebb token, mint a Codex azonos feladatoknál. 20+ szolgáltató · terv mód · autopilot célciklus · MIT” – áll a caveman GitHub repozitóriumában. A caveman használható az OpenClaw-val is, az az ügynöki AI eszközzel, amely az év elején hatalmas virálissá vált. A plugin nyilvánvalóan vicces, de egy nagyon valós problémára reagál. Áprilisban a GitHub bejelentette, hogy tokenenként kezd el számlázni az ügyfeleknek, ahelyett, hogy lapos előfizetési díjat számolna fel. A Uber korlátozta az alkalmazottak AI-eszközök használatát, és a cég CTO-ja szerint a Uber mindössze négy hónap alatt elköltötte teljes AI-költségvetését. A Walmart is korlátozta az AI-eszközök használatát. És most itt vannak a cégek, amelyek a cavemant használják. „Sok egyéni fejlesztőtől és mérnöktől hallottam vállalatokon belül, akik használják vagy tesztelik, köztük emberektől az OpenAI-nál, az NVIDIA-nál, a GitHubnál és a DEPT-nél” – mondta Brussee. A 404 Media által megszerzett kiszivárgott hangfelvételen az Accenture úgy pozicionálta magát, mint a probléma gyógyírját, annak ellenére, hogy eredetileg arra ösztönözte az ügyfeleket, hogy minél gyorsabban fogadják el az AI-t. A hangfelvételen egy vezető alkalmazott azt mondta, hogy az Accenture-nek „új lehetősége van ügyfeleivel, hogy valóban gondolkodjanak a tokengazdaságon.” Tavaly az OpenAI vezérigazgatója, Sam Altman azt javasolta, hogy az emberek udvariaskodása az LLM-ekkel, mint például a „kérem” és „köszönöm”, több tízmillió dollárba került az OpenAI villamosenergia-költségeiben. A Legrand, az OpenAI, az Nvidia és a GitHub nem válaszolt a caveman használatával kapcsolatos megkeresésekre. A caveman GitHub repozitóriuma a végén így szól: „Caveman tokeneket takarít meg, pénzt takarít meg.”

Kapcsolódó: Claude Code tokenoptimalizálás