A Caveman plugin nem hozott token-előnyt a Claude Code-ban – 34%-os csökkentés a "be brief"-fel
Max Taylor tesztje kimutatta, hogy a Claude Code-hoz készült Caveman plugin nem tudta felülmúlni az egyszerű "be brief" utasítást sem a tokenek számában, sem a válaszok minőségében.
A népszerű Caveman plugin, amely a Claude Code válaszainak tömörítését ígéri, nem teljesített jobban, mint egy két szóból álló utasítás – írja a Hacker News-on Max Taylor, aki a saját benchmarkját publikálta.
A Caveman plugin a fejlesztők szerint 75%-kal kevesebb tokent használ, miközben megőrzi a technikai pontosságot. Taylor azonban 24 prompton keresztül, hat kategóriában (hibadiagnózis, koncepciómagyarázat, architektúra-döntések, többlépéses beállítás, biztonsági műveletek, hibaértelmezés) tesztelte a plugint a Claude-opus-4-7 modellen.
A Tömörítés Labirintusa
A teszt során a 'be brief' utasítás 34%-kal csökkentette a tokenek számát az alapértelmezett Claude válaszokhoz képest, míg a Caveman plugin 'lite' és 'full' módjai hasonló eredményt hoztak. A 'ultra' mód, amely a legszigorúbb tömörítést ígéri, egyes kategóriákban még hosszabb válaszokat is generált, mint a többi Caveman beállítás.
A Minőség Mélyvíze
A minőség terén sem volt különbség: minden tesztelt mód, beleértve az alapértelmezett és a 'be brief' utasítást is, 1,5%-on belüli pontossággal teljesített, és 100%-ban lefedte a kulcspontokat. A Caveman 'Auto-Clarity' funkciója biztonsági figyelmeztetések és többlépéses utasítások esetén szándékosan kikapcsolja a tömörítést, ami magyarázza a változó tokenhasználatot ezekben a kategóriákban.
Taylor szerint a Caveman plugin valódi értéke nem a tömörítésben rejlik, hanem a konzisztens kimeneti struktúrában, amely hasznos lehet egységes megjelenésű válaszokhoz vagy downstream eszközök számára a 2024. április 15-én publikált Claude Code 4.7 verzióban.