Automatizált LLM-stratégia: 69,5%-kal kevesebb token, pontosabb válaszok

A LLM-ek teljesítményét tesztidőben skálázó (TTS) stratégiák eddig kézzel készültek, emberi intuícióra támaszkodva. A Meta, a Google és több egyetem kutatói most bemutatták az AutoTTS-t, ami automatikusan fedezi fel az optimális TTS-stratégiákat.

A TTS extra számítási kapacitást biztosít a modellnek válaszadáskor, lehetővé téve több érvelési út generálását vagy a lépések kiértékelését. Az optimális stratégia meghatározása eddig kézi munkát igényelt, ahol a mérnököknek kellett kitalálniuk a szabályokat és küszöbértékeket a modell viselkedésére.

Kapcsolódó: LLM-pontosság

A számítási kapacitás felfedezése

Az AutoTTS ezt a problémát algoritmikus keresési feladatként kezeli. A mérnökök feladata a felfedezési környezet megalkotása, beleértve a vezérlőteret, az optimalizálási célokat (pontosság vs. költség) és a visszacsatolási mechanizmusokat.

Kapcsolódó: LLM-programozás

Az explorer LLM szerepe

Egy „explorer” LLM, például a Claude Code, iteratívan javasol és tesztel TTS-vezérlőket egy offline replay környezetben, amely előre begyűjtött érvelési útvonalakat használ. Ez drasztikusan csökkenti a tesztelés számítási költségeit.

Kapcsolódó: nyílt forráskódú modell

Az automatizált felfedezés révén az AutoTTS olyan komplex szabályokat fedezhet fel, amelyeket emberi mérnökök valószínűleg nem kódolnának le. Ilyen például a „Confidence Momentum Controller”, amely nemcsak az azonnali, hanem az exponenciális mozgóátlag (EMA) alapján is dönt a leállításról, elkerülve a félrevezető pillanatnyi csúcsokat.

Kapcsolódó: kódellenőrzési pontosság

A kutatók Qwen3 modelleken (0,6B-8B paraméter) és a DeepSeek-R1 egy 8B-s változatán tesztelték a rendszert. Az AIME24 matematikai teljesítményteszten felfedezett stratégiát a későbbi AIME25 és HMMT25, valamint a GPQA-Diamond általános érvelési teljesítményteszten is kipróbálták. Az AutoTTS által talált vezérlő 69,5%-kal csökkentette a tokenhasználatot a hagyományos, kézzel készített stratégiákhoz képest, miközben a pontosság változatlan maradt, a Qwen3 modell 8B paraméteres verzióján.

Kapcsolódó: LLM-biztonság