ReaComp: 16,3 százalékponttal veri a programozó LLM-eket a szimbolikus megoldó
A ReaComp a nagyméretű nyelvi modellek (LLM) érvelését fordítja le újrahasználható szimbolikus struktúrákká, ezzel kiküszöbölve a futásidejű LLM-hívásokat.
Új módszert dolgoztak ki kutatók, amely jelentősen növeli a programszintézis hatékonyságát és megbízhatóságát. A ReaComp nevű rendszer a kódoló ügynököket használja fel arra, hogy a LLM-ek érvelési nyomait újrahasználható szimbolikus programszintetizátorokká alakítsa — írja az ArXiv-en megjelent tanulmány.
Az így kapott megoldók teszteléskor nem igényelnek LLM-hívásokat, és önálló rendszerekként is erősek. A szimbolikus megoldókból álló együttes 91,3%-os pontosságot ért el a PBEBench-Lite teljesítményteszten, és 84,7%-ot a PBEBench-Hard teszten. Utóbbin 16,3 százalékponttal múlják felül a tesztidőben skálázott LLM-eket, miközben a LLM-alapú következtetési költség nulla.
A szimbolikus áttörés
A ReaComp a LLM-keresést is kiegészíti: a PBEBench-Hard pontosságát 68,4%-ról 85,8%-ra javítja, miközben a jelentett tokenhasználatot 78%-kal csökkenti. A SLR-Bench hard-tier pontosságát 34,4%-ról 58,0%-ra emeli egy neuro-szimbolikus hibrid környezetben.
A hatékonyság kulcsa
A ReaComp megközelítése két szakaszból áll: egy offline megoldó indukciós fázisból és egy tesztidőben történő következtetési fázisból. A rendszer a Gurobi kódot és a hozzá tartozó érvelési trajektóriát is felhasználja, amelyet egy tanító modell generál. A ReaComp a 2605.05485-ös ArXiv preprintben részletesen bemutatásra került, 2024. március 15-én.