Egy 10 000-szer kisebb modell legyőzheti a ChatGPT-t
Moulik Gupta kutató szerint a kisebb modellek több időt fordíthatnak a gondolkodásra, így felülmúlhatják a nagyobbak teljesítményét
Moulik Gupta, a kutató a Towards Data Science portálján, felveti, hogy egy 10 000-szer kisebb modell is felülmúlhatja a ChatGPT-t, ha több időt szán a gondolkodásra. A Tiny Recursion Model (TRM) 7 millió paraméterrel, két rétegű MLP‑tel dolgozik, és ciklikusan finomítja a megoldást.
Miért van ez fontos? A GPT‑4, Claude és DeepSeek minták a Next‑Token‑Prediction (NTP) célra tanultak. Token‑tokenre generálásuk során a hibák gyorsan terjednek, és a modellek nem tudnak visszalépni, hogy javítsák a logikát. Emiatt a nagy méretű LLM-ek gyakran csak memorizálják a megoldásokat, nem alkotnak újakat.
A TRM három állapotot tart fenn: a kérdés vektort, a jelenlegi hipotézist és a rejtett gondolati vektort. Egyetlen, két rétegű hálózat ismételten futtatja a „Latent Reasoning” és „Answer Refinement” ciklusokat. Először a gondolati vektort frissíti, majd a kapott logikát a megoldásba öntve javítja a válasz állapotát. Ez a folyamatos iteráció lehetővé teszi, hogy a modell több „gondolkodási lépést” tegyen ugyanazzal a kis erőforrással.
Az eredmények azt mutatják, hogy a TRM képes felülmúlni a mainstream reasoning modelleket, miközben 10 000-szer kevesebb paraméterrel dolgozik. A modell képes önállóan felismerni a hibákat és visszakapcsolni a helyes irányba, ami a nagy LLM-ekben hiányzik.
Mit jelent ez a jövőben? A TRM példája arra utal, hogy a méret helyett a gondolkodási idő és a ciklikus finomítás kulcsfontosságú lehet a mesterséges intelligencia hatékonyságában. A kérdés, hogy a nagyobb vállalatok mikor fogják bevezetni hasonló architektúrákat a saját rendszereikbe, vagy hogy a kisebb, hatékony modellek új szabványt teremtenek-e a logikai feladatok megoldásában.