A Deterministic Horizon 19‑31 közötti értékkel határozza meg a pontosság plafont
A transformer-architektúra kritikus mélysége után a pontosság már nem javul, függetlenül a tanítási adatmennyiségtől, az adapter rangjától vagy a veszteségfüggvénytől. A pontosság plafonját a Deterministic Horizon 19-31 közötti értékkel határozza meg.
A MIT‑kutatók és a Stanford egyesületének szerzői a preprintet az arXiv-en jelentették meg — írja az arXiv. A tanulmány a Deterministic Horizon elnevezésű új koncepciót vezeti be, amely az architektúra önmagában meghatározott pontossági plafont mutat.
Miért fontos a pontossági plafon?
Eddig a LLM-ek teljesítménye szinte folyamatosan javult a modellméret növelésével, ám a kutatók rámutatnak, hogy egy kritikus rétegszám után a további tanítás már nem hoz javulást, ami alapvető tervezési korlátot jelent a megbízható AI‑rendszerek számára.
Hogyan számítható a Deterministic Horizon?
A horizon a rétegszám és a beágyazási szélesség alapján előre kiszámítható, és a szerzők 12 transformer architektúrán 19‑31 közötti értéket találtak — közölte a preprint.
Finomhangolás során a szerzők optimális hosszúságú trace‑eken dolgozva legfeljebb négy százalékponttal közelítették meg a plafont, ami azt mutatja, hogy a határérték elérése gyakorlati szinten is lehetséges.
A mechanizmus a residual stream kapacitás‑invariánsja, amely információelméleti átalakítás révén szuper‑exponenciális pontosságcsökkenést idéz elő a horizonon túl, továbbá a szerzők feltétlen kör‑komplexitási alsó határt adtak meg a moduláris architektúrákra.
A Stanford‑MIT csapat 2026. május 23‑án publikálta a tanulmányt, amely 12 architektúra esetén 19‑31 közötti horizon értéket határozott meg.