Hybrid AI-modellek jobban értik a szavakat, mint a transzformerek — Allen Institute kutatása

Az Allen Institute for AI (AI2) kutatói új megközelítést vizsgálnak az AI-modellekben: a hibrid architektúrákat, amelyek a hagyományos transzformerekkel szemben már most kihívást jelentenek. Az Olmo Hybrid nevű modelljük összehasonlításával próbálták megérteni, hogy az új típusú modellek milyen típusú információkat dolgoznak fel jobban. Az eredmények szerint a hibrid modellek előnyben vannak a jelentést hordozó szavak, például főnevek, igék és melléknevek megjóslásában, valamint a névelők referenciájának követésében — írja az Ai2Comms.

A hibrid modellek a transzformerekhez hasonlóan teljesítményt nyújtanak, vagy azt meg is haladják a standard benchmarkokon, de a fenti eredmények nem fedik fel a pontos előnyöket. Az AI2 kutatói, akiknek Olmo 3 transzformere és Olmo Hybrid hibrid modellje szinte minden tekintetben megegyezett (adatok, tokenizáló, betanítási recept), finomhangolt kísérleteket végeztek. Ezekkel céljuk volt megérteni a különböző tokenek, vagyis az AI-modellek bemeneti egységeinek megjóslásában mutatkozó különbségeket, amelyek az architektúrából fakadnak.

Kapcsolódó: Token Superposition Training

A kutatás szerint a hibrid modellek előnye leginkább a tartalmas szavakon, mint az adverbs és melléknevek, mutatkozik meg, míg a funkcionális szavakon, mint a „the”, „of”, „is”, kisebb az előnyük. A hibrid modellek előnye majdnem eltűnik az ismétlődő tokenek esetében, ahol a transzformerek erősebbek. Ez azzal magyarázható, hogy a transzformerek minden korábbi tokent figyelembe tudnak venni, míg a hibrid modellek ismétlődő rétegei veszteséges memóriát használnak, ami megnehezíti az exact tokenek visszakeresését.

Kapcsolódó: LenVM modell

A kutatók három 1 milliárd paraméteres modellt teszteltek: egy transzformert, egy hibridet és egy tisztán ismétlődő (recurrent) modellt. Az eredmények azt mutatják, hogy a hibrid és a tiszta ismétlődő modell is jobban teljesít a nem ismétlődő, jelentést hordozó tokenek esetében, mint a transzformer, a hibrid pedig a legjobbnak bizonyult. Az ismétlődő tokenek esetében a tiszta ismétlődő modell lemarad mind a hibrid, mind a transzformer mögött, mivel nincs figyelmi mechanizmusa, ami visszanyúljon a másolathoz.

Kapcsolódó: Conditional Attribute Transformers

A tanulmányból két fő tanulság következik. Először is, egyetlen átlagos veszteség (loss) nem elegendő a transzformer és a hibrid architektúrák összehasonlításához. Az egyes modellképességeket tesztelő tokenek veszteségének pontozása kulcsfontosságú különbségeket tár fel. Másodszor, a token-veszteség görbéi a betanítás korai szakaszában is kimutatják a különbségeket az architektúrák között, beleértve a másolási képességeket és a tartalom szavakon belüli eltéréseket — olvasható a kutatásban, amely az arXiv-on jelent meg (arXiv:2606.20936).

Kapcsolódó: maszkolt diffúziós nyelvi modellek