Hibrid modellek jobban értik a szavakat, a transzformerek a másolást – AI2 kutatás

Az Allen Institute for AI (AI2) kutatói új kísérleteket végeztek, hogy megértsék a hibrid és a hagyományos transzformer architektúrájú AI-modellek eltérő képességeit. Az Olmo 3 transzformer és az Olmo Hybrid hibrid modell összehasonlítása során arra jutottak, hogy a hibrid megközelítés előnyben van a jelentést hordozó tokenek, például főnevek, igék és melléknevek előrejelzésében. Ezzel szemben a transzformerek jobban teljesítenek az olyan tokenek esetében, amelyek pontosan megismétlik a korábbi szövegrészeket – írja az AI2 a Share Tech Reportban.

A jelentést hordozó szavak és a pontos ismétlések

A kutatás szerint a hibrid modellek előnye leginkább a tartalom szempontjából lényeges szavakon, mint az adverbs és melléknevek, mutatkozik meg. Az AI2 megfigyelései alapján a hibrid modellek általában alacsonyabb veszteséggel dolgoznak a jelentést hordozó tokenek esetében, míg a funkcionális szavakon, mint a „the” vagy „is”, kisebb az előnyük. Azonban a hibrid modellek előnye szinte teljesen eltűnik olyan esetekben, amikor a következő token egy korábbi szövegrész pontos ismétlése. Ilyenkor a transzformer architektúra erőssége mutatkozik meg, amely képes pontosan visszahívni a korábbi szavakat vagy kifejezéseket.

Kapcsolódó: Hybrid AI-modellek szóértelmezése

Figyelem vs. rekurrencia: az architektúrák különbségei

A transzformer architektúra minden rétegében figyelmet (attention) használ, amely lehetővé teszi, hogy a modell egyszerre minden korábbi tokenre hivatkozzon, súlyozva azok relevanciáját. Ez az architektúra kiválóan alkalmas arra, hogy pontosan felidézzen egy korábbi tokent, még akkor is, ha a messze volt az inputban. Azonban ez a módszer számítási költsége meredeken nő az input hosszának növekedésével. A hibrid modellek néhány figyelmi réteget megtartanak, de a többit rekurzív rétegekkel helyettesítik. A rekurzív rétegek tokeneket olvasnak balról jobbra, és egy fix méretű memóriát tartanak fenn, ami lapos költséget biztosít, függetlenül az input hosszától. Bár ez a memória tömörített és veszteséges, jól tartja számon a változásokat, ami kiegészíti a figyelmi mechanizmus erősségeit.

Kapcsolódó: Token Superposition betanítás

Szűrt veszteségmérés a finomhangoláshoz

Az AI2 kísérletei során különböző szövegtípusokkal tesztelték a modelleket, beleértve cikkeket, Wikipedia bejegyzéseket, könyveket, tudományos cikkeket, valamint Python, HTML és LaTeX kódokat. A modellek valószínűségeit vizsgálták az adott tokenre, és a veszteséggörbéket elemezték. Az eredmények azt mutatják, hogy a hibrid és a tiszta rekurzív modellek jobban teljesítenek a jelentést hordozó, nem ismétlődő tokenek esetében, míg a transzformerek továbbra is erősek a pontos másolásban. Az AI2 szerint ez a szűrt veszteségmérés finomabb különbségeket tár fel az architektúrák között már a korai edzési szakaszban is, ami hasznos lehet az új modellek összehasonlításához.

Kapcsolódó: LenVM szöveghossz finomhangolás

A kutatás eredményei, amelyeket június 25-én publikáltak, arra utalnak, hogy a hibrid megközelítés ígéretes lehet a kontextus-követő feladatokban, de a pontos visszahívás továbbra is a transzformerek erőssége marad. Az AI2 szerint a jövőbeli kutatások tovább vizsgálják majd ezeket a különbségeket.

Kapcsolódó: Conditional Attribute Transformers