Többnyelvű AI-modellek tudásszerkesztését javítja egy új vektorösszegzési módszer
A nagyméretű nyelvi modellek (LLM) többnyelvű tudásszerkesztése (MKE) eddig komoly kihívást jelentett a nyelvi specifikus szerkesztések interferenciája miatt.
A többnyelvű tudásszerkesztés (MKE) továbbra is nehézségekbe ütközik, mert a nyelvre szabott módosítások zavarják egymást, még akkor is, ha az egyetlen nyelven jól működő „keresd és szerkeszd” módszerekről van szó — írják kutatók a arXiv előnyomtatott tanulmányában.
A tanulmány három fő kérdésre fókuszál: a vektorösszevonási módszerek hatékonyságára a MKE-ben, arra, hogy a Task Singular Vectors for Merging (TSVM) mennyire képes csökkenteni a többnyelvű interferenciát, valamint a súlyozási faktor és a rangtömörítési arány teljesítményre gyakorolt hatására.
A kutatók hat különböző összevonási variánst értékeltek két népszerű alap LLM-mel, két alapvető tudásszerkesztési módszerrel és 12 nyelvvel a MzsRE teljesítményteszten, nagyszabású kötegelt szerkesztési környezetben. Eredményeik szerint a közös kovariancián alapuló vektorösszegzés a legmegbízhatóbb általános stratégia, míg az egyszerű, közös kovariancia nélküli összegzés gyengén teljesít — állítják a kutatók.
A TSVM módszer bizonyos esetekben javítja a teljesítményt, de a többnyelvű interferencia enyhítésére korlátozottan képes — derül ki a tanulmányból. A kutatás rávilágít, hogy a jövőbeli fejlesztéseknek a nyelvi interferencia hatékonyabb kezelésére kell fókuszálniuk a többnyelvű LLM-ekben, különösen a MzsRE teljesítményteszten.