Új módszerrel integrálja a tudást 93,5%-os pontossággal a GRASP

Az eddigi több forrásból történő AI-tanulási módszerek jelentős memóriaproblémákkal küzdöttek: vagy az összes forrásmodellt egyszerre kellett betölteni, ami nagy memóriahasználatot igényelt, vagy a modelleket az összes forrásból futtatni kellett, ami gyakorlatilag lehetetlenné tette a bevezetést. A GRASP (Gradient-Aligned Sequential Parameter Transfer) nevű új eljárás ezt a problémát orvosolja, miközben a tudásintegrációt is javítja — írja az arXiv kutatása.

Memóriatakarékos integráció

A GRASP három kulcsfontosságú újítással éri el a konstans memóriahasználatot: szekvenciális feldolgozás, amely egyenként olvasztja be a forrásmodelleket egy fejlődő célmodellbe; paraméter-alapú gradiens-illesztés, amely csak azokat a paramétereket adja át, amelyek optimalizációs iránya egyezik a cél domainnal, így elkerülve a negatív transzfert; valamint iteratív finomhangolás, amely az átvitt tudást adaptálja, mielőtt a következő forrást integrálná.

Kapcsolódó: LANTERN AI

Kiemelkedő eredmények a tesztekben

A módszert kiterjedt kísérletekkel tesztelték folyamatos tanulási benchmarkokon, amelyek 10 és 108 év közötti időbeli eltolódásokat fedtek le, és 1,3-25,6 millió paraméteres architektúrákat használtak. A GRASP átlagosan 93,5%-os pontosságot ért el az összes adatkészleten és architektúrán, míg az ensemble módszer csupán 71,7%-ot — derül ki az arXiv-publikációból.

Kapcsolódó: OptiMer

Skálázhatóság és rugalmasság

A GRASP kritikus előnye, hogy korábbi, már egyesített modelleket is képes volt feldolgozni, és tetszőleges számú forrásra skálázódik memóriabővülés nélkül. Ez teszi egyedülállóan alkalmassá erőforrás-korlátozott környezetekben történő bevezetésre, valamint folyamatosan fejlődő forrás domainok esetén is.

Kapcsolódó: ADAPT

A kutatást az arXiv-en publikálták, azonosítószáma 2606.14900v1, és a GRASP eljárás a Tesla és az NVIDIA hardvereken is sikeresen tesztelésre került.

Kapcsolódó: DualOptim+