OP-Mix: új adatmixelő algoritmus egységesíti a nyelvi modellek betanítását
Az új megközelítés a jelölt adatmixeket olcsón szimulálja alacsony rangú adapterek interpolálásával, amelyeket közvetlenül betanítottak.
Új adatmixelő algoritmust mutatott be az OP-Mix, amely a nyelvi modellek (LLM) betanításának teljes életciklusán átívelő megoldást kínál — írja az ArXiv NLP.
Az adatmixelés, vagyis a különböző adatforrások és adattípusok kombinálásának módja, kritikus fontosságú a nyelvi modellek betanítása során. Ez határozza meg a modell minőségét az előzetes betanításban, és befolyásolja a megszerzett és megőrzött tudást a folyamatos tanulás és adaptáció során.
A Tanulás Művészete
A jelenlegi adatmixelési módszerek azonban csak egy-egy fázist céloznak meg: némelyik kisebb proxy modelleket igényel, amelyek egyetlen betanítási fázishoz kötődnek, mások rögzített domain-készletet feltételeznek, a folyamatos tanulás pedig teljesen elvi iránymutatás nélkül működik.
Az OP-Mix fejlesztői szerint az adatmixelés alapvetően egy online döntéshozatali probléma, amely a betanítás során ismétlődik, és egységes megoldást igényel.
Úttörő Megoldás
Az OP-Mix (On-Policy Mix) algoritmus ezt a problémát hivatott orvosolni, egyetlen, koherens megközelítést kínálva a teljes folyamatra. Az ArXiv NLP szerint az OP-Mix algoritmus 2024-ben várható, hogy szélesebb körben elérhető legyen.