LoRA: 80%-os hiba a tényalapú finomhangolásban

A LoRA (Low-Rank Adaptation) széles körben elterjedt a nagy modellek finomhangolásánál, mert rendkívül hatékony. Azonban csendben feltételezi, hogy a modell összes frissítése hasonló jellegű — ez a valóságban nem igaz, írja a MarkTechPost.

Amikor a finomhangolás stílusra (például tónusra, formátumra vagy perszónára) fókuszál, a változások egyszerűek és kevés dimenzióban koncentrálódnak, amit a LoRA alacsony rangú frissítésekkel jól kezel. De ha a modellnek új tényalapú tudást (például orvosi adatokat vagy statisztikákat) próbálnak tanítani, az információ sok dimenzióban szóródik szét. Egy alacsony rangú beállítás, például egy rank-8 konfiguráció, nem képes mindezt rögzíteni, így a modell hangzása helyes lehet, de hibás vagy hiányos válaszokat ad.

A probléma megoldására a rang növelése újabb gondot szül: instabilitást. Ahogy a rang nő, a standard LoRA-ban használt skálázás miatt a tanulási jel gyengül, ami hatástalanná teszi a betanítást. A RS-LoRA ezt egy apró skálázási formula-módosítással orvosolja (a r-rel való osztás helyett gyök(r)-rel oszt), ami stabilizálja a tanulást még magasabb rangoknál is.

Ez az apró változtatás lehetővé teszi, hogy a modell jobban megőrizze a komplex, magas dimenziójú információkat anélkül, hogy a betanítás megszakadna. A jelenséget NumPy alapú szimulációval mutatták be, amelyben kétféle súlyfrissítést vizsgáltak, és mérték, mennyi információ marad meg az egyes rangoknál.