BaLoRA: A Bayes-alapú LoRA-módszer javítja a nagy modellek pontosságát és megbízhatóságát
Az új technika a Low-Rank Adaptation (LoRA) módszert fejleszti tovább, amely eddig a nagy előre betanított modellek költséghatékony finomhangolásának standardja volt.
Új, BaLoRA nevű módszert mutatott be egy kutatócsoport, amely a Low-Rank Adaptation (LoRA) Bayes-alapú kiterjesztéseként jelentősen javítja a nagy modellek finomhangolási pontosságát és megbízhatóságát — írja az ArXiv-en megjelent tanulmány.
A LoRA eddig a nagy, előre betanított modellek finomhangolásának iparági standardja volt, mivel csökkentett számítási költséggel működik. Azonban a módszer alacsony rangú pontbecslési frissítései korlátozták a kifejezőképességet, és tartós pontossági rést hagytak a teljes finomhangoláshoz képest. Emellett nem biztosított beépített bizonytalansági kvantifikációt, ami korlátozta alkalmazhatóságát azokban az esetekben, ahol a megbízhatóság legalább annyira fontos, mint a pontosság.
A BaLoRA újdonsága egy input-adaptív Bayes-féle paraméterezés a LoRA mátrixokhoz, amely minimális paraméter- és számítási többletet igényel. A Bayes-kiterjesztés nemcsak jól kalibrált bizonytalansági becsléseket eredményez, hanem az adaptív zajinjektálás is jelentősen javítja az előrejelzési pontosságot.
Ez a fejlesztés szűkíti a teljes finomhangoláshoz képest fennálló rést mind a természetes nyelvi érvelési, mind a látásfeladatok esetében. Fém-organikus keretrendszerek sávrés-előrejelzésére alkalmazva a BaLoRA zero-shot tesztidőben is kiemelkedő eredményeket produkál.