HELLoRA: Új módszer a nagy nyelvi modellek hatékony finomhangolására
A Hot-Experts Layer-level Low-Rank Adaptation (HELLoRA) csak a leggyakrabban aktivált szakértőkhöz csatol LoRA modulokat, ezzel jelentősen optimalizálva a betanítást.
Új módszert fejlesztettek ki a Mixture-of-Experts (MoE) modellek hatékony finomhangolására, amely a hagyományos Low-Rank Adaptation (LoRA) korlátait hivatott feloldani — írja az ArXiv-en megjelent kutatás.
A LoRA dominálja a nagyméretű nyelvi modellek paraméterhatékony finomhangolását, de legtöbb változata sűrű architektúrákra fókuszál. A MoE-modellek a paraméterek számát közel állandó tokenenkénti számítási kapacitás mellett skálázzák, és ritka aktivációs mintázataik kiaknázatlan lehetőségeket rejtenek a hatékonyabb adaptációra.
A HELLoRA működése és előnyei
A kutatók a Hot-Experts Layer-level Low-Rank Adaptation (HELLoRA) nevű megközelítést javasolják, amely rétegenként csak a leggyakrabban aktivált szakértőkhöz csatol LoRA modulokat. Ez az egyszerű mechanizmus csökkenti a betanítható paramétereket és az adapter által indukált FLOP-okat, miközben javítja a downstream teljesítményt. Ezt a hatást a kutatók a strukturált regularizáció egy formájának tulajdonítják, amely megőrzi az előre betanított szakértői specializációt.
A HELLoRA extrém paraméter-korlátok mellett történő tesztelésére a kutatók továbbfejlesztették azt LoRI-val, létrehozva a HELLoRI-t, amely befagyasztja az up-projectiont és ritkítja a down-projectiont. A HELLoRA-t három MoE alapmodellen, nevezetesen az OlMoE-1B-7B, Mixtral-8x7B és DeepS modelleken tesztelték.