LoRA dominál a Hugging Face-on, de más PEFT technikák is versenyezhetnek

A mesterséges intelligencia (AI) modellek finomhangolása gyakran jelentős memóriakapacitást igényel. A paraméterhatékony finomhangolás (PEFT) olyan technikákat foglal magában, amelyek drasztikusan csökkentik ezt az igényt, lehetővé téve akár kvantált modellek betanítását is. A Hugging Face PEFT könyvtára egységes API-n keresztül számos ilyen módszert kínál, jól integrálva a Transformers és Diffusers ökoszisztémákkal.

A PEFT-módszerek közül a „Low Rank Adaptation”, vagyis a LoRA emelkedett ki leginkább. A Hugging Face becslései szerint a modellkártyk 98,4%-az említi a LoRA-t, és az image-generálási checkpointok 95%-az is erre épül. A GitHubon végzett keresések is azt mutatják, hogy a LoRA-ra épülő kódok aránya 71,3%, míg a következő legnépszerűbb technikák, a LoHa és az AdaLoRA 3,7%, illetve 3,5%-ot érnek el. Ez a dominancia arra utalhat, hogy a LoRA valóban a legjobb választás, vagy arra, hogy korai népszerűsége és az elérhető rengeteg tutorial, példa és csomag-támogatás önmagát erősíti.

Kapcsolódó: LoRA hibája

Más PEFT-technikák előnyei

Számos kutatás állítja, hogy más PEFT-módszerek, mint például a LoCon, DoRA, LoHa és AdaLoRA, bizonyos forgatókönyvekben felülmúlhatják a LoRA-t. Azonban ezeknek a kutatásoknak az eredményeit nehéz lehet megbízhatóan értelmezni. A kutatók gyakran nyomás alatt állnak, hogy jobb eredményeket mutassanak fel, ami torzíthatja a méréseket. Például egy tanulmány kimutatta, hogy a LoRA is képes hasonló eredményeket elérni a tanulási ráta finomhangolásával. Emellett a különböző tanulmányok eltérő benchmarkokat és összehasonlításokat használnak, ami megnehezíti az eredmények reprodukálását.

Kapcsolódó: kontrasztív visszajelzés

Hogyan segítenek a teljesítménytesztek?

A Hugging Face célja, hogy segítsen a felhasználóknak megalapozott döntéseket hozni a PEFT-módszerek kiválasztásában. A PEFT könyvtár egységes API-t biztosít, és a cég benchmarkokat is végez, hogy objektív képet adjon a különböző technikák teljesítményéről. Ezeket azonos feltételek mellett, ugyanazon az alapmodellen, adathalmazon és hardveren futtatják. A mérések kiterjednek a VRAM-használatra, az elfelejtésre, a futási időre és a checkpoint méretére is. A Hugging Face szerint a LoRA jól működik, de nem feltétlenül a legjobb választás minden esetben.

Kapcsolódó: technikai írás tanítása