Kisebb AI-modellek is megtanulhatnak ritka feladatokat — ha gyakrabban látják őket

Egy új tanulmányból kiderül, miért tanulnak meg a nagyobb nyelvi modellek bizonyos feladatokat, amelyeket a kisebbek nem. A kutatás eredményei túlmutatnak azon a nézeten, hogy a nagy modellek egyszerűen gyorsabban tanulnak. Bizonyos esetekben a kisebb modellek még rendkívül hosszú betanítási futtatásokkal sem képesek megbízhatóan elsajátítani a ritka feladatokat. Még a jól ismert skálázási törvények is azt mutatják, hogy egy kis modell soha nem éri el egy nagy modell veszteségszintjét, függetlenül attól, mennyi adatot vetnek rá — írja a The Decoder.

Gyakori feladatok kiszorítják a ritkákat

A mechanizmus elkülönítésére a kutatók változó gyakoriságú és komplexitású feladatok keverékét tesztelték. Egy N neuronnal rendelkező modellhez a N „leg hasznosabb” jellemzőt rendelik hozzá, ahol a hasznosság attól függ, hogy egy feladat milyen gyakran jelenik meg, és mennyire fontos. A gyakori, egyszerű feladatok élveznek prioritást. A ritka, összetett feladatokat elvetik. A kísérletekben csak elegendően nagy modellek tanulták meg azokat a feladatokat, amelyek a betanítási adatok mindössze 0,25 százalékát tették ki.

Kapcsolódó: LLM-ek általánosítása

A méret titka

A cikk magja a magyarázat arra, hogy a méret miért segít. Amíg a gyakori feladatokat nem tanulták meg jól, minden egyes lépésnél erősen maguk felé húzzák a modellt, felülírva mindent, amit a ritka feladatokról tanult. Amint egy nagy modell nagyrészt elsajátította a gyakori feladatokat, ez a húzóerő csökken. A felszabadult kapacitás a ritka feladatok felé tolódik, és a tanult jelek valószínűbb, hogy megmaradnak. A kisebb modellek ritkán érik el ezt a pontot, a „update-and-forget” (frissítés és elfelejtés) hurokba esnek.

Kapcsolódó: nyílt LLM-ek tagadáskezelése

Valós nyelvi modellek is követik a mintát

Az elmélet tesztelésére a csapat OLMo modelleket képzett, 4 millió és 4 milliárd paraméter között, akár 210 milliárd token felhasználásával a Dolma corpusból. Két mesterséges feladatot kevertek az adatokba: szám-összehasonlítást és moduláris összeadást, 1000 példány per batch-tól egy példány tíz batch-onkénti gyakoriságig. A kisebb, 20 milliárdos modellben a többi nyelvi betanítás folyamatosan véletlenszerű irányokba tolja a jelet, és megzavarja azt. A nagyobb modellekben (300M és 1B) a vonal nulla közelében marad, sértetlenül hagyva a jelet. A kutatók megfigyelték az úgynevezett „grokking”-ot, amikor a modell először memorizál egy feladatot, majd hirtelen rájön a mögöttes elvre több betanítás után, mint például a moduláris összeadásnál. A csapat a Dolma corpusból 210 milliárd tokent használt fel.

Kapcsolódó: GPT-2 toxikus kimenete