Kontrollos kísérlet: 3,2%-kal jobb eredményt ér el az LLM újraparaméterezése a szakcikkekhez való hozzáféréssel
A kutatók szerint az LLM újraparaméterezése akár 10%-kal is javíthatja a teljesítményt, ha a modellhez nagy mennyiségű, minőségi adatot biztosítanak.
A kutatók egy kontrollált kísérletben bizonyították, hogy egy LLM-ügynök, amely hozzáférést kap a számítástechnikai tanulmányokhoz, a hyperparameter keresés során 3,2 %-kal jobb eredményt ér el. A vizsgálat során a modell a tanulmányokból származó információkat felhasználva finomhangolta a paramétereket, ami a teljesítmény jelentős növekedéséhez vezetett.
A hyperparameter keresés a gépi tanulás alapvető lépése: a modell architektúrájának és tanulási folyamatának beállításait optimalizálják. A kísérlet azt mutatta, hogy a tanulmányokban található, szakképzett tartalmak hozzáadása segít az ügynöknek jobban megérteni a feladatot, és hatékonyabb paraméterkombinációkat találni.
Az LLM-ügynök a tanulmányokból származó kulcsszavakat, definíciókat és példákat dolgozza fel, majd ezeket a hyperparameter értékek értékelésére használja. A modell így nem csupán véletlenszerű vagy előre beállított próbálkozásokra támaszkodik, hanem konkrét, tudományos alapokon nyugvó iránymutatásokat alkalmaz.
A kutatás eredményei azt sugallják, hogy a nagyobb, minőségi adathalmazok integrálása a modellfejlesztésbe jelentősen csökkentheti a finomhangolási időt és növelheti a végső pontosságot. A 10 %-os potenciális javulás a leadban említett maximum, amely a jövőbeli vizsgálatok során érdemes lenne ellenőrizni.
Jelenleg a kutatók további teszteket terveznek, hogy meghatározzák, milyen típusú tanulmányok és milyen méretű cikkek a leghatékonyabbak. A következő hónapokban várhatóak részletesebb jelentések a módszer skálázhatóságáról és a különböző LLM-architektúrákra gyakorolt hatásáról.