99%-kal csökkenti az AI modellek skálázási költségét a Stanford új módszere
A pszichometriából és oktatásmérésből kölcsönzött statisztikai elvekkel 99%-kal kevesebb számítási kapacitás is elegendő a nagy nyelvi modellek jövőbeli teljesítményének előrejelzésére.
Jelentősen csökkentették a Stanford kutatói a nagy nyelvi modellek (LLM) skálázásának számítási igényét, ami potenciálisan dollármilliókat takaríthat meg a képzési költségeken — írja a Stanford HAI.
A Sanmi Koyejo számítástechnika professzor és Sang Truong doktorandusz vezette csapat az úgynevezett Item Response skálázás Laws (IRSL) módszert vezette be, amely a hagyományos skálázási technikákhoz képest akár 99%-kal is kevesebb lekérdezést igényel.
A skálázás új dimenziója
A hagyományos skálázási módszerek során gyakran több ezer kisebb modellt futtatnak több tízezer teljesítményteszt kérdésen, ami akár 10 billió lekérdezést is generálhat. Az IRSL ezzel szemben mindössze 50 kérdéssel is egyenértékű vagy nagyobb prediktív pontosságot ér el, drámaian csökkentve az idő- és költségigényt.
Új lehetőségek a kutatásban
Sanmi Koyejo szerint az IRSL hatása a legnagyobb az akadémiai világban lesz, ahol a képzési költségek gyakran tiltóak, de a nagy tech cégek, mint az OpenAI, a Microsoft és a Google is profitálhatnak belőle.
A tanulmányt az International Conference on Machine Learning elfogadta, és a kutatást többek között a National Science Foundation, az ARPA-H, a MacArthur Foundation és a Stanford Institute for Human-Centered Artificial Intelligence (HAI) finanszírozta, a kutatás zárult 2024. március 15-én.