Logaritmikusan romlik a LLM-ügynökök képességválasztása a könyvtár méretével
A kutatók 15 élvonalbeli nagyméretű nyelvi modell (LLM) és több mint 1100 valós képesség elemzésével azonosították a rendszerek működését meghatározó két alapvető törvényt.
Az ügynökrendszerek képességeinek skálázási törvényeit eddig kevéssé értették, pedig a moduláris képességek kulcsfontosságúak a LLM-ek funkcionalitásának bővítéséhez. Most azonban két, egymással összefüggő törvényt azonosítottak a területen – írja az arXiv-on megjelent tanulmány.
A kutatók 15 élvonalbeli LLM-et, 1141 valós képességet és több mint 3 millió routing- vagy végrehajtási döntést vizsgáltak meg. Az első, úgynevezett routing-törvény szerint az egy lépéses routing pontossága logaritmikusan csökken a képességkönyvtár méretével. Ez a jelenség a R2 > 0,97 értékkel minden modellnél megfigyelhető volt, és a hibák a helyi képességversenytől a családok közötti eltolódáson át a túlságosan általános „fekete lyuk képességek” általi elfogásig terjedhetnek.
A képességkönyvtár mélysége
A második, végrehajtási törvény azt mutatja, hogy a helyes végrehajtás négyszeres javulást hozhat a nehéz, későbbi döntésekben. Az eredmények szerint a közös routing hozzávetőlegesen multiplikatív, mielőtt a rendszer realizálná az állapotot. Ez a két törvény egyetlen paraméter, a logaritmikus routing-romlás 'b' meredeksége által kapcsolódik össze.
A logaritmikus romlás határa
Ez a 'b' paraméter előrejelzi a végrehajtási oldali „mentést” a modellek között, jelezve, hogy ugyanaz a könyvtártulajdonság szabályozza az előzetes végrehajtás összeomlását és a későbbi helyreállíthatóságot. A kutatók szerint az arXiv-on megjelent tanulmány adatai alapján a logaritmikus routing-romlás 2024. év végére várhatóan további 5%-kal csökken a jelenlegi értékeken.