IKP-k 2‑szoros pontossággal becslik a zárt LLM-ek méretét
A 1 400 kérdésből álló teszt 89 nyílt modellre építve 0,917‑es R²‑et és 68,5 %-os 2‑szörös pontosságot ér el.
A kutatók azzal a problémával indultak, hogy a zárt forrású LLM-ek paraméterszámát nehéz meghatározni, mivel a fejlesztők ritkán közlik ezeket az adatokat — írja az arXiv.
A rejtett tudás térképezése
Az IKP-k 1 400 ténykérdésből állnak, amelyeket hét eldugottasági szintre sorolnak, így a válaszok nem származhatnak egyszerű következtetésből vagy tömörítésből, hanem valódi memóriatartalmat igényelnek.
A modellméret becslésének kalibrációja
A kutatók a kérdésekre adott pontosságot log‑lineáris függvénnyel kapcsolták a modellek paraméterszámához, 89 nyílt‑weight modell (135 M–1 600 B paraméter) adataival, 19 különböző gyártótól.
A kapott térkép R² = 0,917 értéket mutat, a medián hibafaktor 1,59×, míg 68,5 % becslés a valós paraméterek kétszeres tartományán belül marad.
Az eredmények azt sugallják, hogy a tényleges tudáskapacitás szorosabb alsó korlátot ad a modellméretre, bár a becslés pontossága a zárt forrású modellekre való általánosításkor bizonytalan maradhat.
A módszer lehetővé teszi, hogy a kutatók és szabályozók átláthatóbb képet kapjanak a nagy nyelvi modellek méretéről anélkül, hogy a fejlesztők közzétennék a paraméterek számát, és a 2024. májusában közzétett tanulmányban az IKP-k a 89 modellre vonatkozó R² = 0,917 értéket mutatják.