IplanRIO 397 milliárd paraméteres modellje valójában két másik LLM összeolvasztása

A Rio-3.5-Open-397B modell, amelyet az IplanRIO eredeti fejlesztésként mutatott be, valójában két meglévő nagy nyelvi modell (LLM) súlyainak keveréke. A Nex-AGI szerint a 397 milliárd paraméteres modell súlyai a Nex-N2_pro és a Qwen3.5-397B-A17B modellek elemi összeolvasztásából származnak, körülbelül 0.6 Nex és 0.4 Qwen arányban. A Nex-AGI szerint nincs bizonyíték arra, hogy az IplanRIO saját képzést végzett volna.

A Nex-AGI két módszerrel támasztja alá állítását. Egyrészt, ha eltávolítják a Rio-3.5-Open-397B modell Rio-specifikus rendszerüzenetét, a modell maga "Nex, from Nex-AGI"-ként azonosítja magát az esetek 79%-ában, és soha nem "Rio"-ként. A modell még a Nex-AGI egyedi háttértörténetét is szó szerint idézi.

Kapcsolódó: nyílt forráskódú kódoló modell

A modell azonosítása

Másrészt a Rio-3.5-Open-397B minden súlytenzorja megegyezik a Nex és a Qwen súlyok 0.6/0.4 arányú keverékével, több tízezer szórás eltéréssel. Ez az arány az összes 60 rétegen és a hálózat minden komponensén keresztül kimutatható. A Nex-AGI kiemeli, hogy más finomhangolt modellek nem magyarázhatók interpolációval.

Kapcsolódó: Meta új modellje

A súlyok elemzése

A Nex-AGI a GitHubon tette közzé az elemzését, ahol részletes bizonyítékokat mutat be a súlyok keverékére. A Rio-3.5-Open-397B modellhez kapcsolódó elemzés a Nex-AGI GitHub oldalán érhető el, ahol a részletes adatok és bizonyítékok megtalálhatók a Qwen3.5-397B-A17B modellhez.

Kapcsolódó: Anthropic Claude Opus