A szakértők keveréke forradalmasítja a nyelvi modelleket

Az OpenAI és a Hugging Face közösen publikált blogbejegyzésében a Mixture of Experts (MoE) módszerét emelik ki, amely a nyelvi modellek hatékonyságát forradalmasítja. A cikk szerint több mint 148 szakértő támogatta a MoE technológiát, és a 21 milliárd paraméteres gpt-oss-20b modell példáján keresztül bemutatja, hogyan működik a sparsity alapú megközelítés. A modell 32 szakértőből áll, de minden tokenhez csak 4-et aktivál, így a ténylegesen használt paraméterek száma 3,6 milliárd, ami a memóriaterhelést és a futási időt jelentősen csökkenti.

A MoE-k előnye, hogy a paraméterek közötti elosztás révén a számítási erőforrásokat jobban kihasználják. A Hugging Face adatai szerint egy M3 Ultra Mac gépen a modell 115 token/másodperc sebességgel generál, ami közel áll a 3,6 milliárd paraméteres, sűrű modell teljesítményéhez, miközben 21 milliárd paraméterrel rendelkezik. Ez azt jelenti, hogy a sparsity nem csökkenti a modell képességét, csak hatékonyabbá teszi a futást.

Technikailag a MoE-k a Transformer hátterét megtartva a feed‑forward rétegeket helyettesítik egy több szakértőből álló réteggel. Minden tokenhez egy router választ ki egy kis szakértőcsoportot, amely feldolgozza a jelet. Ez a struktúra lehetővé teszi a szakértők közötti párhuzamosítást, ami gyorsabb tanulást és nagyobb skálázhatóságot eredményez. A Hugging Face fejlesztései közé tartozik a WeightConverter, amely a különálló szakértő súlyait egyetlen, kontíguus tensorba csomagolja, így a GPU-k hatékonyan tudják futtatni a MoE-kat.

A MoE-k gyorsan terjednek a kutatói és ipari közösségekben. A cikk felsorolta a legfrissebb nyílt forráskódú MoE modelleket, mint a Qwen 3.5, MiniMax M2, GLM-5 és a Kimi K2.5, valamint a DeepSeek R1, amely 2025 januárjában jelent meg. Ezek a fejlesztések bizonyítják, hogy a sparsity alapú megközelítés nem csupán egy elméleti újítás, hanem már gyakorlati alkalmazásokban is bizonyítottan hatékony.

Jövőben a Hugging Face további fejlesztéseket tervez a MoE-k integrálásához a Transformers könyvtárba, beleértve a tervezett Expert Parallelism és a finomhangolási lehetőségeket. A szakértők szerint a következő hónapokban várható, hogy a MoE-k egyre szélesebb körben kerülnek bevezetésre, különösen olyan területeken, ahol a memóriaköltség és a futási idő kritikus tényezők. A felhasználóknak érdemes figyelemmel kísérni a Hugging Face GitHub oldalát, ahol a legfrissebb kiadásokat és dokumentációkat találják.