Egymilliárd paraméteres MI-modell indítása a Xiaomi által, másodpercenként 1000 token sebességgel

A Xiaomi MiMo csapata, a TileRT rendszereivel együttműködve, bemutatta a MiMo-V2.5-Pro-UltraSpeed nevű új, nagy sebességű üzemmódot. A modell egy 1 trillió paraméteres, Mixture-of-Experts (MoE) architektúrán alapul, és képes meghaladni a 1000 token/mp sebességet dekódoláskor. A demók szerint a generálási sebesség csúcsai megközelítik a 1200 token/mp-et. A különlegesség, hogy mindez nem egyedi hardveren, hanem kereskedelmi forgalomban kapható GPU-kon valósul meg — írja a MarkTechPost.

A modell architektúrája

Az UltraSpeed üzemmód célja a kiugró generálási sebesség elérése, nem pedig a modell képességeinek növelése. A sebességnövekedés három összehangolt technikán alapul: FP4 kvantálás, DFlash spekulatív dekódolás és a TileRT futtatórendszer. A Xiaomi ezt az extrém modell-rendszer kódtervezésnek nevezi. Az egész rendszert egyetlen, szabványos 8 GPU-s csomóponton futtatják.

Kapcsolódó: Xiaomi MiMo modell

Sebesség-növelő technikák

A FP4 kvantálás csökkenti a súlyok méretét, ami gyorsabb adatmozgást tesz lehetővé a memóriában, így növelve a dekódolási sebességet. Ezt a MXFP4 formátumot szelektíven alkalmazzák a MoE Expert-ekre, miközben más modulok magasblers pontosságot tartanak meg. A DFlash spekulatív dekódolás eltávolítja a hagyományos módszerek soros korlátait, blokkszinten képes előre jelezni a következő tokeneket, ami jelentősen növeli a párhuzamosságot. Kódtartományban átlagosan 6.30 token fogadható el körönként.

Kapcsolódó: NVIDIA X-Token

Az UltraSpeed üzemmód egy korlátozott, alkalmazás-alapú API-próbán keresztül érhető el június 9-től június 23-ig. Az árazás a standard MiMo-V2.5-Pro tarifájának háromszorosa a hozzávetőlegesen 10-szeres sebességért. A szolgáltatás API-alapú, és a Token Plan nem támogatott. A jóváhagyott felhasználók ingyenes Chat hozzáférést is kapnak a próbaidőszak alatt, napi 10 várólistás bejegyzéssel, 30 perces munkamenetekkel és 5 perces inaktivitási idővel. A Xiaomi megnyitotta a MiMo-V2.5-Pro-FP4-DFlash ellenőrzőpontot a Hugging Face-en, valamint a TileRT néhány modulját a GitHubon, ahol a közösség tesztelheti a sebességre vonatkozó állításokat, a Xiaomi MiMo-V2.5-Pro-UltraSpeed modellhez június 23-ig.

Kapcsolódó: M5 Max Macbook