NVIDIA Nemotron 3 Ultra 550B: 1 millió token kontextus és LatentMoE architektúra

Az NVIDIA Nemotron 3 Ultra 550B modell 550 milliárd paraméterrel büszkélkedhet, ebből 55 milliárd aktív. Az új AI-modell a LatentMoE architektúrát használja, amely a Mamba-2, a Mixture-of-Experts (MoE) és az Attention hibridje, Multi-Token Prediction (MTP) képességgel. Ezt a Reddit LocalLLaMA közössége közölte.

A modell kiemelkedő, akár 1 millió tokenes kontextushosszt támogat, ami lehetővé teszi összetett, hosszú szövegek elemzését és megértését. Az NVIDIA Nemotron 3 Ultra 550B ideális választás lehet határterületi érveléshez, komplex ügynöki munkafolyamatokhoz, hosszú kontextusú analízishez, eszköztámogatáshoz, többnyelvű érveléshez és magas tétű RAG-alkalmazásokhoz.

Kapcsolódó: NVIDIA Star Elastic

Hardverigény és nyelvi támogatás

A modell futtatásához komoly hardverkapacitás szükséges: legalább 8x GB200/B200/GB300/B300, 16x H100 vagy 8x H200 GPU szükséges. A Nemotron 3 Ultra 550B angol, francia, spanyol, olasz, német, japán, koreai, hindi, brazil portugál és kínai nyelveket támogatja.

Kapcsolódó: Nvidia DLSS 5

Elérhetőség és fejlesztés

A modell kiadása a Hugging Face platformon történt meg. Az NVIDIA Nemotron 3 Ultra 550B A55B BF16 modell pontos elérhetőségéről és árazásáról további információk várhatók a Hugging Face oldalán 2024 első negyedévétől kezdve.

Kapcsolódó: DLSS 5 kritikái