Az NVIDIA NVFP4 formátuma 1,73-szoros sebességnövekedést ér el
Az NVIDIA Blackwell és Rubin platformokon a NVFP4 formátum akár 1,73-szoros sebességnövekedést ér el az FP8 alapokhoz képest, minimális pontosságvesztéssel. A NVFP4 formátum a JAX keretrendszerben és a MaxText implementációjában is használható.
A NVFP4 formátum a JAX keretrendszerben és a MaxText implementációjában is használható. A recept öt kulcsfontosságú technikát alkalmaz a nagy léptékű LLM-betanítás konvergenciájának megőrzésére. Ezek közé tartozik a 16-elemes mikroskálázás, az E4M3 blokkszámítás, a szelektív Random Hadamard Transform, a 2D FP8 skálázás, valamint a sztochasztikus kerekítés.
Mire képes a modell
A Transformer-réteg GEMM műveletei NVFP4-re lesznek kvantálva, míg a figyelmi blokkok magasabb pontosságot tartanak meg. Ez a megközelítés csökkenti a softmax kvantálási zaj erősödését. Empirikus eredmények Llama 3 8B és Llama 3.1 405B modellekkel igazolják a jelentős átviteli sebesség növekedést NVIDIA GB200 és GB300 hardveren, mérhető pontossá degradation nélkül.
Kapcsolódó: LLM-betanítás gyorsítása
Árazás és elérhetőség
A NVFP4 formátum és a hozzá kapcsolódó betanítási recept az NVIDIA GB300 Grace Blackwell Ultra Superchip natív hardvertámogatását használja ki. Ez akár 7-szeres GEMM átviteli sebességet biztosít az NVIDIA Hopper FP8 pontosságához képest. A NVFP4 recept a MaxText JAX-Toolbox GitHub repozitóriumában érhető el, ahol a launch script betanítja a Llama 3 8B modellt Blackwellen, az NVIDIA GB300-on.
Kapcsolódó: NVIDIA Star Elastic