A Nvidia GH200 egy újabb rekordot dönthet: 4,7 mikroszekundum alatt inference

A NVIDIA GH200 Grace Hopper Superchip a tőkepiacokon való alkalmazásával kapcsolatban fontos, hogy csökkentse a válaszidőt a piaci eseményekre. A GH200 Superchip a Supermicro ARS-111GL-NHR szerverben való alkalmazásával a NVIDIA elérte az egyjegyű mikroszekundumos késleltetést a STAC-ML Markets (Inference) benchmarkban.

A STAC-ML Markets (Inference) teljesítményteszt a LSTM modell késleltetését méri, ami a bemenet és a kimenet közötti idő. A benchmarkban három modell található, a LSTM_A, a LSTM_B és a LSTM_C, amelyek különböző komplexitásúak. A LSTM_B modell például hatszor nagyobb, mint a LSTM_A, míg a LSTM_C modell kb. 200-szor nagyobb, mint a LSTM_A.

A hiányzó láncszem

A NVIDIA a GH200 Superchip segítségével elérte a 4,70 mikroszekundumos késleltetést a LSTM_A modellnél, egy modell példánnyal és FP16 pontossággal mérve. Ugyanakkor a GH200 Superchip képes volt elérni a 4,67 mikroszekundumos késleltetést két modell példánnyal, a 4,61 mikroszekundumos késleltetést négy modell példánnyal és a 4,67 mikroszekundumos késleltetést nyolc modell példánnyal.

A NVIDIA által elért eredmények rekordnak számítanak a STAC-ML Markets (Inference) benchmarkban, és azt mutatják, hogy a GH200 Superchip képes elérni az egyjegyű mikroszekundumos késleltetést a tőkepiacokon való alkalmazásban.

Ahol a számok beszélnek

A NVIDIA GH200 Grace Hopper Superchip a NVIDIA szoftvercsomagjával való integrációja lehetővé teszi a fejlesztők számára, hogy könnyen használják a GH200 Superchipet a különböző alkalmazásokban. A NVIDIA szoftvercsomagja tartalmazza a NVIDIA HPC és AI platformokat is, amelyek segítenek a fejlesztőknek a GH200 Superchip teljesítményének kihasználásában. A NVIDIA GH200 Superchip a Supermicro ARS-111GL-NHR szerverrel együtt 2024-ben lesz elérhető.