NVIDIA DVLT 3D-s modellekhez írtak új inference engine-t
Az NVIDIA DVLT 3D-s transzformer modelljeinek futtatására kifejlesztették a dvlt.cu nevű új inference engine-t. A motor a CUDA és C++ nyelveken íródott.
Egy új, a semmiből írt inference engine, a dvlt.cu gyorsítja az NVIDIA DVLT 3D-s transzformer modelljeit. A motort CUDA és C++ nyelveken fejlesztették — közölte a Reddit LocalLLaMA közössége.
A NVDLA (NVIDIA Deep Learning Accelerator) egy nyílt architektúra, amely mélytanulási inference gyorsítók tervezését segíti. A Transformer Engine (TE) pedig egy könyvtár, amely kifejezetten az NVIDIA GPU-kon futó transzformer modellek gyorsítására szolgál, többek között FP8 precíziós számításokkal.
Kapcsolódó: AMD olcsó GPU
A dvlt.cu motor architektúrája
A dvlt.cu motor célja a DVLT 3D transformer modell teljesítményének optimalizálása. A fejlesztés részletei a Reddit LocalLLaMA fórumán jelentek meg, ahol a közösség tagjai osztották meg a motort és annak képességeit.
Kapcsolódó: NVIDIA Star Elastic
Teljesítmény és gyorsulás
A dvlt.cu motor fejlesztése az NVIDIA GPU-kon futó transzformer modellek gyorsítását célozta, ahol a fejlesztők a CUDA és C++ nyelveket használták a motor kifejlesztéséhez. A Reddit LocalLLaMA közössége megosztotta a motorral kapcsolatos információkat, beleértve annak teljesítményét és képességeit, mint például az FP8 precíziós számítások támogatása.
Kapcsolódó: GPT-OSS modell
Az új inference engine, a dvlt.cu az NVIDIA DVLT 3D-s transzformer modelljeinek futtatását gyorsítja, a CUDA és C++ nyelveken kifejlesztett motorral, amely a Reddit LocalLLaMA közössége által megosztott információk szerint a NVDLA és a Transformer Engine technológiákat használja.
Kapcsolódó: Nvidia DLSS 5