Új NVIDIA Vera CPU gyorsítja az AI-gyárakat — 1,8-szor gyorsabb magteljesítményt ígér

Az NVIDIA Vera CPU architektúrája 1,8-szor gyorsabb, tartós szálankénti teljesítményt kínál teljes foglalatterhelés mellett, ami közvetlenül javítja az erősítéses tanulás (RL) képzési átviteli sebességét, a politikai gradiens minőségét és a környezeti végrehajtási arányokat a bázis CPU-khoz képest — közölte az NVIDIA.

A monolitikus, 88 Olympus magot tartalmazó compute die-t, egységes gyorsítótárat és Scalable Coherency Fabric-ot használó Vera CPU 40%-kal alacsonyabb csúcs terhelési késleltetést és több mint 3-szoros szálankénti memória-sávszélességet ér el, miközben energiafogyasztása kevesebb mint fele a hagyományos x86 adatközponti CPU-knak. Ez optimalizálja az agentikus inferenciát és a skálázott interaktív üzembe helyezés válaszkészségét.

Kapcsolódó: Nvidia GB200 ütemezés

Az új CPU minimalizálja a CPU-oldali megakadásokat, csökkenti a KV-gyorsítótár kiürítéséből adódó kontextus-rekonstrukciót, és maximalizálja az átviteli sebességet. Az NVIDIA Vera CPU magasabb GPU-kihasználtságot és hatékonyságot tesz lehetővé a sűrűn terhelt agentikus AI-gyárakban, közvetlenül növelve az általános rendszertermelékenységet és a szolgáltatási szintű megállapodások betartását.

Kapcsolódó: Google Gemma és helyi AI

Az agentikus rendszerek a modell érvelését cselekvésbe fordítják többlépéses munkafolyamatokon keresztül, amelyek inferenciát, eszközhasználatot, kódvégrehajtást, lekérdezést, orchestrációt és eredménykezelést kombinálnak. Ahogy ezek a rendszerek skálázódnak az AI-gyárban, a teljesítmény nemcsak a GPU gyorsításától, hanem a modelllépések közötti CPU-munkától is függ.

Kapcsolódó: Amazon AI-ügynökök

A RL-képzés során a processzor leállása a teljes képzési folyamatot lassítja. A lassabb processzor kevesebb környezeti lépést tesz lehetővé másodpercenként, ami rontja a modell politikai frissítéseinek, azaz a gradiensének minőségét. A Vera CPU a 88 Olympus maggal és a 1,8-szor gyorsabb magokkal akár 85%-kal több kiértékelést képes elvégezni ugyanabban az ablakban, gazdagabb, magasabb minőségű képzési jelet biztosítva.

Kapcsolódó: Intel AI-inferencia

Az offline képzésről az élő, interaktív agentikus üzembe helyezésre való áttérés a fő optimalizálási metrikát a tiszta átviteli sebességről a szigorú, kiszámítható késleltetésre helyezi. A Vera CPU a monolitikus compute die-nak köszönhetően 40%-kal alacsonyabb csúcs terhelési késleltetést ér el a x86 CPU-khoz képest. Emellett több mint 3-szoros szálankénti memória-sávszélességet kínál, miközben energiafogyasztása kevesebb mint fele a hagyományos adatközponti CPU-knak.

Kapcsolódó: JetPack 7.2 AI-telepítés