Tízszeres költségcsökkentést ígér a NVIDIA és a Google új AI-infrastruktúrája
Az új architektúra a korábbi generációkhoz képest tízszer alacsonyabb következtetési költséget és tízszer nagyobb token-átvitelt biztosít megawattra vetítve.
A NVIDIA és a Google közös hardver- és szoftverfejlesztéssel célozza meg az AI következtetési költségeinek csökkentését — írja az Artificial Intelligence News. A Google Cloud Next konferencián részletezték az együttműködés kereteit.
A partnerek új A5X bare-metal instance-eket mutattak be, amelyek NVIDIA Vera Rubin NVL72 rack-scale rendszereken futnak. Ez az architektúra a hardver és szoftver összehangolt tervezésével jelentős előrelépést hoz az AI-modellek futtatásában.
A feldolgozási késedelmek elkerülése érdekében az A5X instance-ek NVIDIA ConnectX-9 SuperNIC-eket és Google Virgo hálózati technológiát használnak. Ez a konfiguráció akár 80 000 NVIDIA Rubin GPU-ra skálázható egyetlen adatközponton belül, és akár 960 000 GPU-ra is több telephelyen keresztül.
Az integráció szövevénye
Mark Lohmeyer, a Google Cloud AI és számítási infrastruktúrájának alelnöke szerint az elkövetkező évtizedet az ügyfelek azon képessége fogja meghatározni, hogy a legigényesebb AI-munkafolyamataikat valóban integrált, AI-optimalizált infrastruktúrán futtassák.
A hatékonyság fokozása
A Google Cloud és a NVIDIA platformjainak kombinációja rugalmasságot biztosít a modellek betanításához és futtatásához, miközben optimalizálja a teljesítményt, a költségeket és a fenntarthatóságot. A NVIDIA és a Google együttműködése 2024. év végére tervezett NVIDIA Vera Rubin NVL72 rendszerek széles körű bevezetését eredményezi.