Az Amazon Trainium chipje 50%-kal olcsóbban üzemeltethető, mint az Nvidia GPU-i
Több mint 1,4 millió Trainium chip üzemel jelenleg, ebből 1 millió a Trainium2 chip, amelyen Anthropic Claude AI modellje fut.
Az Amazon Trainium chipje 50%-kal olcsóbban üzemeltethető, mint az Nvidia GPU-i, ami komoly változást hozhat az AI inference piacán. Jelenleg több mint 1,4 millió Trainium chip üzemel, ebből 1 millió a Trainium2 chip, amelyen Anthropic Claude AI modellje fut.
Az Amazon és az OpenAI közötti együttműködésnek köszönhetően a Trainium chipnek fontos szerepe lesz az AI fejlesztésében. Az Amazon 50 milliárd dolláros befektetési megállapodást kötött az OpenAI-val, amelynek keretében az Amazon az OpenAI számára 2 gigawatt Trainium számítási kapacitást biztosít. Ez egy óriási elkötelezettség, tekintve, hogy az Anthropic és az Amazon saját Bedrock szolgáltatása már most is gyorsabban fogyasztja a Trainium chipet, mint ahogy az Amazon gyártani tudja.
A Trainium chip különleges jelentősége abban rejlik, hogy képes az AI modelljeeket olcsóbban és gyorsabban futtatni, mint az Nvidia GPU-i. A Trainium2 chip például az Anthropic Claude AI modelljét futtatja, amely több mint 1 millió Trainium2 chipen fut. A Trainium chipnek az AI inference területén van fontos szerepe, ahol az Amazon szerint akár 50%-kal olcsóbban is üzemeltethető, mint az Nvidia GPU-i.
Az Amazon Trainium chipjének sikere nem csak az AI fejlesztésében, hanem az iparágban is érezhető lesz. Az Amazon partnere, a Cerebras Systems, integrálta az inference chipjét az Amazon Trainium chipjével, ami szupererős, alacsony késleltetésű AI teljesítményt ígér. Az Amazon azt is bejelentette, hogy támogatja a PyTorch nyílt forráskódú keretrendszert, ami megkönnyíti a fejlesztők számára, hogy átigazoljanak az Nvidia chipjeiről az Amazon Trainium chipjére.
Az Amazon Trainium chipjének sikerét az is mutatja, hogy az Apple 2024-ben dicsérte az Amazon chipfejlesztő csapatát, ami a Graviton és az Inferentia chipjeivel nyújtott teljesítményt. Az Amazon Trainium chipje tehát komoly versenytársat jelenthet az Nvidia számára, és az AI fejlesztésében fontos szerepet fog játszani a jövőben.