AI chipek (Nvidia, Google TPU), adatközpontok, edge computing
A mesterséges intelligencia a teljes címezhető chip piacot 1 billió dollár felé tolja, ahol a CPU-k újra központi szerepet kapnak az inferencia és ügynök-alapú feladatok során. Az Intel vezérigazgatója szerint a CPU-k kulcsszerepet kapnak az AI-piac hatalmas növekedésében.
Az új rendszer aszinkron, hibatűrő 'szigetekre' bontja a számítási feladatokat, így a nagyméretű nyelvi modellek képzése földrajzilag távoli adatközpontok között is hatékonyabbá válik.
Az új architektúra a korábbi generációkhoz képest tízszer alacsonyabb következtetési költséget és tízszer nagyobb token-átvitelt biztosít megawattra vetítve.
A TPU-kat a mesterséges intelligencia modellek futtatására tervezték, amelyek egyre nagyobb számítási kapacitást igényelnek. A Google több mint egy évtizede fejleszti ezeket a chipeket.
A 'Terafab' néven futó kezdeményezéssel a Tesla saját AI-szilíciumot gyártana, elkerülve a jövőbeli ellátási hiányokat.
Az új létesítmény 100 közvetlen munkahelyet teremt, és a Google digitális szolgáltatásai, valamint az AI-kapacitások iránti növekvő keresletet elégíti ki.
A 8t és a 8i chipek az AI számítási teljesítményének növelését célozzák, és még idén elérhetővé válnak a Google Cloud platformon.
A 32 GB-os GDDR7 memóriával szerelt új GPU és a vGPU 20 szoftver jelentős teljesítménynövekedést ígér a virtualizált vállalati adatközpontoknak.
A tervezett beruházás Kína globális AI-infrastruktúra építési törekvéseinek kihívásaira világít rá.
Az új TPU 8t a határterületi AI-modellek képzési idejét hónapokról hetekre csökkenti, míg a TPU 8i az inferencia hatékonyságát növeli.
A nyolcadik generációs TPU-k, a 8i és a 8t, kulcsfontosságúak a Google számára az ügynök-alapú mesterséges intelligencia széles körű elterjesztésében.
A Google a Cloud Next konferencián mutatta be a képzésre optimalizált TPU 8t és az inferenciára szánt TPU 8i gyorsítókat, melyekkel jelentősen növelheti az LLM-ek hatékonyságát.
Az amerikai AI-óriás eddig kizárólag felhőszolgáltatókkal dolgozott, most azonban önálló nemzetközi infrastruktúrát épít ki.
A 192GB-os SOCAMM2 modul alacsony fogyasztású LPDDR5X technológiát használ, és kulcsfontosságú eleme lesz az Nvidia következő generációs AI infrastruktúrájának.
Az élvonalbeli, nyílt forráskódú generatív AI modellek egyre inkább az adatközpontokból a fizikai világban működő eszközökre, az úgynevezett élre költöznek.
A Google a héten, egy Las Vegas-i konferencián mutathatja be az inference feladatokra, vagyis a betanított AI modellek futtatására szánt új TPU chipjeit.
A Google a Broadcom és a MediaTek mellett további partnerekkel dolgozik a mesterséges intelligencia inferencia chipek fejlesztésén, jelentősen növelve a gyártási kapacitásokat.
A brit AI adatközpont-kapacitás jelentős része elvándorolhat Londonból, mivel a fővárosban egyre nehezebb megfelelő áramellátást és építési telket találni.
Az új, LPDDR5X technológián alapuló modulok a hagyományos szerver RAM helyett a modern AI rendszerek egyik legnagyobb szűk keresztmetszetét orvosolhatják.
A hagyományos adatközpontok lassú építése miatt a Duos Edge AI és a LG CNS előregyártott, konténer-szerű egységekkel gyorsítaná fel az AI-hardverek telepítését, akár 576 Nvidia GPU-t is befogadva egyetlen modulban.
A réz iránti megnövekedett kereslet az adatközpontok és az elektromos hálózatok kiépítésének felgyorsulásához is kapcsolódik, hiszen a réz kulcsfontosságú alapanyag az energiaellátásukhoz.
Tetszik az oldal? Támogasd a fejlesztést
Az AI Forradalom egy automatizált pipeline: napi adatgyűjtés, LLM-feldolgozás és infrastruktúra fenntartása valódi költségekkel jár. Ha értékesnek találod a tömör, naprakész AI-összefoglalókat, egy kávé sokat segít.