AI chipek (Nvidia, Google TPU), adatközpontok, edge computing
A Google a Cloud Next konferencián mutatta be a képzésre optimalizált TPU 8t és az inferenciára szánt TPU 8i gyorsítókat, melyekkel jelentősen növelheti a LLM-ek hatékonyságát.
Az amerikai AI-óriás eddig kizárólag felhőszolgáltatókkal dolgozott, most azonban önálló nemzetközi infrastruktúrát épít ki.
A 192GB-os SOCAMM2 modul alacsony fogyasztású LPDDR5X technológiát használ, és kulcsfontosságú eleme lesz a Nvidia következő generációs AI infrastruktúrájának.
Az élvonalbeli, nyílt forráskódú generatív AI modellek egyre inkább az adatközpontokból a fizikai világban működő eszközökre, az úgynevezett élre költöznek.
A Google a héten, egy Las Vegas-i konferencián mutathatja be az inference feladatokra, vagyis a betanított AI modellek futtatására szánt új TPU chipjeit.
A Google a Broadcom és a MediaTek mellett további partnerekkel dolgozik a mesterséges intelligencia inferencia chipek fejlesztésén, jelentősen növelve a gyártási kapacitásokat.
A brit AI adatközpont-kapacitás jelentős része elvándorolhat Londonból, mivel a fővárosban egyre nehezebb megfelelő áramellátást és építési telket találni.
Az új, LPDDR5X technológián alapuló modulok a hagyományos szerver RAM helyett a modern AI rendszerek egyik legnagyobb szűk keresztmetszetét orvosolhatják.
A hagyományos adatközpontok lassú építése miatt a Duos Edge AI és a LG CNS előregyártott, konténer-szerű egységekkel gyorsítaná fel az AI-hardverek telepítését, akár 576 Nvidia GPU-t is befogadva egyetlen modulban.
A réz iránti megnövekedett kereslet az adatközpontok és az elektromos hálózatok kiépítésének felgyorsulásához is kapcsolódik, hiszen a réz kulcsfontosságú alapanyag az energiaellátásukhoz.
Április 16-án mutatta be az Intel a Wildcat Lake processzorait, amelyek 40 TOPS AI-teljesítménnyel rendelkeznek. A chipek a Windows ökoszisztémára és megnövelt AI-képességekre fókuszálnak.
Az amerikai adatközpont-projektek jelentős része, mintegy 40%-a, csúszásban van, ami komoly kihívás elé állítja az iparágat.
A NVIDIA egy új nyílt forráskódú projekttel, a Slinkyvel oldja meg a nagyvállalati AI-betanítás egyik kulcsfontosságú problémáját, egyesítve a Slurm és Kubernetes rendszereket.
Ezek a fennakadások a mesterséges intelligencia fejlesztéséhez kulcsfontosságú infrastruktúra kiépítését is hátráltatják, így az AI-iparág terjeszkedése is lassulhat.
Ez a technológia lehetővé teszi, hogy a fejlesztők gyorsabban és hatékonyabban hozzanak létre olyan szoftvereket, amelyek kihasználják a szilíciumchipek egyedi tulajdonságait, ami új lehetőségeket teremthet az AI-fejlesztésben.
A vállalat korábbi becsléseit jelentősen felülmúló új előrejelzés mögött az AI chipek iránti növekvő kereslet és a technológia gyors fejlődése áll.
Ezt a költségcsökkentést egy olyan új architektúra segítségével lehet elérni, amely szétválasztja a számításigényes és a memóriakorlátos feladatokat, és így hatékonyabban használja ki a rendelkezésre álló erőforrásokat.
Az OpenAI eredeti, ambiciózus európai Stargate adatközpont-tervei jelentősen csökkentek, a cég nem tartja magát a korábbi elképzelésekhez.
Az egyre vékonyabb rétegekkel és komplex anyagokkal épülő, háromdimenziós chipekben a hőáramlás szabályozása ma már alapvető tervezési szemponttá vált.
Több ezer felhasználó alakítja át régi mobiltelefonját otthoni AI szerverré, kihasználva azok alacsony fogyasztású processzorait és beépített akkumulátorait.
Az OpenAI szünetelteti Stargate projektjét az Egyesült Királyságban, mert a magas energiaárak és szabályozási környezet miatt nem térül meg a beruházás.
Tetszik az oldal? Támogasd a fejlesztést
Az AI Forradalom egy automatizált pipeline: napi adatgyűjtés, LLM-feldolgozás és infrastruktúra fenntartása valódi költségekkel jár. Ha értékesnek találod a tömör, naprakész AI-összefoglalókat, egy kávé sokat segít.