Új memóriaréteget kapnak az AI-modellek a kontextus-szűk keresztmetszet áthidalására

A GPU-k számítási kapacitása drámaian olcsóbb lett, és az inferenciaszolgáltató motorok is hatékonyabbá váltak. Azonban a kontextus, vagyis az a perzisztens állapot, amely a munkamenetek között él, még gyorsabban nőtt, mint a számítási teljesítmény. Az ügynökrendszerek ugyanis több tucat vagy száz modellhívást láncolnak össze, amelyek mindegyike olyan állapotot generál, amelyet nyomon kell követni. A vállalatok elvárják, hogy ez az inferenciaállapot megmaradjon a munkamenetek között audit, irányítás és újrafelhasználás céljából. Ezek a trendek felhalmozódnak, és a kontextus mennyiségét olyan szintre tolják, amelyet a meglévő memóriarétegek nem tudnak kezelni.

A kontextus lett a gyenge pont

Ace Stryker, a Solidigm AI- és ökoszisztéma-marketing igazgatója szerint ez a három tényező egyszerre van jelen, és mindegyik a kontextusadatokat és a kontextusmemóriát a korábbiaknál gyorsabban tolja a "sztratoszférába". A megoldás egy dedikált kontextusréteg, amely a GPU-memória és a hálózati tároló között helyezkedik el. Ez egy nagy teljesítményű, nagy sűrűségű flash réteg, amelyet kifejezetten a kulcs-érték (KV) gyorsítótár, az inferenciaadatok és a lekérdezési adatok tárolására terveztek, hogy azokat inferencia sebességgel lehessen kiszolgálni. Az Nvidia ezt az architektúrát CMX néven formalizálta. A Solidigm és más tárológyártók optimalizált SSD-termékeket fejlesztenek erre a munkaterhelésre.

Kapcsolódó: Memóriahiány és AI sebesség

Más tárolási architektúra kell az AI-inferenciához

A jelenlegi AI-rendszerek tárolási architektúrája nagyrészt a képzési munkafolyamatokból öröklődött. A képzés szekvenciális és írásintenzív, az adatok nagy blokkokban mozognak a tömeges objektumtárolóba. Azonban az inferencia más. I/O-aláírása finom szemcsés, késleltetésérzékeny és egyre inkább állapotfüggő. A KV gyorsítótár és a lekérdezési adatok eltérő hozzáférési mintázattal rendelkeznek, de mindkettőt gyorsan kell kiszolgálni és újra felhasználni az interakciók során. Egyik sem illeszkedik tisztán a GPU nagy sávszélességű memóriájába, amely drága és fizikailag korlátozott, sem a hagyományos tömegtárolóba, amelyet nem aktív inferencia munkaterhelésekre terveztek.

Kapcsolódó: NVIDIA infrastruktúra-kezelés

Az egyik leglátványosabb tünet a számítások megismétlődése. Az inferenciában az előzetes feltöltési szakasz az adott munkamenethez tartozó összes releváns kontextust feldolgozza, mielőtt a tokengenerálás megkezdődhetne. Ha a KV gyorsítótár állapota nem áll rendelkezésre gyors, hozzáférhető rétegben, a rendszer újra kiszámítja azt, ami a GPU-ciklusokat pazarolja, és nem hoz új értéket. "Jelentős GPU-ciklusok végzik az előzetes feltöltés megismétlésével" – magyarázza Harthorn. "Ez potenciálisan az állapot reprodukálásával töltött számítási kapacitás, nem pedig új munka végzése. Amikor így kezdi el nézni a problémát, a GPU-kihasználtság részben tárolási problémának kezd tűnni."

Kapcsolódó: Nvidia Mission Control

A kontextusmemória-réteg működése

Az iparág válasza strukturális formát ölt. Egy új réteg jelenik meg a GPU-memória és a hagyományos hálózati tároló között, amelyet kifejezetten az inferenciakontextus tárolására és kiszolgálására terveztek. Ez a réteg megkülönböztethető a GPU-szerverekben lévő meghajtóktól (G3) és a hálózaton keresztüli tárolószerverektől (G4), és arra tervezték, hogy a kontextusadatokat a lehető leggyorsabban visszajuttassa a gyorsítókhoz. "Ha 2026 második felében vagy jövő év elején kezdi el építeni az adatközpontot, nem gondolhatja, hogy a tárolás csak két helyen létezik" – mondja Stryker. "A tárolásnak legalább három helyen kell léteznie a kontextusmemória-réteg kezeléséhez, és ez valószínűleg állandó része lesz az infrastruktúra jövőbeli felépítésének." Ez hasonló az objektumtárolás kategóriájának megjelenéséhez, amely addig nem létezett, amíg elég munkaterhelés nem igényelte. "A kontextusréteg valószínűleg hasonló ívet járhat be" – véli Harthorn. "Ez a volumetrikus nyomás okozza a kategória kialakulását, nem pedig egyetlen gyártó ütemterve." Az infrastruktúravezetők számára ez azt jelenti, hogy aktívan tervezniük kell az új réteget, ahelyett, hogy opcionálisnak tekintenék. További NAND-réteg bevezetése csökkenti a DRAM-függőséget, amely nagyságrendekkel drágább gigabájtonként, és korlátozott mind az elérhetőség, mind a hőfej. "A befektetési hatékonyság szempontjából kevesebb pénzt fektet ki, ha a SSD-rétegre támaszkodik, ahogyan az Nvidia most ajánlja és írja elő sok használati esetre " – teszi hozzá Stryker.

Kapcsolódó: AI-ügynökök együttműködése

A Solidigm, az Nvidia és más tárológyártók új SSD-termékeket fejlesztenek, amelyek optimalizáltak erre a munkaterhelésre. Az AI-inferencia támogatásához a SSD-technológiának kiszámítható késleltetést kell biztosítania, nem csak átlagos sebességet. A GPU-erőforrásokat a várható tárolási válaszidők alapján kiosztó rendszerek nem tolerálhatnak váratlan, több másodperces késéseket. A következetes, megfigyelhető teljesítmény itt fontosabb, mint a csúcshasznosítás. A késleltetésen túl a sűrűség is kritikus tényezővé válik, különösen a hyperscale környezetben. Azokban az adatközpontokban, ahol az energia, nem pedig a költség a korlátozó tényező, a watt per petabájt válik a mérvadó metrikává. A lebegőkapus NAND, amely a Solidigm termékeinek alapja, alkalmas erre a számításhoz. A NVMe over Fabrics, RDMA és a CXL támogatásán keresztüli hálózati integráció is elengedhetetlen az aktív inferenciafolyamatok szigorú késleltetési költségvetése miatt. "A meghajtóknak megbízható teljesítményjellemzőkkel kell rendelkezniük, a hasznosítási oldalon túl és képesnek kell lenniük annyi adat átvitelére, amennyit csak lehet, a lehető leggyorsabban, ahogyan azt a képzés igényelte" – mondja Harthon. "Most arról van szó, hogy nagyon következetesen tudjuk csinálni, oly módon, hogy az a rendszereket működtetők és orkchestrálók számára nagyon megfigyelhető legyen." A Solidigm szerint az elégtelen tárolókapacitás közvetlenül befolyásolja az AI-projektek megtérülését (ROI).

Kapcsolódó: Anchor rendszer bemutatása