20 milliárd paraméteres AI futhat Apple-eszközökön, nem kell hozzá DRAM

Az Apple harmadik generációs alapmodelljei, a WWDC26-on bemutatott AFM 3 család, áttörik az on-device AI modellek memóriakorlátait. Az új architektúra teljesen eltávolítja a súlyokat a DRAM-ból, lehetővé téve nagyobb és komplexebb modellek futtatását közvetlenül az eszközökön. A VentureBeat szerint ez az újítás jelentős lépés az enterprise architectek számára, akik eddig a felhőfüggő, de képzett modellek és a korlátozott on-device opciók között választhattak.

Az AFM 3 család öt modellből áll, melyek közül kettő on-device fut, három pedig az Apple Private Cloud Compute határain belül, Nvidia GPU-kon fut a Google Cloudon. Az on-device architektúrát az Apple saját kutatócsapata fejlesztette ki, és az AFM 3 Core Advanced egy 20 milliárd paraméteres modell, amely a súlyokat NAND flash memóriában tárolja a DRAM helyett.

Kapcsolódó: Saját AI-modellek

Az új architektúra működése

Az Apple által megkerült memóriafal minden helyi AI fejlesztő számára ismerős probléma. A korábbi gyakorlat szerint a teljes modellnek be kellett férnie a DRAM-ba, ami erősen korlátozta a paraméterek számát. Az Apple új megközelítése, az Instruction-Following Pruning (IFP), a flash memóriát tekinti a modell állandó otthonának, a DRAM-ot pedig csak egy ideiglenes pufferként használja.

Kapcsolódó: Perplexity Pro

Mit jelent az új architektúra a fejlesztők számára

Az architektúra részleteit bemutató tanulmány kitér a memória kialakítására és a ritka aktiválási mechanizmusra, de kevésbé ismerteti a gyakorlati telepítési korlátokat. Az Apple profilozási eszközei nem adnak ki olyan metrikákat, amelyek döntőek lennének a gyártásban való használhatóság szempontjából. Marco Abis, aki az Apple szilíciumon futó helyi AI-profilozó Ziraph-ot fejleszti, kiemelte, hogy az energiafogyasztás, a memória sávszélessége és a hűtés részletei nem szerepelnek a dokumentációban.

Kapcsolódó: AI memóriahiány

Az AFM 3 Core Advanced 20 milliárd paraméteres on-device opciót kínál, amely a WWDC26 előtt nem létezett. Az Apple egy részletes technikai jelentést ígért benchmarkokkal a nyárra, az AFM 3 Core Advanced modell várhatóan az év későbbi szakaszában válik elérhetővé az Apple eszközökön, beleértve az iPhone és a Mac modelleket.

Kapcsolódó: Chrome AI tárhely