Ellenállóbbá teszi az AI-képzést a Google DeepMind új Decoupled DiLoCo architektúrája
Az új megközelítés a képzési feladatokat „számítási szigetekre” osztja, aszinkron adatfolyamot használva, ami elszigeteli a helyi hibákat és növeli a rendszer rugalmasságát.
A nagyméretű nyelvi modellek (LLM-ek) képzését távoli adatközpontok között, alacsonyabb sávszélességgel és nagyobb hardveres ellenállással teszi lehetővé a Google DeepMind új Decoupled DiLoCo architektúrája — közölte a Google DeepMind.
A hagyományos AI-modellképzés szorosan összekapcsolt rendszerekre támaszkodik, ahol az azonos chipeknek szinte tökéletes szinkronban kell maradniuk. Ez a megközelítés hatékony, de a jövőbeli, egyre nagyobb modellek esetében a szinkronizáció fenntartása több ezer chip között jelentős logisztikai kihívást jelent.
A számítási szigetek új korszaka
A Decoupled DiLoCo úgy oldja meg ezt a problémát, hogy a nagyméretű képzési feladatokat „számítási szigetekre” osztja, amelyek között aszinkron adatfolyam biztosítja a kommunikációt. Ez a módszer elszigeteli a helyi zavarokat, így a rendszer többi része hatékonyan folytathatja a tanulást.
A Decoupled DiLoCo nem szenved olyan kommunikációs késedelmeket, amelyek a korábbi elosztott módszereket, mint a Data-Parallel, globális léptékben kivitelezhetetlenné tették – a DiLoCo csapat szerint.
Rugalmasság és ellenállás
Az infrastruktúra öngyógyító, mesterséges hardverhibák bevezetésekor is folytatta a képzést, majd zökkenőmentesen visszaillesztette az újra online egységeket. A Gemma 4 modellekkel végzett tesztelés során a Decoupled DiLoCo nagyobb rendelkezésre állást biztosított, mint a hagyományos képzési módszerek, miközben ugyanazt a gépi tanulási (ML) teljesítményt nyújtotta.
A csapat sikeresen képzett egy 12 milliárd paraméteres modellt négy különálló amerikai régióban, 2-5 Gbps WAN-kapcsolatot használva, ami a meglévő internet-kapcsolatokkal is elérhető. A Google DeepMind csapata Arthur Douillard vezetésével dolgozott a Decoupled DiLoCo fejlesztésén, és a modell 2024. április 15-én került bemutatásra.