Takarékosabbá tehető a GPT-4 betanítása: 14%-os energiamegtakarítás érhető el
A GPU-k órajelet és feszültséget dinamikusan szabályozó technikával akár 14%-kal csökkenthető a nagy nyelvi modellek, például a GPT-4 betanításához szükséges energia, miközben a számítási sebesség szinte változatlan marad.
A nagy nyelvi modellek (LLM) képzése rendkívül energiaigényes. A GPT-4 betanítása becslések szerint 50 Gigawattórát emésztett fel, ami 5000 amerikai otthon éves fogyasztásának felel meg.
A kutatás vezető szerzője, Jeffrey Spaan szerint a céljuk a számítási pazarlás megtalálása és kiküszöbölése. Módszerük a dinamikus feszültség- és frekvenciaskálázáson (DVFS) alapul, amely a chip órajelének szabályozásával csökkenti az energiafogyasztást.
Kapcsolódó: LLM-desztilláció
A DVFS módszer
Míg a modern GPU-kban két órajel működik — az egyik a számítási magot, a másik a memóriát vezérli —, addig a DVFS lehetővé teszi, hogy ezeket az igényeknek megfelelően módosítsák. Korábbi próbálkozásokkal ellentétben, amelyek az egész képzési iterációra vagy csak a főbb fázisokra (forward pass, backpropagation) alkalmazták a frekvenciabeállítást, Spaan és csapata a GPU-munkafolyamatot alkotó kisebb egységekre, az úgynevezett kernel-ekre bontotta a beállítást.
Kapcsolódó: LLM betanítás
Eredmények és fejlesztés
Az eredmények szerint a GPT-3-xl modell egy rétegének képzése során 14%-os energiamegtakarítást értek el mindössze 0,6%-os sebességcsökkenés mellett. A kutatók jelenleg egy olyan eszközt fejlesztenek, amely automatikusan képes optimalizálni a frekvenciabeállításokat a különböző munkaterheltekhez, például a Blackwell architektúra esetében.
Kapcsolódó: LLM általánosítás