LLM-desztilláció teljes energiaigényét méri a ComRAM — új mérési módszerrel
A kutatók részletes, szakaszokra bontott GPU-energiafogyasztás-követéssel vizsgálták a logit-alapú tudásdesztilláció és a szintetikus adatokkal történő finomhangolás energia- és kibocsátási adatait.
A nagy nyelvi modellek (LLM) terjedése jelentősen megnövelte a GPU-keresletet és az adatközpontok méretét, ami aggályokat vet fel az áramfogyasztással és a hálózati terheléssel kapcsolatban. A desztillációt gyakran a leghatékonyabb módszerként reklámozzák olcsóbb, hatékonyabb modellek létrehozására, ám ezek az állítások ritkán veszik figyelembe a teljes, végponttól végpontig tartó energia- és erőforrásköltségeket — írja az arXiv-on megjelent tanulmány.
A kutatás szerint a desztilláció során felmerülő rejtett költségek közé tartoznak a tanítómodell oldali feladatok, mint az adatok generálása, a logitek gyorsítótárazása és az értékelés. A tanulmány egy átfogó energiaelszámolási rendszert mutat be, amely a desztillációs folyamatok teljes számítási költségét méri a GPU-eszközök energiafogyasztásának részletes, szakaszos nyomon követésével.
A számítási költségek feltárása
A mérések és elemzések alapján gyakorlati tervezési szabályokat dolgoztak ki a desztillációs módszerek és hiperparaméterek kiválasztására energia- és költségkeretek között. A kutatók egy nyílt forráskódú mérőeszközt és elszámolási protokollt is kiadtak, amely szabványos alapot biztosít a hasonló, reprodukálható desztillációs kutatásokhoz, explicit módon elszámolva a teljes folyamat energiahatását.
A kutatás eredményei és következményei
A tanulmányt Katherine Lambert és egy másik szerző jegyzi, és 2026. május 13-án publikálták a ComRAM új mérési módszerét használva, amely a teljes energiaigény mérésére alkalmas.