Az A-LEMS öt rétegű folyamat‑jával mérik az energiafelhasználást célonként
Az új mérőszám lehetővé teszi, hogy a több lépéses AI feladatok energiaigényét a sikeres célok alapján számolják.
Csak egy modell‑hívás vagy tréning futtatás energiafelhasználását mérik a jelenlegi teljesítménytesztek, ami a klasszikus egylépéses munkafolyamatokra van optimalizálva — írja az arXiv.
A mélytanulás energiaigényének új dimenziója
Az ügynök AI rendszerek egy felhasználói cél eléréséhez több hívást, eszköz‑interakciót és esetleges újrapróbálkozást igényelnek, ezért az invokációszám inkább implementációs artefaktus, nem feladattulajdonság. Úgy tűnik, a jelenlegi mérőszámok félrevezető képet adnak a valós energiaigényről.
A célzott energiafelhasználás mérése
Az A-LEMS (Agentic LLM Energy Measurement System) az energia‑számlálást a 'Energy per Successful Goal' (EpG) egységre cseréli, amely a teljes munkafolyamat energiafelhasználását összegzi, beleértve a sikertelen próbálkozásokat is, majd a sikeresen befejezett célok számával normalizálja. A szerzők szerint ez a megközelítés pontosabban tükrözi a tényleges energiafelhasználást.
Az A-LEMS öt rétegű folyamat‑ja RAPL‑jelek alapján gyűjti az energiaadatokat, ami 2024-ben a cél‑szintű energiajelentések alapjául szolgálhat az IBM és a Google által fejlesztett AI rendszerekben.