Helyi AI-ügynökök: energiafaló működésüket korai leállítással fékeznék meg
A nagyméretű nyelvi modelleken (LLM) alapuló autonóm ügynökök egyre több összetett feladatot automatizálnak, de helyi futtatásuk jelentős energiaigénnyel jár.
Jelentősen megnövelik a GPU-k energiafelvételét, hőmérsékletét és az akkumulátorok merülését a helyi eszközökön futó AI-ügynökök — derül ki egy friss kutatásból, amelyet az arXiv-en tettek közzé előnyomtatott formában.
A LLM-alapú ügynökök, amelyek képesek több lépésben, komplex feladatokat, például kódolást vagy webes kérdésmegválaszolást végezni, egyre népszerűbbek. Míg a felhőalapú megoldások skálázhatóságot és egyszerű telepítést kínálnak, adatvédelmi aggályokat vetnek fel, hálózati kapcsolattól függenek és folyamatos API-költségeket generálnak.
A számítási kapacitás határai
Az ügynöki munkafolyamatok sokkal erőforrás-igényesebbek, mint a tipikus LLM-interakciók. Az iteratív érvelés, az eszközhasználat és a sikertelen próbálkozások újraindítása jelentősen megnöveli a tokenfogyasztást, gyakran jelentős számítási kapacitást emésztve fel anélkül, hogy a feladatok sikeresen befejeződnének.
Energiahatékonyság a célkeresztben
A mérések egyértelműen kimutatják, hogy az ügynöki végrehajtás növeli a GPU energiafelvételét, a hőmérsékletet és az akkumulátor merülését. A kutatók célja, hogy olyan módszereket dolgozzanak ki, amelyekkel a feladatok korai leállításával csökkenthető ez az energiafogyasztás, javítva ezzel az AI-alkalmazások fenntarthatóságát a mindennapi eszközökön. Az arXiv:2605.15206v1 azonosítóval elérhető tanulmány részletesen bemutatja az eredményeket és a javasolt megoldásokat, 2024. január elsejéig elérhető az arXiv oldalán.