Új AI-ügynök csökkenti 73%-kal a késleltetést az edge AI-ban

A $E^3$-Agent nevű új AI-ügynök jelentősen, 65-73%-kal csökkenti az átlagos késleltetést az edge AI-ban. A rendszer képes alkalmazkodni a változó körülményekhez, mint a felhasználói események, háttérterhelés vagy az eszközök cseréje, így kiküszöböli a hagyományos, előre beállított rendszerek merevségét — írja az ArXiv ML.

A kutatók két fő részből álló architektúrát fejlesztettek ki: egy gyors útvonalválasztót, amely ezredmásodperces döntéseket hoz, és egy lassabb, eseményvezérelt meta-vezérlőt. Ez utóbbi egy LLM-alapú vezérlőfelületet használ a változások kezelésére, beleértve a kockázatkezelést, az útválasztó konfigurálását és a teljesítmény gyors kalibrálását.

A változások dinamikus kezelése

A $E^3$-Agent online tanulással alkalmazkodik a futtatási visszajelzésekhez, folyamatosan finomhangolva a szolgáltatási idők és a teljesítmény közötti, korábban ismeretlen kapcsolatokat. A rendszer képes kezelni a hidegindítási felmelegedést és a dinamikus terhelési forgatókönyveket, beleértve a szemantikai változásokat, az eszközök eltűnését és a rejtett sodródást.

Erőforrás-kezelés az edge AI-ban

Az értékelés során a $E^3$-Agent 7-10%-kal maradt el egy ideális, minden információval rendelkező Oracle-értékeléstől, miközben hatékonyan csökkentette a szaggatási arányt a szemantikai degradáció alatt. A modell célja, hogy rugalmas és költséghatékony erőforrás-kezelést biztosítson az edge AI-alkalmazások számára, mint például a Google Edge AI platformon 2024. március 15-én megjelent szoftverfrissítésben.