Webes AI-ügynökök sebességét növeli a Skim spekulatív végrehajtási rendszer
A rendszer a weboldalak stabil URL-mintáit és válaszformátumait használja ki, így a legtöbb lekérdezésnél elkerülhető a költséges modell-inferencia és böngésző-renderelés.
Új spekulatív végrehajtási keretrendszert fejlesztettek ki webes AI-ügynökök számára Skim néven — derül ki egy friss tanulmányból, mely az arXiv preprint szerveren jelent meg.
A Skim a célzott weboldalak kiszámítható struktúráját aknázza ki, ezzel növelve az ügynökök hatékonyságát. Jelenleg a webes AI-ügynökök működése azért drága, mert minden lépésnél, bonyolultságtól függetlenül, élvonalbeli modell-inferenciát, böngésző-renderelést és ReAct-stílusú tervezést alkalmaznak.
A Skim kulcsfontosságú megfigyelése, hogy a weboldalak stabil URL-mintákat, válaszformátumokat és feladat-útvonal leképezéseket kényszerítenek ki az azonos típusú lekérdezések során. Ezért a legtöbb lekérdezés teljesen megkerülheti ezeket a nagy számítási igényű komponenseket.
A Skim működésének fő tengelye
A rendszer egy offline profilozóval egyszer rögzíti ezeket a mintákat webhelyenként. Futásidőben a Skim minden lekérdezést egy sablonhoz illeszt, szintetizálja a cél URL-t, és egy kis modellel vonja ki a választ. Egy könnyű ellenőrző modul szűri a gyorsított útvonal kimenetét a lekérdezés és a séma alapján.
A hatékonyság növelése
Ritka esetben, ha a spekuláció tévesnek bizonyul, a feladat visszakerül a teljes ügynökhöz, amelyet a gyorsított útvonal utolsó URL-je melegindít, megőrizve a korábbi állapotot. A Skim fejlesztői 2024 márciusában tervezik a rendszer további tesztelését a Google Chrome böngészőn.