Új AI-router önmagát optimalizálja, 2.6-szor olcsóbban dolgozik

Az új Agent-as-a-Router keretrendszer dinamikusan küldi a kéréseket a megfelelő AI-modellhez, optimalizálva a sebességet és a költségeket. A kutatók szerint ez a megközelítés jelentős teljesítmény- és költségelőnyt mutat a statikus routerekkel szemben, anélkül, hogy hatalmas modelleket kellene betanítani vagy rengeteg szabályt írni — írja a VentureBeat.

A statikus routerek fő problémája az információs hiány. Ezek a rendszerek csak a bemeneti szöveget vizsgálják, de nem látják, hogy a modell sikeresen végrehajtotta-e a feladatot. Ezért vakon tippelnek az éles helyzetekben, ami háromféle hibalehetőséget eredményez: nem tudnak új végrehajtási visszajelzéseket gyűjteni, nehezen alkalmazkodnak az új adatokhoz vagy felhasználói viselkedéshez, és sérülékenyek a modellfrissítésekkel szemben.

Kapcsolódó: OpenRouter Fusion API

Az Agent-as-a-Router lényege, hogy a router egy dinamikus, memóriával rendelkező ügynökként működik. A Context-Action-Feedback (C-A-F) ciklus segítségével követi a modell sikereit és kudarcait, majd ezek alapján frissíti a saját működését. Amikor egy új kérés érkezik, a router megvizsgálja a kérést és a feladat metaadatait, majd a korábbi hasonló feladatokból szerzett tapasztalatai alapján kiválasztja a célmodellt. Végül megfigyeli a valós eredményt, és ezt visszajelzésként naplózza a jövőbeli döntésekhez.

Kapcsolódó: Alibaba AI-ügynökök

A kutatók kifejlesztették az ACRouter nevű konkrét implementációt, amely három fő részből áll: Orchestrator (szervező), Verifier (ellenőrző) és Memory (memória). A Memory modul a vektoros tároló segítségével tárolja és kéri le a releváns múltbeli interakciókat. Az Orchestrator feldolgozza a felhasználói kérést és a lekérdezett memóriát, hogy kiválassza a legalkalmasabb modellt. A Verifier értékeli a kiválasztott modell kimenetét, és sikeres vagy sikertelen jelzést generál. Ezt a jelzést a rendszer a valós végrehajtási környezetben (például Python kódértelmezőben) figyeli meg.

Kapcsolódó: Cisco FAPO rendszer

Az ACRoutert a CodeRouterBench nevű tesztkörnyezetben vizsgálták, amely mintegy 10 000 feladatot tartalmazott nyolc különböző csúcskategóriás modell (például Claude Opus 4.8, GPT-5.5) részvételével. A tesztek kimutatták, hogy egyetlen modell nem dominál minden kategóriában. Például, míg a Claude Opus 4.8 átlagosan a legjobb teljesítményt nyújtotta, az algoritmustervezésben a GLM-5, a tesztgenerálásban pedig a Qwen3-Max múlta felül. Az ACRouter a tesztek során 2.6-szor alacsonyabb költséget ért el az Opus-only konfigurációhoz képest, miközben a teljesítménye is kiemelkedő maradt.

Kapcsolódó: nyílt forráskódú AI-router

Az ACRouter a kutatók mérései szerint az ár/teljesítmény Pareto-határán helyezkedik el. Az in-distribution és az out-of-distribution teszteken egyaránt alacsonyabb volt a kumulatív hibája, ami a hosszú távú, szuboptimális útválasztási döntések számát méri. A kutatók becslései szerint az ACRouter 13.21 dolláros költséggel futott le minden feladaton, szemben a folyamatosan legdrágább modelleket használó stratégiák 34.02 dolláros költségével.

Kapcsolódó: Stanford DeLM