Ingyenes, nyílt forráskódú AI-router dönt a helyi és felhőbeli modellek között

A Wayfinder Router egy új, ingyenes és nyílt forráskódú eszköz, amely determinisztikusan képes eldönteni, hogy egy felhasználói utasítást helyi, kisebb AI-modellhez vagy egy nagyobb, felhőalapú szolgáltatáshoz kell-e irányítani. A döntés offline történik, így nem jár extra költséggel vagy késleltetéssel, és a router nem hív meg más modelleket a feladat elvégzéséhez.

Strukturális és szöveges elemzés

A rendszer az utasítások szerkezetét – mint a hossz, címsorok, listák vagy kód – és a szöveges jeleket – például bizonyításokat, matematikai kifejezéseket vagy szigorú korlátokat – elemzi. Alapértelmezésben csak a struktúra alapján ad pontszámot, de opcionálisan figyelembe vehet lexikális jeleket is. A felhasználók saját adatokkal kalibrálhatják a súlyokat, így a döntés a saját forgalomra optimalizálható. A Wayfinder Router célja, hogy a költséghatékony promptokat helyben tartsa, míg a komplexebbeket a drágább, nagyobb modellekhez irányítsa, ezzel csökkentve a kiadásokat.

Kapcsolódó: GitHub LLM workshop

Különbségek más megoldásokkal szemben

A Wayfinder Router megkülönbözteti magát más routerektől, mivel nem támaszkodik modellhívásokra a döntéshozatalhoz. Ezzel szemben olyan megoldások, mint a RouteLLM, egy képzett osztályozót vagy LLM-bírót használnak, míg az OpenRouter vagy a Bifrost/LiteLLM inkább szolgáltatói átjáróként funkcionálnak. A Wayfinder a prompt nehézségét határozza meg, és a döntés ingyenes és konzisztens. A lexikális kiegészítő funkció alapértelmezetten ki van kapcsolva, mivel egy teszt alapján nem mindig általánosítható, és csak körülbelül 20%-kal növeli az új, nehéz utasítások felismerését.

Kapcsolódó: OpenRouter Fusion API

A rendszer teljesítménye a semantikus nehézségeken korlátozott, és bizonyos esetekben véletlenszerű eredményeket adhat. A teljesítménytesztek azonban rávilágítanak arra, hogy a Wayfinder determinisztikus, szub-milliszekundumos, offline döntést kínál, ami nincs hatással a költségekre. A Wayfinder Routert a GitHubon 11 fork és 204 csillag jelzi, és a Hacker Newson 100 pontot és 49 kommentet kapott.

Kapcsolódó: Perplexity Deep Research

A Wayfinder Routert terminálban vagy böngészőben is kipróbálhatják a felhasználók. A terminálos chat alaptelepítés része, míg a webes felület a `pip install "wayfinder-router[gateway]"` paranccsal érhető el. A rendszer OpenAI-kompatibilis API-kkal működik, beleértve a Groq, Together, OpenRouter, Fireworks, DeepSeek és helyi szervereket is. A konfiguráció `wayfinder-router.toml` fájlon keresztül történik, amelyben a felhasználó megadhatja a helyi és felhős modellek elérési útvonalát és API-kulcsait.

Kapcsolódó: OpenAI strukturált válaszok