Stanford és Lambda Labs: Lokális AI-ügynökök 3.2%-kal maradnak el a felhőtől

A Stanford Egyetem és a Lambda Labs kutatói bemutatták az OpenJarvis nyílt forráskódú keretrendszert, amely lehetővé teszi AI-ügynökök, memóriafunkciók és tanulási képességek teljes egészében helyi gépen történő futtatását. A helyi modellek az OpenJarvis konfigurációjával átlagosan 3.2 százalékponttal maradnak el a legjobb felhőalapú modellek teljesítményétől, miközben lekérési API-költségük nagyjából 800-szor alacsonyabb, és a tesztek alapján nagyjából 4-szeres sebességnövekedést mutatnak.

Az OpenJarvis nem egyetlen modell, hanem egy olyan keretrendszer, amely bármely támogatott modellt egy konfigurálható ügynöksztókkal kombinál. Ez a megközelítés jelentősen csökkenti a működési költségeket és a válaszidőt, ami korábbi tanulmányok szerint már most is lehetővé teszi a helyi modellek számára, hogy a legtöbb egyszavas csevegési és elemzési feladatot interaktív sebességgel kezeljék.

Kapcsolódó: OpenTools teljesítmény

A lokális intelligencia építőkövei

Az OpenJarvis öt típusú, egymással felcserélhető primitívre bontja a személyi AI rendszert, amelyeket egyetlen deklaratív konfigurációs objektum, egy specifikáció kezel. Ezek az elemek: az intelligencia (modell, súlyok, generálási paraméterek), az engine (inferencia futtatókörnyezet, például Ollama vagy vLLM), az ügynökök (gondolkodási ciklus, rendszerüzenetek), az eszközök és memória (külső interfészek, adatkapcsolatok, memóriabackendek), valamint a tanulás (specifikációt frissítő optimalizáló). A specifikáció TOML fájlba szerializálódik, így egy Mac Mini és egy munkaállomás eltérő hardverén is futtathatók azonos viselkedésű ügynökök.

Kapcsolódó: AI-ügynökök fejlesztése

Intelligens specifikációkeresés a felhőben

A kutatás másik fontos hozzájárulása az LLM-vezérelt specifikációkeresés, amely helyi és felhőalapú együttműködést tesz lehetővé. Egy felhőbeli tanár modell diagnosztizálja a hibákat és javasol módosításokat a specifikációban, amelyeket csak akkor fogadnak el, ha azok nem okoznak jelentős regressziót. Ez a módszer a korábbi, csak egyetlen primitívet optimalizáló technikákkal szemben, akár 13–32 százalékponttal javítja a felhő és a helyi modellek közötti szakadékot, miközben az optimalizálási költség is jóval alacsonyabb.

Kapcsolódó: AI képzés költségei

Az OpenJarvis-t 8 teljesítményteszten és 508 feladaton tesztelték, beleértve a szerszámhívást, ügynöki munkafolyamatokat, kódolást és ügyfélszolgálatot. A tesztek kimutatták, hogy a Qwen3.5-122B helyi modell 80.3%-os átlagos pontossággal működik, mindössze 3.2%-os lemaradással a Claude Opus 4.6 felhőmodell 83.5%-os teljesítményéhez képest. A helyi konfigurációk 4 teljesítményteszten megegyeztek vagy meghaladták a felhőalapú rendszerek teljesítményét.

Kapcsolódó: Lokális AI adatelemzés

A keretrendszer telepítése egyetlen paranccsal történik, és körülbelül 3 percet vesz igénybe. Az OpenJarvis nyolc beépített ügynökkel érkezik, amelyek képesek csatlakozni több mint 25 adatforráshoz, például Gmailhez, Notionhoz vagy Slackhez, és több mint 32 üzenetcsatornán keresztül kommunikálni. A kutatók szerint az OpenJarvis keretrendszer a 2026. május 16-án publikált arXiv:2605.17172 tanulmányban került részletezésre, amelyben a Qwen3.5-122B modell 80.3%-os átlagos pontosságot ért el.

Kapcsolódó: Nyílt forráskódú TencentDB