LiteLLM Agent Platform: Kubernetes-alapú, önálló ügynök-homokozókat indít a BerriAI
A BerriAI, a LiteLLM AI Gateway mögött álló cég, május 8-án tette nyílt forráskódúvá a LiteLLM Agent Platformot, amely megoldást kínál az AI-ügynökök megbízható, produkciós környezetben történő futtatására.
Önállóan hosztolható infrastruktúra-platformot adott ki a BerriAI, a LiteLLM Agent Platformot, amely a produkciós környezetben futó AI-ügynökök elszigetelt futtatását és a munkamenetek folyamatos kezelését teszi lehetővé — írja a MarkTechPost.
Az AI-ügynökök skálázása egyetlen folyamaton túl komoly kihívásokat rejt, mivel az AI-ügynökök állapotfüggők, azaz megőrzik a munkamenet-előzményeket, az eszközhívások eredményeit és a köztes gondolkodási lépéseket.
A szilárd alapok építése
A LiteLLM Agent Platform két fő problémát old meg: csapatonkénti és kontextusonkénti homokozókat biztosít, valamint garantálja a munkamenet folytonosságát a podok újraindítása és frissítése során. A rendszer egy önálló Next.js irányítópultot használ, amely a LiteLLM v2 által kezelt ügynökök munkamenet-csevegését, ügynök CRUD műveleteit és élő állapotát fedi le.
A technológiai hátter
A homokozó réteg – az elszigetelt futásidejű környezet, ahol az ügynökök ténylegesen futnak – Kubernetesen keresztül működik, a kubernetes-sigs/agent-sandbox CRD (Custom Resource Definition) segítségével. A platform tartalmaz egy 'harness' rendszert is, amely a kódoló ügynökök, például a Claude Code vagy az OpenAI Codex, izolált homokozókban történő futtatásának konfigurációját tartalmazza.
A BerriAI a platformot május 8-án tette nyílt forráskódúvá, MIT licenc alatt, és a LiteLLM Agent Platform már elérhető a fejlesztők számára a GitHubon, ahol a kód alapvetően TypeScript nyelven íródott, Dockerfile-t használ a konténerizációhoz, és Postgres adatbázist a perzisztens tároláshoz.