Az OSGym 90%-kal olcsóbbá teszi az AI ügynökök képzését
A MIT, UIUC, CMU és UC Berkeley kutatói által fejlesztett OSGym keretrendszer egyidejűleg több mint ezer virtuális asztalt képes kezelni, naponta mindössze 23 centért.
A számítógépes AI-ügynökök, amelyek képesek alkalmazásokat megnyitni, gombokat kattintani és kódot írni, eddig rendkívül költségesen voltak betaníthatók. A probléma gyökere az infrastruktúrában rejlik: több száz, akár több ezer teljes operációs rendszer (OS) környezet párhuzamos futtatására van szükség, grafikus felhasználói felülettel együtt — írja a MarkTechPost.
Ezeknek a virtuális asztaloknak valódi szoftvereket kell futtatniuk, és kezelniük kell az előre nem látható összeomlásokat, mindezt olyan költséghatékonysággal, ami egy egyetemi kutatólabor számára is megfizethető. Az OSGym pontosan erre a kihívásra kínál megoldást, jelentősen csökkentve a képzési költségeket.
<Decentralizált állapotkezelés
Az OSGym egyik kulcsfontosságú újítása a decentralizált OS-állapotkezelés. Míg egy naiv megközelítés egyetlen központi menedzsert használna az összes replikához, ami a rendszer összeomlásához vezethet több ezer példány esetén, az OSGym minden OS-replikának saját dedikált állapotkezelőt biztosít. Minden állapotkezelő az OpenAI Gym API-hoz hasonló nyilvános metódusokat (reset, step, shutdown) tesz elérhetővé, miközben belsőleg kezeli a saját állapotfigyelését és a rendszerhibák utáni helyreállítást. Ez megakadályozza, hogy egy replika hibája az egész rendszert megbénítsa.
A rendszer hardver-tudatos OS replika-orkesztációt alkalmaz. Kisebb replika-szám esetén a CPU a szűk keresztmetszet, nagyobb K-értéknél azonban a RAM válik azzá. Az OSGym a Docker konténereket használja a teljes virtuális gépek helyett, csökkentve ezzel az egy replikára jutó erőforrás-felhasználást. Nagyobb RAM-kapacitású szerverek választásával és több replika futtatásával a napi költség drámaian csökken: 128 replika esetén 300 dollárról körülbelül 30 dollárra, ami replikánként 0,234 dollárt jelent naponta.
A lemez-ellátási problémát a reflink copy-on-write (CoW) fájlrendszer-technika oldja meg. Ez lehetővé teszi, hogy 128 virtuális gép példány ne igényeljen 128 különálló, 24 GB-os bootolható lemezt, hanem sokkal hatékonyabban kezelje a tárolást.