100 Claude-ügynök párhuzamos tesztelése: így fejleszti önmagát az Imbue
Az Imbue fejlesztői 100 Claude-ügynököt használnak a mngr rendszerük tesztelésére és fejlesztésére, amelynek keretében a tesztek automatikus létrehozását és finomhangolását végzik.
A fejlesztők egy tutorial scripttel kezdik, amely blokkokra bontott parancsokat tartalmaz. Minden blokkhoz hozzárendelnek egy vagy több pytest függvényt, amelyeket az ügynökök futtatnak, hibákat javítanak és fejlesztenek. A folyamat végén az ügynökök eredményeit integrálják.
A tesztelési folyamatban a Claude-ügynököknek különböző feladatokat adnak, mint például a tutorial scriptek átalakítása pytest függvényekké. Az ügynököknek meg kell határozniuk, hogy melyik tutorial blokkhoz tartozik a függvény, és ezt egy speciális API-n keresztül jelzik.
A tesztkörnyezet felépítése
Az Imbue egy saját fejlesztésű tesztkörnyezetet használ, amely a Python subprocess modulján alapul. A tesztfüggvények egyszerűek és könnyen olvashatóak, és a subprocess modul segítségével a fejlesztők könnyen futtathatják a parancsokat és ellenőrizhetik a kimenetet.
A hiányzó láncszem
A tesztkörnyezetben az ügynökök egy-egy tesztfüggvényen dolgoznak, amelyekhez a fejlesztők inicializáló promptokat adnak. A tesztek eredményeit az ügynökök JSON fájlokban tárolják, amelyeket a fejlesztők később integrálnak.
Az Imbue a mngr rendszer fejlesztését 2024-ben kezdte meg, és azóta folyamatosan bővíti a Claude-ügynökök számát a rendszer tesztelésére és fejlesztésére.