A LangSmith Engine automatizálja az AI-ügynökök hibakeresését – a LangChain új eszköze

A LangChain LangSmith nevű megfigyelő és értékelő platformja egy új funkcióval bővült, amely jelentősen felgyorsíthatja az AI-ügynökök fejlesztését. A LangSmith Engine automatizálja a teljes láncot a gyártási hibák észlelésével, a gyökérokok diagnosztizálásával az élő kódbázis ellen, javítás tervezésével és a regresszió megelőzésével – írja a VentureBeat.

A rendszer egyetlen automatizált lépésben végzi el a feladatokat, minimálisra csökkentve az emberi beavatkozást. Az AI-mérnökök így gyorsabban tudják kezelni a problémákat, ami kulcsfontosságú a komplex ügynökök fejlesztésénél. A LangSmith Engine figyeli a termelési nyomkövetéseket több jeltípusra, mint például „explicit hibák, online értékelő hibák, nyomkövetési anomáliák, negatív felhasználói visszajelzések és szokatlan viselkedések, mint például a felhasználó olyan kérdéseket tesz fel, amelyekre az ügynököt nem építették” – áll a LangChain blogbejegyzésében.

A hibakeresés folyamata: egy új dimenzió

Az Engine ezután beolvassa az élő kódbázist, megtalálja a hiba okát, pull requestet készít, majd javaslatot tesz egy egyedi értékelőre az adott hibamintázathoz. Emberi beavatkozásra csak a jóváhagyási lépésnél van szükség. Ez a megközelítés eltér más megfigyelési eszközöktől, mint például a Weights & Biases, az Arize Phoenix és a Honeyhive, amelyek nem automatizálják a teljes láncot.

A piac kihívásai és lehetőségei

Azonban a LangSmith Engine egy zsúfolt piacon indul, ahol az Anthropic, az OpenAI és a Google is integrálja a megfigyelési és értékelési eszközöket saját platformjaiba. Például az Anthropic Claude Managed Agents és az OpenAI Frontier is hasonló, végponttól végpontig tartó platformokat kínál az ügynökök építésére és értékelésére.

Leigh Coney, a Workwise Solutions alapítója szerint a harmadik féltől származó megfigyelés alapértelmezett sok vállalatnál, mivel a különböző modellek (például Claude és GPT) közötti kommunikáció hiánya megakadályozza az egységes auditálást. A LangSmith Engine már nyilvános béta verzióban elérhető a fejlesztők számára, 2024. március elsejétől.