85%-os megbízhatóság: Az AI-ügynökök újjáépítése

A vállalati AI-ügynökök termelésbe állításával a szervezetek egyre növekvő megbízhatósági problémával szembesülnek. Sok csapat fedezi fel, hogy a LLM-teljesítmény önmagában nem határozza meg az ügynökök sikerét. A hosszú távú AI-munkafolyamatoknak ellen kell állniuk a leállásoknak, meg kell őrizniük az állapotukat, helyre kell állniuk a hibákból, kezelniük kell a következtetési költségeket, és koordinálniuk kell az API-k, eszközök és vállalati rendszerek között.

Preeti Somal, a Temporal Technologies műszaki alelnöke szerint az első, gyors bevezetésre összpontosító hullám után a szervezeteknek most újra kell vizsgálniuk ezeket az első generációs implementációkat, és újratervezniük a korai ügynökarchitektúrákat a munkafolyamat-orchestráció, a megfigyelhetőség, a kormányzás és a helyreállítás köré. „Sok ügyfelünk van, akik ugyanannak az ügynöknek a 2.0-s verzióját építik” – mondta Somal. „Nagyon gyorsan kellett haladniuk, de nem törődtek a „plumbing”-gal. A dolgok összeomlanak, és akkor visszatérnek a megbízható alapokra való újjáépítéshez.”

Kapcsolódó: Vállalati AI akadályok

A munkafolyamat-orchestrációs Temporal számára a váltás szélesebb vállalati felisülést tükröz: a termelési AI-rendszerek tartós végrehajtást, állapotkezelést, a munkafolyamatokba való betekintést és a helyreállítási mechanizmusokat igényelnek, amikor a modellek vagy a downstream rendszerek meghibásodnak. Az ügynökrendszerek további összetettséget vezetnek be, mivel gyakran hosszú távú, több lépésből álló folyamatokat foglalnak magukban, amelyek több szolgáltatást, modellt, API-t és eszközt fednek le. Egyetlen munkafolyamat több nagy nyelvi modellt is hívhat, lekérdezési rendszerekhez férhet hozzá, külső alkalmazásokat indíthat el, és órákon vagy napokon keresztül kezelheti az állapotot.

Kapcsolódó: AI skálázás

A hibák utáni munkafolyamatok újraindítása megduplázhatja a következtetési költségeket, növelheti a késleltetést és rossz ügyfélélményt teremthet. Somal szerint a jelenlegi pillanat hasonlít a vállalati felhőbevezetés korábbi szakaszához, amikor a szervezetek közvetlenül a munkaterhelések migrálásához folyamodtak anélkül, hogy figyelembe vették volna az alapvető architektúrák újratervezésének szükségességét. „Ez a rohanás az AI megvalósítására egy olyan világban, ahol még nem modernizáltad az alkalmazásodat, egy kicsit emlékeztet a „lift-and-shift” folyamatra a felhőben” – mondta. „Mindenki rájött, hogy több pénzt költ a felhőre, és nem kaptunk értéket.”

Kapcsolódó: Azure megtakarítás

A megbízhatóság, a láthatóság és a tokenköltségek gazdaságtana A vállalati vezetők az AI ROI értékelésekor a költségek láthatósága egyre növekvő aggodalomra ad okot. A hosszú távú ügynökök gyakran több modellhívást tesznek bonyolult munkafolyamatokon keresztül, ami átláthatatlan kiadási mintákat hozhat létre. Somal szerint az orchestráció egyik működési előnye a költségek felhalmozódásának helyére vonatkozó láthatóság. Mivel a munkafolyamatok lépésről lépésre megfigyelhetők, a csapatok láthatják, hol fogyasztanak tokeneket egy ügynökfolyamatban. „Egyetlen üvegpanelem van az egész folyamatra” – mondta. „Most láthatod, hol költöd a tokeneket egy több lépésből álló ügynökben, amely több különböző rendszert hív meg.”

Kapcsolódó: AI-ügynökök káosza

A vállalati vezetőknek „pályákat” kell építeniük és partneri szakértelmet kell igénybe venniük. A kormányzási aggályok szintén feltörekvő mintázatot mutatnak, ahogy az ügynök AI teret hódít. Ahelyett, hogy teljesen felügyelt ügynökrendszereket vezetnének be, Somal szerint a vállalatok egyre inkább szabványosított belső keretrendszereket szeretnének, amelyek biztosítják a korlátokat, miközben megőrzik a rugalmasságot, és megvalósítják a szükséges funkciókat, mint például a kormányzási vezérlők, a modellválasztási szabályzatok, az identitásrendszerek, a költségkezelés és a megfigyelhetőség. „A vállalatok ezeket a „pályákat” építik” – mondta. „Valamit levenni a polcról talán nem fog működni, mert ott vannak ezek a követelmények.”

Kapcsolódó: Mesterséges intelligencia felhasználás