AI-költségcsökkentés hosszú távon romlást okozott

Egy mesterséges intelligenciával (AI) működő ügyfélszolgálati ügynök fejlesztői több mint 50%-kal csökkentették az AI-számítási költségeket egy új routing réteg bevezetésével. Nyolc hét kemény munka után úgy tűnt, elérték a célt, ám három hónappal később a felhasználói elégedettség csökkent, a lemorzsolódás (churn) pedig nőtt, mivel a minőségromlás strukturálisan kötődött a költségcsökkentéshez.

A költségcsökkentés mechanizmusa

A SaaS termék ügyfélszolgálati AI-ügynöke körülbelül 4 millió havi aktív felhasználót szolgált ki. Az ügynök egyetlen, legmagasabb szintű képességű modellel működött, amelynek havi számlája hat számjegyű volt. Az új routing réteg koncepciója tiszta volt: egy kis, 200 000 történelmi lekérdezésen betanított osztályozó modell „egyszerű” vagy „komplex” kategóriába sorolta a beérkező kéréseket. Az egyszerű kéréseket egy olcsóbb modell dolgozta fel, míg a komplexek a képzettebb modellhez kerültek. Az osztályozó modell finomhangolt encoder volt, amely kevesebb mint 30 milliszekundum alatt futott le, minimális többletköltséggel.

Kapcsolódó: AI költséghatékonyság

Az egyszerű kérések közé tartoztak az olyan gyakori problémák, mint a számlázási státusz, jelszó-visszaállítás vagy rendeléskövetés. A komplex kérések árnyaltabb, több lépéses érvelést igénylő ügyek, például vitás refundok vagy integrációs hibaelhárítás. Az arány nagyjából 65% egyszerű és 35% komplex kérés volt. A kiválasztott olcsóbb modell tokenenkénti költsége a képzettebb modell negyede volt. Az egyszerű esetek 94%-ában azonos válaszminőséget mutatott egy 5000 lekérdezéses tesztelés során, ami elfogadhatónak bizonyult a költségcsökkentés szempontjából.

Kapcsolódó: AI költségkorlátozás

A minőségromlás láthatatlan jelei

A probléma akkor kezdődött, amikor a minőségmérés nem vette figyelembe a különböző modellek eltérő teljesítményét. Az eredeti értékelési architektúra egyetlen modellre épült, és a minőségjelzőket napi emberi felülvizsgálat, heti offline tesztek és az ügyfél-visszajelzési widget adta. Az új rendszer bevezetésekor az emberi felürvizsgálat mintavételezése nem különítette el a kéréstípusokat, így a 65%-ban egyszerű kéréseket feldolgozó olcsóbb modell jó teljesítménye elfedte a komplexebb esetekben tapasztalt minőségromlást. Az offline tesztek is csak az elfogadási küszöböt mutatták, míg az in-product visszajelző widget aggregált adatai nem tudták megkülönböztetni a modellek által adott válaszokat.

Kapcsolódó: AI kiadások csökkentése

Négy hónappal a bevezetés után, mire a csapat megértette a problémát, a minőségromlás már jelentős hatással volt az ügyfélélményre. A csapat hibátlanul teljesített az egyes döntések szintjén, de a rendszerszintű megfigyelés hiánya vezetett a katasztrófához. A jövőbeli bevezetésekhez javasolt új architektúra figyelembe veszi a különböző modellek teljesítményét, és proaktívan kezeli a minőségromlás kockázatát. Az új architektúra a jövőben a modell-ködösség kezelésére épül, és a vállalat fejlesztési csapatának célja, hogy a modellváltás hatásait teljes körűen monitorozza.

Kapcsolódó: AI és hirdetési teljesítmény