A Claude Sonnet 4.5-ös frissítés meghibásodott, visszaálltak a 4.0-ra

Egy cég AI-rendszere, amely természetes nyelvi kéréseket alakított át API-hívásokká, váratlan problémákkal szembesült a Claude Sonnet 4.5-ös verziójára való frissítés után. A korábbi verziók, a Sonnet 3.5, 3.7 és 4.0 stabilan működtek, ám az új kiadás hibákat generált a rendszerben.

A rendszer eredetileg arra volt hivatott, hogy bonyolult adatkéréseket, például riportok összeállítását egyszerűsítse a felhasználók számára. A kéréseket egy JSON-objektummá alakította, amely tartalmazta a leírást, az API-hívást és a szükséges paramétereket (post_body). A frissítés után azonban a modell hajlamos volt a post_body tartalmát belefoglalni a leírás mezőbe, ami azt eredményezte, hogy a szűrési paraméterek nem jutottak el az API-hoz.

Kapcsolódó: Claude modell

A modell hibás viselkedése

A másik jelentős hiba a volt, hogy a Sonnet 4.5-ös verzió néha magyarázó kérdéseket tett fel a válaszában, ahelyett, hogy egy strukturált objektumot adott volna vissza. Ez új viselkedés volt, mivel a korábbi verziók mindig megpróbálták a legjobb tudásuk szerint teljesíteni a kérést.

Kapcsolódó: Economist weboldal

A hibák elemzése és a megoldás

A hibák elemzése során kiderült, hogy a prompt eredetileg is alul volt specifikálva. Bár a modell utasítást kapott egy JSON-objektum visszaadására, nem volt explicit kikötés arra, hogy a leírás mező nem tartalmazhatja más mezők szerializált reprezentációját. A csapat az értékelő tesztek (evals) rendszerére támaszkodik, amelyeket a prompt formális specifikációjának tekintenek. A Sonnet 4.0-ra való visszalépés után a tesztek futtatása volt a legfontosabb lépés a rendszer stabilitásának helyreállításában, és a fejlesztők a Claude Sonnet 4.0 verzióval folytatják a munkát.

Kapcsolódó: Claude Code frissítés