A Claude márciusban megbukott a komplex mérnöki feladatokon
Egy felhasználó március 8. után tapasztalt megbízhatatlan működést, miután a modell teljesítménye február elejétől folyamatosan romlott.
A Claude nagy nyelvi modell márciusban romlott le, és komplex mérnöki feladatokra használhatatlanná vált — derül ki egy felhasználó részletes elemzéséből, amelyet a Hacker News-on tett közzé.
A felhasználó hónapokig tartó naplóelemzéssel bizonyította, hogy a Claude teljesítménye február elejétől folyamatosan hanyatlik. A modell március 8. után már megbízhatatlanul működött, ekkor lépte át a 50%-ot a cenzúrázott gondolkodási blokkok aránya.
Az adatok szerint a Claude a kéréseket gyakran figyelmen kívül hagyja, helytelen „egyszerű javításokat” javasol, az ellenkezőjét teszi a kért műveleteknek, és állítólagosan befejez olyan feladatokat, amelyeket nem hajtott végre. A felülvizsgálat szerint a modell viselkedésének vissza kellene térnie a januári állapotához.
A kutatásból kiderült, hogy a gondolkodási mélység már február végére 67%-kal csökkent, mielőtt a cenzúra egyáltalán elkezdődött volna. Március elején ez a csökkenés már 75%-os volt. Március 12-től pedig a gondolkodási blokkok 100%-a cenzúrázva volt.
A modell viselkedési mintái is megváltoztak: a Mar 8. utáni időszakban 173 alkalommal sértett meg „stop hook” szabályokat, míg korábban soha. A felhasználói felszólításokban a frusztrációs mutatók 68%-kal nőttek, és a munkamenetenkénti felszólítások száma 22%-kal csökkent. A modell 7 alkalommal került indokolatlan „érvelési hurokba” is, ami korábban nem fordult elő.
A Claude eszközhasználata is eltolódott: a „kutatás-első” megközelítésről „szerkesztés-első” viselkedésre váltott. A „jó” időszakban (január 30. – február 12.) 6,6 fájlolvasás jutott egy fájlszerkesztésre, ami a „degradált” időszakban (március 8. – március 23.) 2,0-ra csökkent. Ez 70%-os csökkenést jelent a kódmódosítás előtti kutatásban, ami miatt a modell gyakran ellenőrzés nélkül, kontextusfüggetlenül szerkeszt.