Új eszköz a hibák korai felismerésére: a CC-Canary a Claude Code regresszióit detekálja
A delta-hq által fejlesztett CC-Canary egy nyílt forráskódú eszköz, amely a Claude Code helyi munkamenet-naplóit elemzi a teljesítményromlás (drift) észlelésére.
A CC-Canary nevű új eszköz képes felderíteni, ha a Claude Code mesterséges intelligencia modell teljesítménye romlik a felhasználó saját munkájában — írja a GitHubon a delta-hq.
Az alkalmazás teljesen offline működik, nem igényel hálózati kapcsolatot, fiókot vagy telemetriát. A már meglévő JSONL munkamenet-naplókat olvassa a felhasználó lemezéről, és részletes, megosztható forenzikus jelentéseket készít. Ezek a jelentések tartalmaznak egy ítéletet (HOLDING, SUSPECTED REGRESSION, CONFIRMED REGRESSION, INCONCLUSIVE), főbb metrikákat, heti trendeket, verziók közötti összehasonlítást és automatikusan észlelt fordulópont dátumát.
A jelentésekben a modell viselkedésének kulcsfontosságú metrikái szerepelnek, mint például a Read:Edit arány, a szerkesztések írási aránya, a gondolkodási ciklusok száma, a frusztrációs ráta és a tokenek száma felhasználói fordulónként. Az eszköz két telepíthető ügynökségi képességként érhető el a Claude Code felhasználók számára, és Python 3.8 vagy újabb verziót, valamint macOS, Linux vagy WSL környezetet igényel.
Jelenleg az eszköz 0.x / pre-alpha státuszban van, ami azt jelenti, hogy a kimeneti formátum és a metrikák köre még változhat. A CC-Canary a ~/.claude/projects/ mappában tárolt JSONL fájlokat vizsgálja, és a jelentésekben szereplő narratív szöveget maga a Claude Code generálja a felhasználó munkamenete során.