Anthropic nyomdokain: megjelent a nanocode, a 200 dolláros Claude Code-alternatíva

A nanocode modell legfontosabb jellemzője, hogy mindössze 9 óra alatt betanítható egy TPU v6e-8-en, ami 200 dollárba kerül — írja a Hacker News.

A modell kifejlesztését salmanmohammadi kezdte el, aki az Anthropic által használt Constitutional AI megközelítést követte. A nanocode egy JAX-ban írt könyvtár, amely lehetővé teszi a felhasználók számára, hogy saját Claude Code modellt tanítsanak be végponttól-végig.

A kódolás mélyvízében

A nanocode modell a nanochat projektből merített ihletet, de a kódolásra specializálódott. A modell betanítása során a kódolásra vonatkozó adatokat használják fel, amelyek a The Stack-V2 adathalmazból származnak. A tesztek során kiderült, hogy a nanocode modell jobb teljesítményt nyújt a kódolásban, mint a nanochat, de általános szövegfeladatokban gyengébb.

Kódolás és teljesítmény

A modell teljesítményét a CORE metrikával mérik, amely a nyelvi értelemnek egy általános mércéje. A tesztek során a nanocode modell 0,227-es CORE értéket ért el, ami valamivel alacsonyabb, mint a GPT-2 modellé. A modell teljesítménye azonban a kódolásra specializálódott, így a CORE érték csökkenése várható.

A nanocode modell betanításához a Google TRC programot használhatjuk, amely ingyenes hozzáférést biztosít a TPUs-hez. A modell betanítása során a felhasználók saját adatokat használhatnak fel, vagy a nanocode által biztosított adathalmazt.

A nanocode modell fejlesztői a Google TRC programmal együttműködve 2024-ben további fejlesztéseket terveznek, beleértve a modell teljesítményének további javítását és új funkciók hozzáadását a Claude Code modellhez.