Stephen Bochinski szerint nem kell csődbe menni az AI-kódolásért

Otthoni AI-fejlesztéshez nem kell vállalatnyi összeget költeni. Stephen Bochinski blogja három lehetséges módszert vázol fel, amelyek közül a legmegfelelőbb a hardver- és modellfejlesztések következő évébe vetett bizalomtól függ.

Az első lehetőség a saját gépen való futtatás. Ez magában foglalja a szükséges hardver megvásárlását, nyílt forráskódú modellek futtatását lokálisan, így tokenenkénti költség nélkül. A kezdeti beruházás jelentős, és az otthon futtatható modellek gyengébbek a nagy laborok által kínáltaknál. Ez a módszer akkor éri meg, ha a gépet hosszú, éjszakába nyúló feladatokkal tudjuk kihasználni, ahol egy lassabb, olcsóbb modell dolgozik.

Kapcsolódó: AI elutasítás

A második opció a hardver kihagyása és a modellek API-n keresztüli bérlése. Ez a legtöbb ember számára a legpraktikusabb megoldás. Elkerülhető a több ezer dolláros befektetés egy GPU-ba, miközben a konfigurációk még változnak. Nem kell a nyílt forráskódú modellek teljesítményének optimalizálásával bajlódni, és könnyen válthatunk olcsóbb vagy jobb alternatívákra havonta. Az olyan szolgáltatások, mint az OpenRouter, ezt egyetlen soros kóddal lehetővé teszik.

Kapcsolódó: Claude Code tanulás

A modellfejlesztés költségei

A harmadik út a frontier előfizetések okos kihasználása az OpenAI és az Anthropic kínálatából. Körülbelül havi 400 dolláros előfizetéssel nagyjából 2800 dollárnyi API-használatot kapunk listás áron, ami remek ajánlatnak tűnik, amíg el nem érjük a keretet. Ezek a csomagok mért adatokon alapulnak, és egy nagyobb AI-munkafolyamat gyorsan elfogyasztja a benne foglalt tokeneket. Ezek a csomagok kézzel vezérelt feladatokhoz ideálisak, de nem alkalmasak egész nap futó AI-ügynökök motorjának.

Kapcsolódó: AI és szoftverbiztonság

A leghatékonyabb megközelítés

A tapasztalatok szerint a legjobban működő módszer a harmadik és a második opció kombinációja. Tartsunk néhány frontier előfizetést a komplexebb gondolkodást és specifikációírást igénylő feladatokhoz, míg az API-n keresztül bérelt nyílt forráskódú modelleket használjuk a kisebb, mechanikus részek kezelésére. A specifikáció-vezérelt fejlesztésre támaszkodva a drágább modellek elkészíthetik a tervet, a költséghatékonyabbak pedig kitöltik azt. Ezzel a megközelítéssel egy hónap alatt körülbelül ezer dolláros költséggel olyan eredményeket érhetünk el, mintha húsz mérnök dolgozott volna rajta, az OpenRouter és az Anthropic szolgáltatásait használva.