Georgi Gerganov szerint a helyi modellekben rengeteg apró hibától szenvednek
Georgi Gerganov llama.cpp könyvtára lehetővé tette, hogy a lokális modellek a fogyasztói hardveren is fussanak
Georgi Gerganov, a llama.cpp fejlesztője, szólt a helyi modellek problémáiról: a legtöbb hibát a harness, a chat sablonok és a prompt konstrukciója okozza. A cikkben megosztotta, hogy a feladat beírásától a végső eredményig tartó láncolatban több fejlesztő dolgozik, így a rendszer gyakran törékeny és részben hibás marad.
A llama.cpp, amely a LLaMA modellt portolt a fogyasztói hardverre, lehetővé tette a modellek futtatását GPU nélkül. Gerganov szerint ez a megközelítés azonban nem oldotta meg a kódoló ügynökökkel való integráció nehézségeit, mert a helyi környezetben a promptok és a chat sablonok nem egészen illeszkednek a kódgeneráló folyamatokhoz.
A technikai részletek szerint a harness, amely a bemenetet és a kimenetet kezeli, nem egészen kompatibilis a kódoló ügynökök által használt dinamikus promptstruktúrákkal. Ezen felül a modell beszélgetési sablonjaiban rejlő apró logikai hibák is okozhatnak váratlan eredményeket.
Az iparági hatás: a helyi modellek széles körű alkalmazása még mindig szűkös, mert a fejlesztőknek saját infrastruktúrát kell építeniük és finomhangolniuk. Gerganov arra biztatott, hogy a közösségnek együttműködve kell javítania a harness és a sablonok integritását.
Mit várjunk még? A következő hónapokban a llama.cpp közössége várhatóan új verziót jelent be, amelyben a promptkezelés és a kódoló ügynökök közötti interfészt optimalizálják. A fejlesztőknek figyelniük kell a dokumentáció frissítésére, mert ez a kulcs a stabil, helyi futtatás sikeréhez.