Az AMD 550 dolláros GPU-ján futnak a 35B LLM modellek a ZINC Inferencia motorral
A Zig programozási nyelven írt ZINC motorral akár 10 százalékkal gyorsabban futnak a modellek, mint a konkurens megoldások.
Az AMD 550 dolláros GPU-ján futnak a 35 milliárd paraméteres LLM-ek a ZINC inferencia motorral, egy Zig programozási nyelven írt megoldás, amely a Reddit LocalLLaMA közösségében jelent meg. A ZINC képes 10 % -kal gyorsabb futásra, mint a legnépszerűbb konkurens megoldások.
A ZINC bevezetése azért jelentős, mert a 35 b milliárd paraméteres modellek hagyományosan nagy, drága GPU-kat igényelnek. Egy $550 AMD GPU-vel elérhető futtatás jelentősen csökkenti a költségeket, és lehetővé teszi a kisebb fejlesztőcsapatok számára is, hogy saját LLM-eket futtassanak helyben.
A motor Zig nyelven íródott, ami alacsony szintű memóriakezelést és hatékony futási időt tesz lehetővé. A ZINC a GPU memóriáját optimalizálva, a számítási igényeket a hardverhez igazítva kezeli a 35 b paraméteres modelleket.
Hasonlítva a meglévő megoldásokhoz, mint a ROCm és a vLLM, a ZINC 10 % -kal gyorsabb, miközben ugyanazon a $550 AMD GPU-n fut. A Reddit felhasználó szerint ez a teljesítménynövekedés a Zig nyelv és a GPU-specifikus optimalizációk kombinációjának köszönhető.
Jelenleg a ZINC még a fejlesztés korai szakaszában van, de a közösség várja a további frissítéseket, beleértve a több GPU-s skálázhatóságot és a különböző LLM architektúrák támogatását. A következő hónapokban érdemes figyelni a GitHub repó frissítéseit és a közösségi tesztelési eredményeket.