ZML ingyenes szoftverrel gyorsítja az AI-t több processzoron is
A ZML/LLMD nevű ingyenes inference szerverrel a francia startup célja, hogy megszüntesse a szoftveres és hardveres korlátokat, és maximalizálja a sebességet különböző chip-eken, beleértve a Nvidiát, AMD-t és Apple Metal-t.
A francia ZML startup bemutatta ZML/LLMD nevű inference-szoftverét, amely lehetővé teszi nyílt forráskódú nagy nyelvi modellek (LLM) futtatását számos chipen. A szoftver támogatja az Nvidia, AMD, Google TPU, Apple Metal és Intel Arc chipeket is, célja pedig a sebesség maximalizálása és a gyártó lock-in megszüntetése — közölte Steeve Morin alapító a TechCrunch-csal.
Optimalizálás különböző chipeken
Az AI-alkalmazások terjedésével az inference-folyamatok optimalizálása egyre fontosabbá vált, ám a szoftveres és hardveres akadályok gyakran korlátozzák a hatékonyságot. A ZML/LLMD ígérete szerint csökkenti az AI inference költségeit és energiafogyasztását, lehetővé téve a vállalatoknak és felhőszolgáltatóknak, hogy chipek keverékét használják, akár kevésbé költséges vagy energiahatékonyabb megoldásokat is.
Kapcsolódó: AI költségcsökkentés ősemberül
Európai AI-chipgyártók támogatása
A szoftver segíthet az olyan európai AI chipgyártóknak is, mint az Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud és VSORA, hogy új, eddig nem látott fejlesztéseket valósítsanak meg. Morin elmondta, hogy jó kapcsolatban állnak az Nvidia-val is, amely szintén készül az inference-igények növekedésére.
Kapcsolódó: GLM-5.2 SWE-bench Pro győzelme
A ZML/LLMD versenytársai között van a Baseten, az Inferact (a vLLM projekt mögött álló csapat) és a RadixArk (a SGLang mögött). Morin ambíciói azonban szélesebb spektrumot fednek le, a startup 20 fős csapata már szilícium tervezésében is részt vesz.
Kapcsolódó: Jalapeño chip OpenAI-Broadcom együttműködésből
A Paris-ban székelő startup, amelynek alapítója, Steeve Morin korábban a Zenly VP of engineering-je volt, 20 millió dollár befektetést szerzett olyan cégektől, mint a 20VC, AALVC, Kima Ventures és a Kindred Capital. A ZML/LLMD nem nyílt forráskódú, de ingyenes termékként indul, hogy adatokat gyűjtsenek a felhasználásról, mielőtt esetleg fizetős verziót vezetnének be.
Kapcsolódó: GLM-5V 200k token kontextus
A startup befektetői között szerepel többek között a Docker alapítója, Solomon Hykes, valamint a Hugging Face alapítói, Clément Delangue és Julien Chaumond, továbbá Yann LeCun. Morin szerint a ZML-t csakis Párizsban tudta volna létrehozni.
Kapcsolódó: GLM-5.1 8 órás folyamatos munka