A Liquid AI LFM2.5-350M modellje 28 billió tokenből tanult

A Liquid AI bejelentette a LFM2.5-350M modellt, mely 350 millió paraméterből áll, és 28 trillió tokenből tanult. A cég szerint a modell 40.4 ezer kimeneti token másodpercenkénti feldolgozására képes egyetlen NVIDIA H100 GPU-val.

A LFM2.5-350M célja az edge‑eszközök, a memóriakorlátozott és számításigényes hardverek számára történő optimalizáció. A 28T tokenes előbetanítás lehetővé teszi, hogy a 350M paraméteres modell intelligencia‑sűrűségét a nagyobb, több mint 700M paraméteres konkurensekén is meghaladja bizonyos benchmarkokon.

Technikailag a modell nem tiszta Transformer: 10 Double‑Gated LIV konvolúciós blokk és 6 Grouped Query Attention blokk kombinációjával épül. Az LIV-ek hasonlóak a RNN-hez, de párhuzamosíthatóbbak, míg a GQA blokkok megtartják a hosszú távú kontextuskezelést, miközben a KV cache mérete minimális. Ez a hibrid architektúra 32 768 tokenes kontextusablakot tesz lehetővé alacsony memóriahasználattal.

A teljesítmény szempontjából a LFM2.5-350M IFEval pontszáma 76.96, GPQA Diamond 30.64, MMLU-Pro 20.01. A cég hangsúlyozza, hogy a modell kiváló instrukciókövetésre és eszközhívásra alkalmas, de nem ajánlott összetett matematikai, programozási vagy kreatív írási feladatokhoz.

Hardveroptimalizációval a modell 169 MB memóriaigénnyel fut a Snapdragon 8 Elite NPU-n, 81 MB a Snapdragon GPU-n, és 300 MB a Raspberry Pi 5-en. Egyetlen H100 GPU-n a throughput 40.4K output token/másodperc, ami nagy volumenű, valós idejű adatfeldolgozást tesz lehetővé. A következő lépés a helyi telepítés további finomhangolása és a GQA blokkok méretének optimalizálása a mobilplatformokon.