A SmolLM2-360M modell 74%-kal kevesebb RAM-ot használ a llama.cpp-ban

A SmolLM2-360M modell 74%-kal kevesebb RAM-ot használ a llama.cpp-ben, ami 380 MB memóriát igényel a Samsung Galaxy Watch 4-en. A felhasználó a Reddit LocalLLaMA közösségén keresztül mutatta be a futtatási eredményt, ahol a modellel a csatlakoztatott órán 380 MB RAM-mal működött. llama.cpp a nyílt forráskódú LLM futtató, amelyet a felhasználó módosított a kisméretű eszközre optimalizálva.

Ez a csökkenés jelentősen bővíti a hordható eszközökön történő mesterséges intelligencia alkalmazások hatókörét. A 360 millió paraméteres modell korábban csak asztali gépeken vagy szervereken futott hatékonyan, de a 380 MB RAM-s használat lehetővé teszi a valós idejű, offline beszélgetést a Galaxy Watch 4-en.

Az optimalizálás során a fejlesztő a llama.cpp memóriakezelését finomhangolta, hogy a modell kisebb tömörítési arányt és memóriahasználati profilt kapjon. A Reddit bejegyzésben nem részleteztek további technikai paramétereket, de a 74%-os RAM-redukció már önmagában is figyelemre méltó.

Az ilyen eredmények előrevetítik, hogy a hordható eszközökön is képesek leszünk valós idejű AI-alkalmazásokat futtatni, csökkentve a hálózati függőséget és javítva a felhasználói élményt. A következő lépés az, hogy a fejlesztők tovább optimalizálják a modell méretét és a memóriakezelést, miközben megőrzik a válaszminőséget.