Öntanúsító gyorsítótár-architektúrával gyorsítja a neurális inferenciát a LAWS
A LAWS (Learning from Actual Workloads Symbolically) nevű új architektúra a neurális inferencia és a robotika területén ígér jelentős előrelépést, mivel öntanúsító módon épít szakértői függvénykönyvtárat.
Öntanúsító gyorsítótár-architektúrát fejlesztettek ki kutatók, amely a neurális inferencia, a robotika és a peremeszközökön történő telepítés hatékonyságát növelheti — derül ki egy friss arXiv-tanulmányból.
A LAWS (Learning from Actual Workloads Symbolically) nevű rendszer a telepítés során szerzett megfigyelések alapján folyamatosan bővíti a tanúsított szakértői függvények könyvtárát. Minden egyes szakértő a bemeneti tér egy adott régióját fedi le, amelyet az alapmodell Probabilistic Language Trie (PLT) csomópontja határoz meg, és formális hibahatárokkal rendelkezik, amelyek egységesen érvényesek minden bemenetre.
A jövő építőkövei
A LAWS központi eredménye egy öntanúsítási tétel: bármely bemenet esetén a LAWS közelítési hibáját az epsilon_fit + 2Lambda(W)C_E korlátozza. Itt a Lambda(W) a modell Lipschitz-konstansa, a C_E a maximális beágyazási átmérő, az epsilon_fit pedig a szakértői betanítási hiba. Ezek az értékek a telepítéskor ellenőrizhetők, valós adatok nélkül.
Tudás szövedéke
A kutatók szerint a LAWS általánosítja a Mixture-of-Experts (MoE) és a KV prefix gyorsítótárazási módszereket is, mint speciális eseteket. A rendszer szigorúan kifejezőbb, mint bármely rögzített K-s MoE vagy véges gyorsítótár, ami nagyobb rugalmasságot és hatékonyságot biztosít a neurális hálózatok futtatásakor. További eredményeik között szerepel egy monoton találati arány tétel is, amely a gyorsítótár teljesítményének stabilitását garantálja.
A LAWS-t fejlesztő kutatócsoport a 2024. évben tervezi a rendszer szélesebb körű alkalmazhatóságának vizsgálatát, különös tekintettel a nagy nyelvi modellek (LLM) inferenciájára, például a Meta LLaMA modellhez.