Akár 2,3-szoros sebességnövekedést ígér a 2D-s korai kilépés a LLM-eknél
A módszer a rétegek és a mondatok feldolgozását hangolja össze, így a számítási megtakarítások meghaladják az egyes dimenziók önálló optimalizálásával elérhető eredményeket.
Kétdimenziós korai kilépési stratégiát mutatott be egy új kutatás, amely a nagy nyelvi modellek (LLM) következtetését gyorsíthatja fel, különösen osztályozási feladatoknál — írja az ArXiv NLP.
Az új megközelítés a réteg- és mondatszintű kilépést koordinálja. A bemenetet inkrementálisan, mondatról mondatra dolgozza fel, miközben fokozatosan aktiválja a mélyebb rétegeket. Ez a multiplikatív számítási megtakarítás a kutatók szerint jelentősen felülmúlja azokat az eredményeket, amelyek az egyes dimenziók önálló optimalizálásával érhetők el.
Kísérleti értékelés során négy élvonalbeli LLM-et (Llama 3.1, Llama 3.2, Gemma, Qwen, 3B-8B paraméterrel) teszteltek három különböző hangulatelemzési adathalmazon. Az eredmények szerint az egyszerűbb feladatoknál, alapmodellekkel 1,4–2,3-szoros további gyorsulást értek el az optimális rétegszintű korai kilépéshez képest. Összetettebb, többosztályos problémáknál a teljesítmény enyhén romlott.
A finomhangolás csökkenti, de nem szünteti meg ezt az előnyt. A megközelítés modellfüggetlen, csak könnyű osztályozási adaptereket igényel, és jól kiegészíti az olyan hatékonyságnövelő módszereket, mint a kvantálás vagy a ritkítás. A kutatást az ArXiv 2604.18592v1 számon publikálták.