Új LLMOps rendszerrel gyorsítható a csalásfelderítés és a pénzmosás elleni küzdelem

A csalásfelderítés és a pénzmosás elleni küzdelem (AML) kiemelten fontos területek a nagyméretű nyelvi modellek (LLM) számára, ám az ezekhez szükséges modellkiszolgálási követelmények jelentősen eltérnek az általános chat-feladatoktól — állítják kutatók az arXiv:2605.11232v1 számú előnyomtatott tanulmányban.

A tanulmány szerint a pénzügyi megfelelőségi utasítások gyakran előtag-nehézek, sémához kötöttek és sok bizonyítékot tartalmaznak. Ezekben újrahasználható szabályzati utasítások, kockázati taxonómiák, tranzakciós vagy dokumentumkontextus, valamint rövid, strukturált kimenetek, például JSON-címkék vagy kockázati tényezők kombinálódnak.

Speciális technológiák a hatékonyságért

Ezek a sajátosságok teszik az előtagok újrafelhasználását, a KV-gyorsítótár hatékonyságát, a futásidejű finomhangolást, a modellorkesztrációt és a kimeneti validálást elsődleges rendszerszintű szemponttá. A kutatók egy olyan munkaterhelés-specifikus LLMOps rendszert mutattak be, amely kifejezetten a csalásfelderítési és AML-feladatokra optimalizált, saját hosztolású, nyílt forráskódú modelleket használ, mint például a Meta Llama és az Alibaba Qwen.

A rendszer olyan technológiákat integrál, mint a vLLM-stílusú futásidejű hangolás, a PagedAttention, az Automatic Prefix Caching, a többadapteres kiszolgálás, az adapter- és prompt-hosszúság-tudatos kötegelés, az alvó/ébresztő életciklus-kezelés és a spekulatív dekódolás. Ezek együttesen biztosítják a hatékony és megbízható működést a szigorú megfelelőségi környezetben.

A javasolt LLMOps rendszer célja, hogy a nyílt forráskódú LLM-ek képességeit teljes mértékben kihasználja a pénzügyi bűnözés elleni harcban, miközben megfelel a szigorú vállalati előírásoknak. A Meta Llama és az Alibaba Qwen modellek beépítése rugalmas és költséghatékony megoldást kínál a pénzintézetek számára.