Jogi szakmodell veri a nagy LLM-eket szerződéskivonásban, 97%-kal olcsóbban
Az Olava Extract nevű, jogi területre specializált modell jobb teljesítményt nyújtott a szerződéskivonásban, mint az öt tesztelt élvonalbeli nagyméretű nyelvi modell (LLM).
Egy friss kutatás szerint egy speciálisan képzett kis nyelvi modell (SLM) képes felülmúlni a jóval nagyobb, általános célú LLM-eket a strukturált szerződéskivonásban, ráadásul drasztikusan alacsonyabb költséggel. Ezt az eredményt az Olava Extract nevű, jogi területre optimalizált Mixture of Experts modell vizsgálata mutatta ki, amelyet a arXiv preprint szerveren tettek közzé.
Az Olava Extract érte el a legjobb összesített teljesítményt a tanulmányban, makró F1-pontszáma 0,812, mikro F1-pontszáma pedig 0,842 volt. Ezzel párhuzamosan az inferencia költségeit 78-97%-kal csökkentette a tesztelt élvonalbeli modellekhez képest — írják a kutatók az arXiv-on.
A pontosság kulcsa a jogi munkafolyamatokban
A modell a legmagasabb precíziós pontszámokat is produkálta, kevesebb „hallucinált” és megalapozatlan kivonatot generált. Ez kritikus fontosságú a jogi munkafolyamatokban, ahol a pontatlanságok jelentős működési kockázatot és további felülvizsgálati terheket jelentenek.
A célzott képzés hatékonysága
Az eredmények megkérdőjelezik azt az elterjedt feltételezést, hogy a nagy teljesítményű, emberi szintű jogi AI-hoz feltétlenül a legnagyobb, külsőleg hosztolt modellekre van szükség. A kutatás szerint a kereskedelmileg értékes vállalati AI-képességek már nem feltétlenül kötődnek a legnagyobb modellekhez, ami új lehetőségeket nyithat meg a költséghatékony és domain-specifikus AI-megoldások előtt.
Az Olava Extract modellje tehát azt mutatja, hogy a célzott képzés jelentősen javíthatja a hatékonyságot és csökkentheti a költségeket, miközben a pontosság is magasabb marad a jogi dokumentumok feldolgozásában. A tanulmány az arXiv:2605.05532v1 azonosító alatt érhető el, és 2024. március 15-én került fel a szerverre.