Új AI-módszer 32%-kal javítja a dokumentumok megértését
A MM-BizRAG nevű új AI-módszer akár 32%-kal pontosabb válaszokat adhat a strukturált vállalati dokumentumokból, mint a korábbi, minimális elemzést használó rendszerek.
Az új MM-BizRAG megközelítés a dokumentumok szerkezetét is figyelembe veszi, szemben a korábbi, pusztán képekre támaszkodó módszerekkel. Ez lehetővé teszi, hogy az AI mélyebben megértse a jelentésekhez hasonló, vertikálisan tagolt dokumentumokat, és a diákat tartalmazó, horizontálisan rendezett anyagokat is.
A kutatók egy új, LLM-alapú átalakítási folyamatot vezettek be, amely megőrzi a dokumentumok természetes olvasási sorrendjét. Az elemzés során elkülönítik a lekérdezési reprezentációkat a generálási kontextustól, ami pontosabb, megalapozottabb válaszokat eredményez anélkül, hogy a modell finomhangolására lenne szükség.
Kapcsolódó: RAG hibamód
Dokumentumok Strukturális Elemzése
A SlideVQA és FinRAGBench-V benchmarkokon, valamint egy nagyméretű vállalati adathalmazon végzett kísérletek azt mutatják, hogy a MM-BizRAG akár 32%-kal múlja felül a legjobb látványközpontú rendszereket, különösen a jelentésstílusú elrendezéseknél.
Kapcsolódó: FinAgent-RAG
Értékelési Módszerek Összehasonlítása
A kutatók bemutatták a FastRAGEval nevű új mérési módszert is. Ez egyetlen LLM-hívással képes finomhangolt generatív visszakeresést értékelni, ami költséghatékonyabbá teszi a RAGCheckerhez képest, miközben jobban igazodik az emberi ítéletekhez.
Kapcsolódó: kiberfenyegetések elleni védelem
A MM-BizRAG modell a 2024. márciusi tesztek során 95%-os pontosságot ért el a vállalati dokumentumok elemzésében, ami a korábbi rekordot jelentősen meghaladja.
Kapcsolódó: LLM hibák