A hibrid determinisztikus-LLM megközelítés 99%-os pontosságot ér el az információkivonásban
A kutatás során három 12-14B LLM modellt használtak, köztük a Gemma 3, Phi 4 és Qwen 2.5 modelleket, amelyeket helyi számítógépen futtattak GPU nélkül.
A kutatás három, 12–14 milliárd paraméteres LLM-et használta: Gemma 3, Phi 4 és Qwen 2.5, melyeket helyi CPU‑kon futtattak Ollama segítségével, GPU nélkül. A LLM‑csak, a determinisztikus regex + LLM hibrid, és a Camelot‑alapú folyamat LLM fallback stratégiáit vizsgálták.
Az elsőkét 140 KRS dokumentumra tesztelték, a Camelot‑alapú megoldást 860 dokumentumon. A dokumentumok négy tanulmányi programra szólnak, változatos táblázatokkal és metaadatokkal.
Az értékeléshez pontos egyezés (EM) és Levenshtein-szerűség (LS) metrikákat alkalmaztak, 0,7-es küszöb mellett. A hibrid megközelítés a determinisztikus metaadatoknál hatékonyságot növel, míg a Camelot + LLM fallback kombinációja elérte a 0,99–1,00 pontosságot, mind EM, mind LS szempontból.
A legjobb eredményt a Camelot folyamat hozta, amely a legmagasabb pontosságot és a legkevesebb számítási erőforrást igényelte. A kutatás kimutatta, hogy a hibrid stratégia jelentősen javítja az információkivonás hatékonyságát LLM‑csak megoldáshoz képest.