MetaKGEnrich rendszerrel javítja a LLM-ek tudásgátlását az ArXiv kutatása
A MetaKGEnrich automatizált folyamata a GPT-4o és a Neo4j adatbázis segítségével épít tudásgráfokat, majd a hiányos régiókat célzott kérdésekkel tölti fel.
Önálló tudásjavító képességgel ruházza fel a nagyméretű nyelvi modelleket (LLM) a MetaKGEnrich rendszer — írja az ArXiv-en megjelent kutatás. A metakogníció, vagyis a saját tudásállapot monitorozása és a hiányosságok autonóm pótlása eddig nagyrészt hiányzott a modern mesterséges intelligenciából.
A MetaKGEnrich egy teljesen automatizált folyamat, amely a GPT-4o-t használja célzott kérdések generálására. A rendszer először tudásgráfokat épít egy kiinduló lekérdezésből, majd hét különböző gráfelméleti metrika alapján azonosítja a ritkás, hiányos régiókat. Ezután a Tavily segítségével webes bizonyítékokat gyűjt be, amelyeket a Neo4j adatbázisba tölt be.
A tudásgráfok építése
A tudásgráfok optimalizálása kulcsfontosságú a LLM-ek érvelésében, ahogy azt a Cognee és a neo4j-labs/agent-memory kutatásai is alátámasztják. A MetaKGEnrich végül a GraphRAG módszerrel válaszolja meg újra az eredeti lekérdezést, a javulást pedig a GPT-4 értékeli.
A rendszer tesztelése
A rendszert három széles körben használt adathalmazon tesztelték, mindegyikből 30 lekérdezéssel: a Google Research Natural Questions, a MS MARCO és a HotpotQA. A MetaKGEnrich a HotpotQA kérdések 80%-ában, a Google Research Natural Questions 87%-ában és a MS MARCO kérdések 83%-ában javította a válaszok minőségét, miközben a már jól megalapozott régiókat érintetlenül hagyta. A MetaKGEnrich rendszer a GPT-4 és a Neo4j adatbázis segítségével 2024. március 15-én mutatja be a következő fejlesztési lépéseket.