Új teljesítményteszt vizsgálja a LLM-ek tudásdriftjét, korlátokat tárt fel
A nagyméretű nyelvi modellek (LLM) betanításkor rögzített tudása folyamatosan elavul, ami kihívást jelent a valós idejű adaptációban.
A nagyméretű nyelvi modellek (LLM-ek) tudásuk nagy részét a betanítás során szerzik meg, ami egy adott időpontban rögzíti ismereteiket. Ez a rögzítettség komoly problémát jelent, amikor a tények, entitások és események folyamatosan változnak, ami tudásdrifthez vezethet — írja az arXiv:2604.05096v1 preprint.
Ez a folyamatos tudásdrift nem csupán elavult előrejelzéseket eredményez, hanem időben inkonzisztens érvelést is okozhat a modellekben. A meglévő adaptációs megközelítéseket, mint a folyamatos finomhangolás, a tudásszerkesztés vagy a retrieval-augmented generation (RAG), ritkán értékelik olyan környezetben, amely a valós világ kronologikus és folyamatos tudásfejlődését tükrözi.
A tudásdrift korlátai
A kutatók most egy új teljesítménytesztet vezettek be, amely valós idejű dinamikus eseményekből épül fel, időbélyegzett adatok alapján. Ez a módszer pontosan rögzíti, hogyan fejlődik a tudás az idő múlásával, lehetővé téve a modellek adaptációs képességének szisztematikus értékelését a folyamatos tudásdrift körülményei között.
A jövőkép homályossága
A „RAG or Learning? Understanding the Limits of LLM Adaptation under Continuous Knowledge Drift in the Real World” című tanulmányban bemutatott teljesítményteszt felfedi, hogy a legtöbb létező megközelítés korlátozott a folyamatos tudásdrift adaptálásában. Az eredmények rávilágítanak a jelenlegi módszerek hiányosságaira a valós idejű tudásfrissítés kezelésében, ami további kutatást igényel a területen az arXiv 2024. március 15-én megjelent kiadványában.