100%-os AI-pontosság
Az új elmélet szerint az AI-modellekben a dolgok és tulajdonságaik közötti kapcsolat lineáris, ami javítja az illeszkedést és csökkenti a zajt. A lineáris struktúra segít a reprezentációk igazodásának javításában.
A reprezentációk igazodását vizsgáló új kutatás szerint a Platonic Representation Hypothesis (PRH) a dolgok és tulajdonságaik közötti lineáris kapcsolatokon alapul. Az elmélet, melyet a Linear Representation Hypothesis (LRH) egészít ki, azt sugallja, hogy a modelljeinkben ezek a kapcsolatok lineárisan kódolódnak, ami kulcsfontosságú a cross-modal illeszkedés szempontjából — írja az ArXiv ML.
A kutatók bizonyítékot találtak arra, hogy a LRH segít magyarázni a PRH-t. Sparse autoencoderekkel lineáris objektum-tulajdonság funkciókat extraháltak, és kimutatták, hogy ezek a reprezentációk gyakran erősebb cross-modal illeszkedést mutatnak, mint a sűrű társaik. Ez azt jelenti, hogy a modell jobban megérti a különböző típusú adatokat, például szöveget és képeket, ha azok lineárisan vannak strukturálva.
Kapcsolódó: LLM-ek fejlődése
A modellek közötti eltérő implicit bias-okat, melyek az architektúrák és a betanítási eljárások sokféleségéből adódnak, részben csökkenteni lehet. A kutatás szerint a centírozás és a normalizálás következetesen javítja a modellek közötti igazodást. A véges mintázatú betanításból eredő zajt pedig az adat hiány hajtja; a szógyakoriság és az illeszkedés közötti erős pozitív korrelációt találtak LLM-ekben és szöveges embedding modellekben.
Kapcsolódó: Matematika gépi tanulásban
A jel, a bias és a zaj szintézisével a kutatók egy statisztikai modellt javasolnak, amely finomítja a Lineáris Reprezentáció Hipotézist. Ez a modell magyarázatot ad a különböző modern AI-architektúrákból származó reprezentációk igazodásával kapcsolatos további jelenségekre is.
Kapcsolódó: AI-modellek tesztelése
A kutatás eredményei 2026. május 28-án jelentek meg az ArXivon.
Kapcsolódó: LLM-ek irányítása