Fizikai geometria szervezi a világmodellek tudását — 6.6x javulás

A világmodellek fizikai interakcióból, nyelvi felügyelet nélkül is képesek elsajátítani a fizikai világ szerkezetét. Egy új, arXivon megjelent kutatás szerint a VAE-alapú modellek latens tere rendezetté válik, tükrözve a fizikai geometriát. Az irány pontosság 0.677-es értéket ért el, szemben a véletlenszerűen inicializált encoder 0.547-es értékével.

A pozíció RSA (Representational Similarity Analysis) esetében a javulás még drasztikusabb: a modell 0.192-es értéket mutatott, míg a véletlenszerű kontroll 0.029-et, ami 6.6-szoros előrelépést jelent. Ez arra utal, hogy a betanítás valódi strukturális szerveződést hoz létre, túlmutatva a CNN-ek beépített elvárásain.

Kapcsolódó: Hamilton-perspektíva

A geometria mint szervező elv

A kutatók 20 időbeli ellenőrzőponton vizsgálták a modell teljesítményét. Megállapították, hogy a predikciós képesség és a szemantikai egyezés párhuzamosan javul, amit a Spearman-féle korrelációs együttható (-0.61, p=0.004) is alátámaszt. Ez összhangban van azzal az elmélettel, hogy egy közös hajtóerő mozgatja mindkét képességet.

Kapcsolódó: robotviselkedés-modellezés

A modell viselkedésének kettős kiütéses kísérlete

A modell viselkedését egy kettős kiütéses kísérlettel is megerősítették. A standard KL-regularizáció (beta=0.1) arra kényszerítette az encodert, hogy eltávolodjon a geometriai struktúrától. Ekkor mind a predikciós teljesítmény, mind a szemantikai egyezés összeomlott, közel a véletlenszerű szinthez 50 000 lépés után. A beta érték 0.001-re csökkentése visszaállította a geometriai hozzáférést, és mindkét képesség együtt tért magához.

Kapcsolódó: nem euklideszi tér

Az eredmények alapján a VAE-alapú modell 6.6-szoros javulást mutatott a pozíció RSA-ban, az arXivon megjelent kutatásban, 2023. decemberében.

Kapcsolódó: zsúfolt terek térképezése