Új geometriai modell tisztázza a súlyozott kontrasztív tanulás működését
A súlyozási séma határozza meg, hogy a kontrasztív tanulás geometriailag megvalósítható, degenerált vagy inkonzisztens lesz-e, ami elvi alapot ad új célfüggvények tervezéséhez.
A kontrasztív tanulás (CL) célja, hogy megőrizze a minták közötti relációs struktúrát olyan reprezentációk megtanulásával, amelyek egy hasonlósági gráfot tükröznek — írja az ArXiv-en megjelent tanulmány. Azonban az így kapott beágyazások geometriája eddig kevéssé volt ismert.
A kutatás most kimutatja, hogy a súlyozott InfoNCE-célfüggvények távolsággeometriai problémaként értelmezhetők. A súlyozási séma specifikálja azt a célgeometriát, amelyet a reprezentációnak meg kell valósítania, ami pontosan jellemzi az optimális beágyazásokat több felügyelt és gyengén felügyelt célfüggvény esetében.
A geometria szerepe a kontrasztív tanulásban
Felügyelt osztályozásnál mind a SupCon, mind a Soft SupCon (annak egy sűrű relaxációja, ahol a különböző osztályokból származó párok kis, nem nulla hasonlósággal rendelkeznek) az egyes osztályokon belüli mintákat egyetlen prototípusba vonja össze. Míg a kiegyensúlyozott SupCon a klasszikus szabályos szimplex geometriát állítja helyre, az osztályok kiegyensúlyozatlansága megtöri ezt a szimmetriát.
A szimplex geometria jellemzői
A SupCon nem egységes osztályok közötti hasonlóságokat indukál, amelyek az osztályméretektől függnek, míg a Soft SupCon másként viselkedik. A kutatók a súlyozott kontrasztív tanulás megértését segítették elő, a 2024. március 15-én az ArXiv-en megjelent tanulmányban.