TabPFN-MT: 344 adatkészleten is felülmúlja a táblázatos többcélú tanulás eddigi csúcsát
A modell egy kiterjesztett y-kódolót és egy megosztott dekóderfejet használ a többcélú in-context tanulás és a szimultán következtetés lehetővé tételére.
Új mércét állít fel a mély táblázatos többcélú tanulásban a TabPFN-MT, amely az ArXiv ML-en megjelent tanulmány szerint 344 adatkészleten is felülmúlja a korábbi csúcsot. A Prior-Data Fitted networks (PFN-ek) eddig is sikeresen kezelték a táblázatos adatok predikciós feladatait, de kizárólag egycélú következtetésre tervezték őket.
A TabPFN-MT kifejezetten kis és közepes adatkészletekre specializálódott, mivel a hagyományos gradiens alapú képzés helyett az in-context tanulásra támaszkodik. Ez a megközelítés — átlagosan kevesebb mint 1000 mintát használva — a Macs in Chemistry jelentése szerint 130 millió szintetikusan generált adatkészleten történő képzésen alapul, amelyek a valós táblázatos adatokat utánozzák.
A Táblázatos Adatok Új Korszaka
A TabPFN-MT kiterjedt értékelései, melyeket 344 adatkészleten végeztek, igazolják, hogy a modell új, élvonalbeli teljesítményt nyújt a mély táblázatos többcélú tanulás terén. A dblp számítástechnikai bibliográfia is kiemeli a TabPFN-hez hasonló, előre betanított transzformerek jelentőségét a táblázatos adatok feldolgozásában.
A Mélytanulás Határai
A modell kifejezetten a Macs in Chemistry jelentésében megfogalmazott 130 millió szintetikusan generált adatkészleten történő képzésen alapul, amely 2024. március 15-én került nyilvánosságra.