Annotátor-számra optimalizálható az AI-modellek betanítása — új kutatás
Az annotátorok közötti véleménykülönbség hasznos jeleket hordoz az AI-modellek betanításához, de a szükséges annotátorok száma a célmetrikától függ — mutatja az Apple kutatása.
A kutatók, élükön Guneet Kohli-val, a ChaosNLI adathalmazt használták, amely minden tételre 100 független annotátor véleményét tartalmazza. Az eredmények azt mutatják, hogy az úgynevezett entrópia korreláció, amely azt vizsgálja, hogy a modell felismeri-e a véleménykülönbséget kiváltó tételeket, nagyjából 20–50 annotátornál telítődik. Ezzel szemben a KL-divergenciával mért eloszlásbeli egyezés már körülbelül 10 annotátor után eléri a fejlődés 87–95%-át.
Soft-label tréning előnyei
A tanulmány kiemeli, hogy a soft-label (lágy címke) tréning megközelítés jobban teljesít, mint a label-smoothing (címkesimítás) módszerek az annotátorok közötti véleménykülönbség modellezésében. Míg a label-smoothing különböző intenzitások mellett nagyjából 0,45–0,49 közötti korrelációs együtthatót ért el, a soft-label megközelítés 0,643-as értéket produkált (p < 0,001). Ez a különbség arra vezethető vissza, hogy a címkesimítás nem képes megkülönböztetni a kétértelmű és az egyértelmű tételeket.
Kapcsolódó: MultiSoc-4D és LLM-hibák
Több architektúrán is tesztelték
A soft-label előnye nem korlátozódott egyetlen modellarchitektúrára. A megközelítés előnyei megfigyelhetők voltak a DeBERTa és a RoBERTa modelleken, valamint egy nem NLI-specifikus előképzett baseline modellen is. Ezenkívül egy feltáró jellegű, tartalom-biztonsági feladatokra kiterjedő kereszt-domain értékelés is megerősítette az eredményeket.
Kapcsolódó: Defensibility Index bevezetése
Ezek az eredmények arra utalnak, hogy az annotációs költségvetést a célul kitűzött értékelési metrikától kell függően meghatározni, nem pedig egységesen, minden esetben azonos számú annotátort alkalmazva. A kutatás a soft-label tréning előnyeit az Apple kutatócsoportjának munkájában dokumentálja.
Kapcsolódó: Calibrated Preference Learning