A GPT modell 4 szakaszban bukik meg az aritmetikai feladatokon
A kutatók szerint a GPT modell hibájának korrekciója a layout, a carry-semantika, a rekombinációs és a tens-resziduális szakaszokon keresztül történhet.
A kutatók szerint a GPT modell hibájának korrekciója a layout, a carry-semantika, a rekombinációs és a tens-resziduális szakaszokon keresztül történhet. A vizsgálatok során egy minimális GPT modellt tanítottak be kimerítő 2-jegyű összeadásra, ahol a helyi jegyátmenetek már a tanítás során is jelen voltak.
Az eredmények azt mutatták, hogy a hibás működés négy szakaszban következik be: először a layout korlátja, ahol a modell összeomlik egy tisztán 3-jegyű elrendezés-változás miatt, és a kevert elrendezésű adatoknak való kitettség az egyetlen beavatkozás, amely anyagilag gyengíti ezt a korlátot.
Másodszor, a layout javítása után a százak helyi értéke inkább egy carry flaghez hasonlít, mint egy szemantikai százakjegyhez; a célzott carry próbák megfordítják a releváns logit margin-t, míg egy megfelelő extra-adatkontroll nem.
Harmadszor, a carry javítása után a fő maradék bottsálya a feltételes rekombinációs folyamat: a magas kondicionált farokadatok jobban teljesítenek, mint egy megfelelő kontroll, a csak magas, vagy csak farokadatok az összes feladaton.
Negyedszer, a rekombinációs szakasz után a maradék hibák túlnyomórészt csak a tizes helyi értékekre vonatkoznak, és egy külön, 10-magvetésű, késői szakaszban végzett tanulmány azt mutatja, hogy egy jelérzékeny tizes javítás a legnehezebb ezres carry-suite esetében 0,664-ről 0,822-re emeli a pontos egyezést.