Kutatók feltárták a nyelvi modellek szintaktikai mechanizmusait, és felfedezték, hogy azokban közös neurális mechanizmusok működnek bizonyos szintaktikai konstrukciókban
A nyelvi modellek kifinomult szintaktikai képességeket mutatnak, de belső mechanizmusaik és a nyelvészeti elvek közötti összefüggés eddig nem volt teljesen világos.
A nyelvi modellek belső működését vizsgálták kutatók, hogy feltárják, használnak-e megosztott neurális mechanizmusokat különböző szintaktikai konstrukciókhoz — derül ki az arXiv-on előnyomtatott formában megjelent tanulmányból.
A kutatás a 'filler-gap' függőségekre és a negatív polaritású elemek (NPI) licencelésére fókuszált. A szakértők az úgynevezett 'activation patching' módszert alkalmazták, amely lehetővé teszi specifikus figyelmi fejek és MLP blokkok funkcionális szerepének azonosítását.
Eredményeik szerint a 'filler-gap' függőségek esetében egy erősen lokalizált és megosztott mechanizmus található a modell korai és középső rétegeiben. Ezzel szemben a NPI-feldolgozás nem mutatott ilyen egységes mechanizmust a vizsgálat során.
A kutatók azt is megállapították, hogy a 'activation patching' által azonosított mechanizmusok jól általánosíthatók az elosztási adatokon kívüli esetekre is. Egy másik felügyelt interpretálhatósági módszer, a 'distributed alignment search' kevésbé hatékonyan általánosított ezekben az esetekben.