LLM-ek generálnak kihívó feladatokat a neurális okosítók tesztelésére

A neurális modellek számára továbbra is komoly kihívást jelent a relációs struktúrákkal való okosítás, különösen, ha a tanult tudást szisztematikusan kell alkalmazniuk a képzésben látottnál nehezebb feladatokra. A probléma értékelését nehezíti, hogy nehéz előre megmondani, mi tesz egy feladatot nehézzé. A Project Auto-World nevű kutatásban LLM-eket használnak a teljesítményteszt-generálás automatizálására, hogy végponttól végpontig egyre nehezebb feladatpéldányokat hozzanak létre.

A kutatók Datalog szabályokkal paraméterezett „világokat” és egy Edge Transformer nevű okosítót használtak. LLM-vezérelt evolúciós kereséssel, a FunSearch módszerére alapozva, valamint autonóm ügynökkereséssel fedezték fel azokat a mintavételi függvényeket, amelyek nehéz feladatpéldányokat eredményeznek. Ez az automatizált megközelítés lehetővé teszi a tesztelés során felmerülő nehézségek leküzdését.

Kapcsolódó: neuro-szimbolikus fejlesztés

A generált adatokkal betanított Edge Transformer jobb általánosíthatóságot mutat a további adatrezignációk esetében. A kutatás eredményei szerint az Edge Transformer teljesítménye javítható az így előállított adatokkal, ami szisztematikusabb és megbízhatóbb működést tesz lehetővé a modell számára.

Kapcsolódó: Horn-logikai gyorsítás

A módszer potenciálisan forradalmasíthatja a neurális okosítás területét: ugyanazt a gépezetet LLM-ek által javasolt új világokra is lehet alkalmazni. Ez megnyithatja az utat az autonóm kutatás előtt a neurális relációs okosítás terén, ahol az LLM-ek maguk fedezhetnek fel új problématerületeket és megoldásokat. A kutatást előnyomtatott formában tették közzé az arXiv-on.

Kapcsolódó: LAWS inferenciaarchitektúra