COMPASS nevű rendszerrel automatizálja a promptmérnökséget az ArXiv AI
A rendszer a promptmérnökséget kognitív és valószínűségi döntéshozatali folyamatként kezeli, figyelembe véve a felhasználók rejtett kognitív állapotait.
Önadaptív megközelítést mutatott be az ArXiv AI a promptmérnökség automatizálására, amely a COMPASS (COgnitive Modelling for Prompt Automated SynthesiS) nevet kapta — írja a kutatás.
A nagyméretű nyelvi modellek (LLM-ek) integrálása a komplex szoftverrendszerekbe lehetővé teszi az átláthatatlan AI-folyamatok, például az automatizált feladattervezés emberi megértését segítő magyarázatok generálását. Azonban ezeknek a magyarázatoknak a minősége és megbízhatósága nagymértékben függ a hatékony promptmérnökségtől.
A kutatók szerint hiányzik a szisztematikus megértés arról, hogy a különböző érdekelt felek hogyan fogalmazzák meg és finomítják a promptokat, ami akadályozza az automatizált eszközök fejlesztését. A COMPASS ezt a hiányosságot célozza meg, formalizálva a promptmérnökséget kognitív és valószínűségi döntéshozatali folyamatként.
A COMPASS a felhasználók megfigyelhetetlen, rejtett kognitív állapotait, mint például a figyelem és a megértés, valamint a bizonytalanságot és a megfigyelhető interakciós jeleket modellezi egy POMDP (Partial Observable Markov Decision Process) segítségével. Az így szintetizált irányelv lehetővé teszi a magyarázatok és az utasítások adaptív generálását és finomítását.
A COMPASS-t két különböző feladattervezési forgatókönyvvel értékelték, bizonyítva a koncepció működőképességét.