A CASCADE rendszerrel tanulnak a nyelvi modellek telepítés után is
A CASCADE egy explicit, fejlődő epizodikus memóriával ruházza fel a LLM-alapú ágenseket, ami a természetes intelligencia adaptációs képességét utánozza.
Új tanulási szakaszt, az úgynevezett telepítés-idejű tanulást (DTL) vezették be a nagyméretű nyelvi modellek (LLM) életciklusába — írja az ArXiv-en megjelent kutatás. Ez a harmadik szakasz lehetővé teszi a modellek számára, hogy a telepítés után is folyamatosan fejlődjenek a tapasztalatokból anélkül, hogy a paramétereiket módosítanák.
A CASCADE (CASe-based Continual Adaptation during telepítés) nevű általános és elvi alapokon nyugvó keretrendszer a tapasztalatok újrafelhasználását kontextuális banditaproblémaként kezeli. Ez a megközelítés elvileg megalapozott feltárás-kihasználás kompromisszumokat tesz lehetővé, és hosszú távú interakciók során garantálja a veszteségmentes működést.
A folyamatos tanulás útja
A jelenlegi LLM-ek életciklusa mereven elválasztja a betanítást és a telepítést, ami után a tanulás gyakorlatilag leáll. Ez éles ellentétben áll a természetes intelligenciával, amely folyamatosan alkalmazkodik a környezetével való interakciók révén. A CASCADE célja, hogy ezt a korlátozást feloldja, és dinamikusabb, adaptívabb rendszereket hozzon létre.
Tanulás a környezetben
A CASCADE tervezése révén az ágensek képesek lesznek a környezetükkel való interakciók során szerzett tapasztalatokból tanulni, ami jelentős előrelépést jelenthet a LLM-ek autonómiája és hatékonysága terén. A kutatás szerint a rendszer hosszú távon is garantálja a megbízható teljesítményt az ArXiv 2024. márciusi jelentése szerint.