Memori: Az LLM-ek tartós memóriát kapnak több felhasználó és munkamenet között
A rendszer segítségével az AI-ügynökök nem kezelik elszigetelten a beszélgetéseket, hanem megőrzik a hasznos kontextust az interakciók során.
A Memori egy ügynök-natív memóriainfrastruktúra-rétegként szolgál a tartósabb, kontextustudatosabb LLM-alkalmazások építéséhez — írja a MarkTechPost. A megoldás lehetővé teszi, hogy a nagy nyelvi modellek (LLM-ek) emlékezzenek a korábbi interakciókra, akár több felhasználó és munkamenet esetében is.
A Memori integrálható szinkron és aszinkron OpenAI kliensekkel, így minden modellhívás automatikusan áthalad a memóriarétegen. Ez biztosítja, hogy a felhasználói adatok tárolása, lekérése és szétválasztása különböző identitások, ügynökszerepek és munkamenetek között is megoldott legyen.
Emlékező kapcsolatok
A Memori tesztelése során vizsgálták a streaming válaszokat, az aszinkron hívásokat és egy kisebb ügyfélszolgálati ügynök munkafolyamatát is, hogy megértsék, hogyan viselkedik a memória valós, többfordulós alkalmazásokban.
Memória a játéktérben
A Memori egyik kulcsfontosságú képessége a több-bérlős memória (multi-tenant memory) kezelése. Ez azt jelenti, hogy különböző felhasználók adatai elkülönítve maradnak, így például Alice tényei nem szivárognak át Bob emlékezetébe.
A munkamenet-kezelés is fontos szerepet játszik: a Memori lehetővé teszi, hogy a kapcsolódó beszélgetéseket egy adott munkamenethez csoportosítsák. Például egy projekt-specifikus munkamenetben tárolt döntések elkülönülnek a felhasználó egyéb személyes adataitól.
A Memori 3.3.0-ás verziója már elérhető, és az OpenAI 1.40.0-ás verziójával kompatibilis, 2024. március 15-étől kezdve támogatja a fejlettebb LLM-modellek használatát.