Új AI-ügynök keres a fotóink között, válaszol a kérdésekre
Új AI-ügynök, a camroll-agent képes hozzáférni a felhasználó fotóihoz és releváns képeket keresni kérdések megválaszolásához. Az adatbázis 50 felhasználót, 31 476 képet és 2500 kérdés-válasz párt tartalmaz.
Egy új, camroll-agent nevű AI-ügynököt fejlesztettek ki, amely képes hozzáférni a felhasználó személyes fotógyűjteményéhez. Az ügynök releváns fotókat keres a kérdések megválaszolásához, legyen szó egyszerű ténybeli vagy nyitottabb kérdésekről.
A személyes fotókönyvtárak hatalmasak lehetnek, több ezer fotóval. A kutatók ehhez gyűjtöttek és annotáltak kérdéseket, amelyek a valós használatot imitálják.
Kapcsolódó: AI-ügynökök energiafogyasztása
Az új adatbázis és az ügynök
A camroll adatbázis 50 felhasználót, 31 476 képet és 2500 kérdés-válasz párt tartalmaz. Ezen felül létrehozták a camroll-agentet, egy konverziós AI-ügynököt, amely hierarchikus memóriával és minimális eszközkészlettel rendelkezik a nagyméretű, személyre szabott vizuális memória hatékony navigálásához.
Kapcsolódó: hosszú videók elemzése
Eredmények és következtetések
A kísérleti eredmények azt mutatják, hogy a camroll-agent számos alapértelmezett és más módszert felülmúlt a hosszú kontextus megértésében. Az eredmények rávilágítanak az AI-ügynökök hosszú kontextusú érvelésében meglévő résre: a személyre szabott vizuális memóriához eltérő megközelítésekre van szükség.
Kapcsolódó: AI-ügynökök memóriajavítása
A camroll adatbázis és a camroll-agent a camroll-agent fejlesztői által érhető el, a camroll-agent 2500 kérdés-válasz párt tartalmaz.
Kapcsolódó: tárgyalási siker mérése