A Databricks új AI-ügynöke 38%-kal veri a csúcsmodelleket hibrid lekérdezéseknél
Ezzel a fejlesztéssel a Databricks lehetővé teszi a felhasználók számára, hogy hatékonyabban kezeljék a strukturált és strukturálatlan adatokat, és jobb eredményeket érjenek el a hibrid lekérdezések során.
Jelentős teljesítményjavulást értek el a Databricks kutatói a hibrid adatok lekérdezésében, ahol a strukturált és strukturálatlan információk együttes kezelése eddig komoly kihívást jelentett. Új, több lépéses ügynök alapú megközelítésükkel a Stanford STaRK benchmarkján 20% vagy annál nagyobb javulást mutattak, a saját KARLBench keretrendszerükön pedig folyamatos fejlődést – írja a VentureBeat.
A Databricks szerint a teljesítménybeli különbség az egyfordulós RAG és a több lépéses ügynökök között architekturális probléma, nem pedig modellminőségi probléma. Ezt azzal támasztották alá, hogy egy erősebb, korszerű alapmodell is alulmaradt a több lépéses ügynökkel szemben: az akadémiai területen 21%-kal, a biomedicinális területen pedig 38%-kal gyengébben teljesített a STaRK benchmarkokon.
A Supervisor Agent működése
A Databricks által fejlesztett Supervisor Agent architektúrája három fő lépésből áll. Az ügynök párhuzamosan hajt végre SQL és vektoros kereséseket, majd elemzi az egyesített eredményeket, mielőtt eldöntené a következő lépést. Ez a párhuzamosítás teszi lehetővé, hogy az ügynök adatforrások közötti lekérdezéseket is kezeljen, anélkül, hogy az adatokat először normalizálni kellene.
Az ügynök emellett önhibajavító képességgel is rendelkezik. Ha egy kezdeti lekérdezés zsákutcába jut, az ügynök felismeri a hibát, újraformálja a lekérdezést, és más utat próbál. Például, ha egy szerző 115 publikációja alapján kell egy cikket megtalálni, az ügynök először párhuzamosan lekérdezi a SQL és a vektoros keresést. Ha nincs átfedés, adaptálódik, és SQL JOIN-t hajt végre mindkét korlátozáson, majd a vektoros keresőrendszert hívja meg az eredmény ellenőrzésére.
A Supervisor Agent deklaratív konfigurációval működik, ami azt jelenti, hogy nem kell egyedi kódot írni minden adathalmazhoz vagy feladathoz. Egy új adatforrás csatlakoztatása egyszerűen a forrás tartalmának és a megválaszolható kérdéseknek a leírását jelenti. Michael Bendersky, a Databricks kutatási igazgatója szerint „az ügynök képes arra, hogy a kérdést SQL-lekérdezésre és keresési lekérdezésre bontsa, kombinálja a SQL és RAG eredményeit, következtessen ezekből, további lekérdezéseket tegyen, majd megállapítsa, hogy a végső választ megtalálta-e.”
Ez a megközelítés jelentős előnyt jelent a vállalatok számára, különösen ott, ahol a feladatok strukturált és strukturálatlan adatok közötti lekérdezéseket igényelnek. A kutatás szerint az egyedi RAG-folyamatok építése nehezebb út, mint egy deklaratív ügynök keretrendszer alkalmazása. A Databricks szerint az ügynök jól működik öt-tíz adatforrással, de a túl sok forrás egyszerre történő hozzáadása, kurálás nélkül, lassabbá és kevésbé megbízhatóvá teheti a rendszert. Bendersky azt javasolja, hogy a skálázás fokozatosan történjen, és minden lépésnél ellenőrizzék az eredményeket, ahelyett, hogy az összes rendelkezésre álló adatot egyszerre csatlakoztatnák. Az adatok pontossága továbbra is alapvető feltétel.