Pénzügyi kutatásban gyengén teljesít az AI — mutatja a Deep FinResearch Bench
A Deep FinResearch Bench három dimenzióban vizsgálta a jelentések minőségét: a minőségi szigor, a mennyiségi előrejelzés pontossága és az állítások hitelessége.
Új értékelési keretrendszert vezettek be a mesterséges intelligencia pénzügyi befektetési kutatásban nyújtott teljesítményének mérésére, amely szerint az AI-generált jelentések még elmaradnak a szakértői színvonaltól — írja az ArXiv AI.
A Deep FinResearch Bench nevű teljesítményteszt célja a pénzügyi mélykutatási (DR) ügynökök átfogó értékelése. A rendszer automatizált pontozási eljárással teszi lehetővé a skálázható felmérést, összehasonlítva a vezető DR-ügynökök és a pénzügyi szakemberek által írt jelentéseket.
Az eredmények azt mutatják, hogy az AI-generált jelentések mindhárom vizsgált dimenzióban hiányosságokat mutatnak a szakemberek által készített elemzésekhez képest. Ez aláhúzza a domain-specifikus, pénzügyekre szabott DR-ügynökök fejlesztésének szükségességét.
A kutatók remélik, hogy munkájuk szabványos alapot teremt a DR-ügynökök benchmarkolására a pénzügyi kutatás területén, ezzel segítve a jövőbeli fejlesztéseket.