ScientistOne: Az AI-kutató már most ellenőrizhető bizonyítékokkal dolgozik
A ScientistOne nevű új AI-rendszer a kutatás minden lépését dokumentálja, hogy elkerülje a hamisított hivatkozásokat és az ellenőrizhetetlen eredményeket.
Az önálló kutató AI-k egyre jobb eredményeket produkálnak, de gyakran hibákat rejtenek a munkájukba: kitalált idézeteket, megismételhetetlen pontszámokat és a leírástól eltérő megvalósításokat. A Stanford kutatói erre fejlesztették ki a Chain-of-Evidence (CoE) keretrendszert, amely minden állítást az azt alátámasztó bizonyítékhoz köt.
A CoE Audit nevű utólagos ellenőrző eljárás négy ponton vizsgálja a rendszerek integritását: pontosság-ellenőrzés, specifikáció-megsértés, hivatkozás-ellenőrzés és módszertani-kód illeszkedés. Ezeket az ellenőrzéseket egységesen alkalmazzák minden vizsgált rendszerre.
A bizonyítéklánc építése
A kutatás 75 papírját elemezték öt különböző rendszer és öt frontkutatási feladat kapcsán. Az eredmények szerint a vizsgált rendszerek mindegyikénél legalább egy szisztematikus hiba volt kimutatható.
A megbízhatóság új szintje
A ScientistOne célja, hogy az emberi szintű autonóm kutatás felé mozdítsa el az AI-t, biztosítva, hogy az eredmények megbízhatóak és reprodukálhatóak legyenek. A Stanford kutatói 2024-ben tervezik a ScientistOne rendszer további fejlesztését.