Ötször gyorsabbak a LLM-ek a biológiai adatok annotálásában, mint a korábbi eszközök
Az Anthropic és az OpenAI modelljei ötször gyorsabban dolgozzák fel a biológiai leírásokat, mint a korábbi NLP-eszközök, és emberi szinten teljesítenek az annotálásban.
Az új LLM-alapú ügynökök jelentősen felgyorsítják a biológiai adatok rendszerezését, leküzdve a korábbi munkaerőigényes folyamatokat. A kutatók öt vezető LLM-et teszteltek, amelyek „ügynöki kurátorként” működtek egy önálló munkaterületen. Ez a megközelítés a korábbi, emberi szakértőkre támaszkodó módszerekkel szemben kulcsfontosságú előrelépést jelent — közölte a Stanford és a Google Robotics közös tanulmánya.
A korábbi, 2018-as teljesítménytesztet újraértékelve, ahol a gépi és emberi konzisztencia alacsonyabb volt az emberi kurátorok közötti konzisztenciánál, az új ügynökök minden vizsgált metrikában jelentősen felülmúlták a korábbi Semantic CharaParser NLP-eszközt. Az ügynökök teljesítménye beleesett a korábbi emberi kurátorok variabilitásának tartományába, megközelítve, de nem elérve a legjobb emberi teljesítményt.
Kapcsolódó: orvosi LLM-ek fejlesztése
A biológiai adatok új horizontja
Az ügynökök egy PDF-forráskiadványt, egy annotációs útmutatót, valamint négy projektontológiát (UBERON, PATO, BSPO, GO) kaptak, és egy validációs szkript segítségével értékelték őket. Ez a robusztus környezet lehetővé tette a modellek számára, hogy hatékonyan végezzék el a szabad szöveges fenotípus-leírások ontológiai kifejezésekhez való hozzárendelését, ami az összehasonlítható morfológiai adatok tanulmányok közötti integrálásához elengedhetetlen.
Kapcsolódó: növénykutatás gyorsítása
A gépi annotáció új korszaka
A kutatás rávilágít arra, hogy a frontier LLM-ek képesek áthidalni az ontológia-kuráció szűk keresztmetszetét a természetes fenotípusok esetében. Az ügynökök ötször gyorsabban végezték el az annotációt, mint a korábbi eszközök, és az emberi kurátorok teljesítménytartományán belül maradtak, ami jelentős előrelépés a gépi annotáció pontossága és sebessége terén. A Stanford és a Google Robotics közös tanulmánya 2024-ben várható folytatása az Anthropic és az OpenAI modelljeinek további fejlesztését fogja tartalmazni.
Kapcsolódó: tudományos adatelemzés