90%-os pontosságra törekszik a Forum AI a geopolitikai értékelésben
A Forum AI célja, hogy az AI-modellek értékelésekor 90%-os konszenzust érjenek el emberi szakértőkkel, különösen olyan „magas tétű témákban”, mint a geopolitika, a mentális egészség és a pénzügyek.
Új céget alapított Campbell Brown, a Meta korábbi hírfőnöke, hogy a mesterséges intelligencia (AI) pontosságát értékelje, különösen a bonyolult, árnyalt témákban — írja a TechCrunch. A Forum AI nevű vállalat 17 hónapja jött létre New Yorkban, és már 3 millió dolláros befektetést is szerzett a Lerer Hippeau vezetésével.
Brown a ChatGPT megjelenésekor döbbent rá, hogy az AI lesz az információáramlás fő csatornája, de annak minősége „nem túl jó”. Aggódott gyermekei jövőjéért is, szerinte „nagyon buták lesznek a gyerekeim, ha nem oldjuk meg ezt a problémát”. A Forum AI célja, hogy a világ vezető szakértőit bevonva benchmarkokat hozzanak létre, majd AI-bírákat képezzenek ki a modellek nagyléptékű értékelésére.
Szakértői konszenzus és valós problémák
A geopolitikai munkához Brown olyan neveket kért fel, mint Niall Ferguson, Fareed Zakaria, Tony Blinken volt külügyminiszter, Kevin McCarthy volt házelnök és Anne Neuberger. A cél az, hogy az AI-bírák nagyjából 90%-os konszenzusra jussanak ezekkel az emberi szakértőkkel, ami a Forum AI szerint már elérhető küszöb. A kezdeti eredmények azonban nem voltak biztatóak: a Gemini például kínai kommunista párt weboldalakról is merített információkat, és szinte minden modell baloldali politikai elfogultságot mutatott.
A pontosság hiányának következményei
Brown szerint a pontosság hiánya nem prioritás az alapmodell-cégeknél, amelyek inkább a kódolásra és a matematikára koncentrálnak. A Meta-nál töltött évei alatt megtapasztalta, mi történik, ha egy platform rossz dolgokra optimalizál, mint például az elkötelezettségre, ami szerinte „szörnyű volt a társadalom számára”. Reméli, hogy az AI megtörheti ezt a ciklust, és a vállalatok az igazságra fognak optimalizálni.
Az üzleti szektor, különösen a hiteldöntések, kölcsönök, biztosítások és felvételi folyamatok területén, nagy hangsúlyt fektet a felelősségre, ezért „azt fogják akarni, hogy a pontosságra optimalizáljunk” — mondta Brown. A Forum AI a New York város első, AI-auditot igénylő felvételi törvénye után, 2024. év végéig tervezi első értékelési eredményeinek publikálását.