53 ezer képből tanult CropVLM: új AI-modell gyorsítja a növénykutatást
A modell a mezőgazdasági szakterületre adaptált látás-nyelv modell (VLM), amely a Domain-Specific Semantic Alignment (DSSA) módszerrel finomhangolja a vizuális jellemzőket.
Új mesterséges intelligencia modell, a CropVLM jelentősen felgyorsíthatja a növények tulajdonságainak mérését, ami kulcsfontosságú a modern növénytermesztésben. A manuális adatgyűjtés eddig munkaigényes és szubjektív volt, ez a „fenotipizálási szűk keresztmetszet” lassította a folyamatot — írja az ArXiv CV.
A hagyományos számítógépes látásrendszerek nem tudták kezelni a kihívást, mivel fajspecifikus annotációt igényeltek, és nem voltak elég rugalmasak a sokféle nemesítési populációhoz. A CropVLM ezt a hiányosságot hidalgja át, 52 987 manuálisan kiválasztott kép-felirat páron tanult, amelyek 37 növényfajt fednek le természetes, szántóföldi körülmények között.
A modell hatékonyan párosítja az agrártudományi terminológiát a finom szemcséjű vizuális jellemzőkkel. A kutatók bevezették a Hybrid Open-Set Localization Network (HOS-Net) architektúrát is, amely integrálja a CropVLM-et, lehetővé téve új növényfajták észlelését kizárólag szöveges leírás alapján.
A CropVLM fejlesztése a 2605.03259v1 számú tanulmányban részletezett kutatás eredménye.