Térképezési hibákat javít a városi tervezésben a távérzékelés és a nagy nyelvi modellek kombinációja
A kutatók a távérzékelési képeket több térbeli léptékben vizsgálták, hogy a multimodális nyelvi modellek bemeneteként használják, és felmérjék azok hatását a beépített környezettel kapcsolatos érvelésre.
Új módszert vizsgál a távérzékelési adatok és a nagy nyelvi modellek (LLM) integrálására egy ArXiv-tanulmány, amely az okosvárosok tervezési feladatait célozza. A kutatás alapötlete, hogy a távérzékelési képekkel jellemezzék a beépített környezetet, beleértve a tervezési javaslatokat, az építhetőségi értékelést, a földhasználati mintákat és a kockázatfelmérést — írja az ArXiv.
A tanulmány az InternVL és Qwen modelleket hasonlította össze a beépített környezetre vonatkozó ajánlások pontossága és megbízhatósága szempontjából. Az eredmények azt mutatják, hogy a távérzékelési adatok és a LLM-ek kombinációja jelentős potenciállal rendelkezik az okosvárosok fejlesztésében és a döntéshozatal támogatásában.
A városi szövet részletei
A multimodális nyelvi modellek, mint az InternVL és a Qwen, képesek a vizuális és szöveges információk egyidejű feldolgozására. Ezáltal nemcsak a képeken látható objektumokat azonosítják, hanem azok térbeli elrendezését és funkcionális összefüggéseit is értelmezik, ami kulcsfontosságú a komplex városi környezet elemzésében.
Térképek és történetek
A RealWorldQA adathalmaz, amelyet a „látás” és a „3D térben való érvelés” szétválasztására terveztek multimodális bemenetek mellett, szintén releváns lehet. Ez az adathalmaz a valós világ vizuális kérdés-válaszadását értékeli, a gyakorlati robusztusságra helyezve a hangsúlyt a kurált vagy szintetikus beállítások helyett.
A kutatás rávilágít, hogy a távérzékelési képek és a nagy nyelvi modellek integrációja új eszközöket adhat a várostervezők és döntéshozók kezébe, javítva a pontosságot és a hatékonyságot a jövő okosvárosainak kialakításában. A modellek segítségével a városi infrastruktúra optimalizálása és a környezeti kockázatok azonosítása is pontosabbá válhat, a Qwen modell 2024-es frissítésekor várható, hogy további fejlesztéseket hozzon.