GeoQuery: új rendszerrel gyorsul a műholdképek keresése katasztrófahelyzetben
A rendszer a CLAY vizuális beágyazásokat szöveges leírásokkal kapcsolja össze, így a felhasználók természetes nyelven kereshetnek a hatalmas adatbázisban.
Nehézkes a Föld-megfigyelési archívumok szemantikus keresése, különösen a gyors reagálást igénylő katasztrófahelyzetekben. A CLAY vizuális alapmodellek gazdag beágyazásokat hoznak létre a műholdképekből, de hiányzik belőlük a természetes nyelvi alapozás, amely az intuitív lekérdezéshez szükséges — írja az ArXiv CV-n megjelent tanulmány.
A távérzékelési CLIP-stílusú modellek teljes kontrasztív betanításához párosított adatokra és számítási kapacitásra van szükség, ami globális szinten nem áll rendelkezésre. Ezt a korlátot kerüli meg a GeoQuery, egy nulla-shot lekérdező rendszer, amely prompt-alapú szöveges proxykat használ.
A műholdképek keresésének új dimenziója
A GeoQuery nem egy közös kódolót tanít be, hanem nyelvi leírásokat generál 100 000 globális Sentinel-2 csempe proxy-részhalmazához. Optimalizálja a leírásgeneráló utasítást, hogy a kapott szöveges beágyazási térben lévő távolságok korreláljanak a fagyasztott CLAY vizuális beágyazási térben lévő távolságokkal.
Vizuális és szöveges keresés szimbiózisa
A lekérdezések két szakaszban oldódnak meg: először szöveges hasonlósági keresés történik a proxy részhalmazon, majd vizuális legközelebbi szomszéd keresés a világszerte elérhető CLAY beágyazásokon. A rendszer 76 katasztrófahelyzettel kapcsolatos adaton mutatott be hatékonyságot, a Sentinel-2 műholdas adatok 2022. decemberi frissítésével.