AI-ügynökök segítenek a fizikai AI fejlesztésében a nanousd-labs segítségével
Az NVIDIA Omniverse Labs nanousd-labs megoldása AI-ügynökök segítségével generál specifikáció-kompatibilis USD futtatókörnyezeteket, elkerülve a legacy kód adaptálását és lehetővé téve a memóriakontrollt.
Az NVIDIA nanousd-labs nevű új eszköze AI-ügynökök segítségével teszi lehetővé a fejlesztők számára, hogy könnyű, specifikáció-kompatibilis USD (Universal Scene Description) futtatókörnyezeteket (runtime) hozzanak létre közvetlenül az USD Core Specificationből. Ez az új megközelítés megkerüli a nagy, elavult kódok adaptálásának szükségességét, és lehetővé teszi a futtatókörnyezetek testreszabását memóriakontroll, teljesítmény és ABI (Application Binary Interface) szempontok szerint.
A nanousd-labs működése
A nanousd-labs módszertana az USD Core Specificationt, amelyet az Alliance for OpenUSD (AOUSD) publikál, formális szerződésként kezeli. Az AI-ügynökök elemzik a specifikációt, implementációs kódot írnak, majd specifikáció-származtatott tesztekkel validálják azt. A fejlesztők így az építészeti döntésekre koncentrálhatnak, míg az ügynökök automatizálják a specifikáció-kód feladatokat, mint a parsolás, jelenetkompozíció és értékfeloldás — közölte az NVIDIA Omniverse Labs.Kapcsolódó: AI-ügynökök Jetsonon
Előnyök a nanousd-labs használatával
A nanousd egy stabil C ABI adatréteget biztosít, amely elkülönül a rendereléstől. Ez zökkenőmentes integrációt tesz lehetővé a meglévő OpenUSD-vermekkel, valamint dinamikus backend-cserét támogat, miközben egységes API-t tart fenn. A fejlesztők közvetlenül használhatják a nanousd-t, vagy adaptálhatják az AI-vezérelt módszertant saját fizikai AI munkafolyamataikhoz, mivel a hozzájárulásokat és bővítéseket aktívan ösztönzik a nyílt szabvány és a Core Spec Working Group révén.Kapcsolódó: tartós AI-ügynökök
Az OpenUSD egy nyílt, bővíthető keretrendszer, amely közös jelenetleíró nyelvet kínál a fizikai AI számára. Lehetővé teszi a csapatoknak, hogy CAD-adatokat, szimulációs eszközöket és valós telemetriát vigyenek be egy megosztott, fizikailag pontos világképbe. Korábban az USD-implementáció létrehozása általában egy nagy, meglévő kód bázis adaptálását igényelte, még azok számára is, akiknek specifikus memórialenyomatra, eltérő ABI-re vagy más teljesítményjellemzőkre volt szükségük.
A nanousd-labs egy alternatív utat kínál: a futtatókörnyezet közvetlenül a szabványból generálható. Ez a megközelítés azért lehetséges, mert az USD-t egy formális és géppel olvasható specifikáció definiálja. Az AOUSD által kidolgozott USD Core Specification a verziószámozott szabvány, amely meghatározza, hogyan komponálódnak és oldódnak fel az USD-adatmodellek a rétegek között. Mivel a specifikáció pontos szerződésként szolgál emberek és ügynökök számára is, a fejlesztők utasíthatják az ügynököket a specifikus munkaterheléshez szükséges kód generálására.
Kapcsolódó: OpenAI vizualizáció
Ez a módszer kiegészíti a meglévő kód adaptálását vagy a specifikáció kézi implementálását, lehetővé téve a gyorsabb implementációs ciklusokat és a végfelhasználók fizikai AI termékeit, amelyek illeszkednek a telepítési környezetükhöz. A nanousd-labs az NVIDIA Omniverse Labs részeként került publikálásra, amely nyílt, kísérleti projektek gyűjteménye. Egy belső hackathon során épült, és könnyű módszert kínál az USD-futtatókörnyezetek AI-ügynökökkel történő generálására.
A nanousd-labs módszertana azon az elgondoláson alapul, hogy az USD Core Specificationt szerződésként kezelik. A specifikáció meghatározza a viselkedést, amelyet egy kompatibilis futtatókörnyezetnek produkálnia kell, nem pedig azt, hogyan kell felépíteni. Ahelyett, hogy egy meglévő kód bázist adaptálnának, az ügynökök közvetlenül olvassák a specifikációt, olyan kódot írnak, amelynek meg kell felelnie ennek a viselkedésnek, és a kimenetet egy, a specifikációból származtatott tesztesettel validálják. A szabvány tartós, a generált kód pedig rugalmas. Úgy tervezték, hogy különböző korlátok, például memória, teljesítmény vagy nyelv szerint regenerálható legyen, anélkül, hogy a kompatibilitás elveszne.
Kapcsolódó: biztonságos ügynökök
A fejlesztők irányítása alatt az ügynökök szakaszonként dolgozzák fel a specifikációt, generálják az egyes viselkedéseket megvalósító kódot, és futtatják azt egy, a szabványból származtatott tesztesettel, iterálva, amíg a kimenet meg nem felel a specifikáció követelményeinek. Azok a szabályok, amelyek meghatározzák, hogyan strukturálják, oldják fel és írják felül a jelenetadatokat, mind szövegként vannak kifejezve, amelyet az ügynökök alkalmaznak és ellenőriznek. Ez teszi gyakorlatilagivá a megközelítést. A specifikáció szerződésként szolgál, amelyet a fejlesztők az ügynökökkel megépíttetnek és validáltatnak, nem pedig dokumentációként, amelyet valaki egyszer elolvas és manuálisan értelmez.
Mivel az implementáció a specifikáció alapján generálódik, a kompatibilitás beépül a módszertanba, nem pedig egyetlen implementációhoz kötődik. A cél az, hogy a fejlesztők a futtatókörnyezetet különböző korlátokhoz regenerálhassák, testreszabva azt a munkaterhelésükhöz anélkül, hogy feláldoznák a szabványnak való megfelelést. A nanousd-labs esetében az ügynökök kezelték a mechanikus specifikáció-kód feladatokat, beleértve a parsolást, a jelenetkompozíciót és a jelenetértékek rétegek közötti feloldását, míg a mérnökök feleltek a teljesítményért, a kompromisszumokért és az építészeti döntésekért. A megírt szabvány azt jelenti, hogy minden implementációs feladatnak van egy egyértelmű meghatározása a helyességre, amely tesztelhető.
Kapcsolódó: BioNeMo kutatás
A nanousd-labs példaként szolgál arra, hogyan használhatják a fejlesztők az AI-ügynököket és az USD Core Specificationt egy működő USD-implementáció generálására. A megoldás két belépési pontot kínál a fejlesztők számára, hogy kipróbálhassák fizikai AI projektjeiken. Az NVIDIA Omniverse Labs közreműködője, a nanousd-labs jelenleg tesztelés alatt áll több nyílt forráskódú projekten.