Az end-to-end neurális hálók hozhatják el az önvezető autók igazi áttörését
Az End-to-End tanulás, egyetlen neurális hálóval vezérlő megoldás, hozhat áttörést az önvezető autók iparágában 2024-ben.
Az önvezető autók fejlesztésénél a moduláris, részfeladatokra bontott megközelítés volt a bevett gyakorlat, ahol külön modulok feleltek az észlelésért, a lokalizációért, a tervezésért és a vezérlésért — írja a The Gradient.
Ez a hagyományos módszer, amelyet az iparág az elmúlt évtizedben alkalmazott, azonban nem hozott áttörést. Ezzel szemben az End-to-End tanulás, amely egyetlen neurális hálózattal kezeli a teljes rendszert, új reményt ad a fejlesztőknek.
A LLM-ek és az önvezetés
A nagy nyelvi modellek (LLM-ek) alapja a szövegek tokenekké alakítása, majd a transzformátor architektúra segítségével a következő szó előrejelzése. Ez a folyamat a mesterséges intelligencia számos területén forradalmat hozott, és felmerült a kérdés, vajon az önvezetésben is hasonló szerepet játszhatnak-e.
Az önvezető autók kontextusában a LLM-ek bemenete képekből, szenzoradatokból (LiDAR, RADAR pontfelhők) vagy algoritmusokból származó adatokból állhat, amelyek mind tokenizálhatók. A transzformátor modell lényegében változatlan marad, mivel tokenekkel dolgozik, az output pedig a kívánt feladatoktól függ.
A LLM-ek a percepcióban (környezet leírása, objektumok azonosítása), a tervezésben (döntéshozatal a vezetésről) és az adatok generálásában is kulcsszerepet játszhatnak. A kutatások 2023-ban a detektálás, predikció és követés területeire fókuszáltak, ahol a GPT-4 Vision modell már képes az objektumok azonosítására.