3 Otázky: Honování robotického vnímání a mapování | Zprávy MIT

Chůze k příteli nebo procházení uliček v obchodě s potravinami se může zdát jako jednoduché úkoly, ale ve skutečnosti vyžadují sofistikované schopnosti. Je to proto, že lidé jsou schopni bez námahy porozumět svému okolí a detekovat složité informace o vzorcích, objektech a svém vlastním umístění v prostředí.

Co kdyby roboti mohli vnímat své prostředí podobným způsobem? Touto otázkou myslí výzkumníci z MIT Laboratory for Information and Decision Systems (LIDS) Luca Carlone a Jonathan How. V roce 2020 tým pod vedením Carlone vydal první iteraci Kimera, knihovna s otevřeným zdrojovým kódem, která umožňuje jedinému robotu sestavit trojrozměrnou mapu svého prostředí v reálném čase a zároveň označovat různé objekty. V loňském roce výzkumné skupiny Carlone a How's (SPARK Lab a Aerospace Controls Lab) představen Kimera-Multi, aktualizovaný systém, ve kterém mezi sebou komunikuje více robotů za účelem vytvoření jednotné mapy. A 2022 papír spojený s projektem nedávno obdržel letošní IEEE Transactions on Robotics King-Sun Fu Memorial Best Paper Award, udělená nejlepšímu článku publikovanému v časopise v roce 2022.

Carlone, který je profesorem letectví a kosmonautiky pro rozvoj kariéry Leonarda a profesorem letectví a kosmonautiky Richard Cockburn Maclaurin, hovořil s LIDS o Kimera-Multi a budoucnosti toho, jak by roboti mohli vnímat své prostředí a jak s ním interagovat.

Q: V současné době se vaše laboratoře zaměřují na zvyšování počtu robotů, kteří mohou spolupracovat při vytváření 3D map prostředí. Jaké jsou potenciální výhody škálování tohoto systému?

Jak: Klíčová výhoda závisí na konzistenci v tom smyslu, že robot může vytvořit nezávislou mapu a tato mapa je konzistentní, ale není globálně konzistentní. Naším cílem je, aby tým měl konzistentní mapu světa; to je klíčový rozdíl ve snaze vytvořit konsenzus mezi roboty na rozdíl od nezávislého mapování.

Carlone: V mnoha scénářích je také dobré mít trochu redundance. Pokud například nasadíme jediného robota do pátrací a záchranné mise a tomuto robotovi se něco stane, nenajde přeživší. Pokud průzkum provádí více robotů, je mnohem větší šance na úspěch. Rozšíření týmu robotů také znamená, že jakýkoli daný úkol může být dokončen v kratším čase.

Q: Jaké jsou některé lekce, které jste se naučili z nedávných experimentů, a jaké výzvy jste museli překonat při navrhování těchto systémů?

Carlone: Nedávno jsme v areálu MIT provedli velký mapovací experiment, ve kterém osm robotů urazilo celkem až 8 kilometrů. Roboti nemají žádné předchozí znalosti o kampusu a nemají GPS. Jejich hlavním úkolem je odhadnout vlastní trajektorii a sestavit kolem ní mapu. Chcete, aby roboti rozuměli prostředí jako lidé; lidé chápou nejen tvar překážek, aby je obešli, aniž by do nich narazili, ale také chápou, že předmět je židle, stůl a tak dále. Je tu sémantická část.

Zajímavostí je, že když se roboti setkají, vymění si informace, aby si vylepšili mapu prostředí. Pokud se například roboti připojí, mohou využít informace ke korekci své vlastní trajektorie. Výzvou je, že pokud chcete dosáhnout konsensu mezi roboty, nemáte dostatečnou šířku pásma na výměnu příliš velkého množství dat. Jedním z klíčových příspěvků našeho dokumentu pro rok 2022 je nasazení distribuovaného protokolu, ve kterém si roboti vyměňují omezené informace, ale stále se mohou dohodnout na tom, jak mapa vypadá. Neposílají snímky z kamery tam a zpět, ale pouze si vyměňují specifické 3D souřadnice a vodítka extrahovaná z dat senzoru. Když si budou nadále vyměňovat taková data, mohou vytvořit konsenzus.

Právě teď vytváříme barevně kódované 3D sítě nebo mapy, ve kterých barva obsahuje nějaké sémantické informace, například „zelená“ odpovídá trávě a „purpurová“ budově. Ale jako lidé máme mnohem sofistikovanější chápání reality a máme mnoho předchozích znalostí o vztazích mezi objekty. Pokud bych například hledal postel, šel bych do ložnice, místo abych prozkoumával celý dům. Pokud začnete chápat složité vztahy mezi věcmi, můžete být mnohem chytřejší ohledně toho, co robot v prostředí dokáže. Snažíme se přejít od zachycení pouze jedné vrstvy sémantiky k více hierarchické reprezentaci, ve které roboti rozumí místnostem, budovám a dalším konceptům.

Q: K jakým druhům aplikací může Kimera a podobné technologie v budoucnu vést?

Jak: Společnosti autonomních vozidel hodně mapují svět a učí se z prostředí, ve kterých se nacházejí. Svatým grálem by bylo, kdyby tato vozidla mohla mezi sebou komunikovat a sdílet informace, pak by mohla vylepšovat modely a mapy mnohem rychleji. Současná řešení jsou individualizovaná. Pokud vedle vás zastaví náklaďák, nevidíte určitým směrem. Mohlo by jiné vozidlo poskytnout zorné pole, které vaše vozidlo jinak nemá? Toto je futuristický nápad, protože vyžaduje, aby vozidla komunikovala novými způsoby, a je třeba překonat problémy s ochranou soukromí. Pokud bychom však tyto problémy dokázali vyřešit, dokážete si představit výrazně zlepšenou bezpečnostní situaci, kdy máte přístup k datům z více úhlů pohledu, nejen ze svého zorného pole.

Carlone: Tyto technologie budou mít mnoho aplikací. Již dříve jsem se zmínil o hledání a záchraně. Představte si, že chcete prozkoumat les a hledat přeživší nebo mapovat budovy po zemětřesení způsobem, který pomůže záchranářům dostat se k lidem, kteří jsou v pasti. Dalším prostředím, kde by se tyto technologie mohly uplatnit, jsou továrny. V současné době jsou roboti, kteří jsou nasazováni v továrnách, velmi rigidní. Sledují vzory na podlaze a ve skutečnosti nejsou schopni porozumět svému okolí. Pokud ale v budoucnu uvažujete o mnohem flexibilnějších továrnách, roboti budou muset spolupracovat s lidmi a existovat v mnohem méně strukturovaném prostředí.