3 questions : perfectionner la perception et la cartographie des robots | Actualités du MIT

Se rendre chez un ami ou parcourir les allées d'une épicerie peuvent sembler des tâches simples, mais elles nécessitent en réalité des capacités sophistiquées. En effet, les humains sont capables de comprendre sans effort leur environnement et de détecter des informations complexes sur des modèles, des objets et leur propre emplacement dans l'environnement.

Et si les robots pouvaient percevoir leur environnement de la même manière ? Cette question préoccupe Luca Carlone et Jonathan How, chercheurs du Laboratoire des systèmes d’information et de décision (LIDS) du MIT. En 2020, une équipe dirigée par Carlone a publié la première itération de Kiméra, une bibliothèque open source qui permet à un seul robot de construire une carte tridimensionnelle de son environnement en temps réel, tout en étiquetant différents objets visibles. L'année dernière, les groupes de recherche de Carlone et How (Laboratoire ÉTINCELLE et Laboratoire de contrôles aérospatiaux) introduit Kimera-Multi, un système mis à jour dans lequel plusieurs robots communiquent entre eux afin de créer une carte unifiée. Un 2022 papier associé au projet a récemment reçu le prix de cette année Transactions IEEE sur la robotique King-Sun Fu Memorial Best Paper Award, décerné au meilleur article publié dans la revue en 2022.

Carlone, professeur agrégé de développement de carrière Leonardo en aéronautique et astronautique, et How, professeur Richard Cockburn Maclaurin en aéronautique et astronautique, ont parlé au LIDS de Kimera-Multi et de l'avenir de la façon dont les robots pourraient percevoir et interagir avec leur environnement.

Question : Actuellement, vos laboratoires se concentrent sur l’augmentation du nombre de robots pouvant travailler ensemble afin de générer des cartes 3D de l’environnement. Quels sont les avantages potentiels de la mise à l’échelle de ce système ?

Comment: Le principal avantage réside dans la cohérence, dans le sens où un robot peut créer une carte indépendante, et que cette carte est auto-cohérente mais pas globalement cohérente. Nous visons à ce que l'équipe ait une carte cohérente du monde ; c'est la principale différence lorsqu'il s'agit d'essayer de former un consensus entre les robots plutôt que de cartographier indépendamment.

Carlone : Dans de nombreux scénarios, il est également bon d'avoir un peu de redondance. Par exemple, si nous déployons un seul robot dans une mission de recherche et de sauvetage et que quelque chose arrive à ce robot, il ne parviendra pas à retrouver les survivants. Si plusieurs robots effectuent l'exploration, les chances de succès sont bien meilleures. Augmenter l'équipe de robots signifie également que n'importe quelle tâche donnée peut être accomplie dans un laps de temps plus court.

Question : Quelles sont les leçons que vous avez tirées des expériences récentes et les défis que vous avez dû surmonter lors de la conception de ces systèmes ?

Carlone : Récemment, nous avons réalisé une grande expérience de cartographie sur le campus du MIT, au cours de laquelle huit robots ont parcouru jusqu'à 8 kilomètres au total. Les robots n'ont aucune connaissance préalable du campus et n'ont pas de GPS. Leurs tâches principales sont d’estimer leur propre trajectoire et de construire une carte autour de celle-ci. Vous voulez que les robots comprennent l’environnement comme le font les humains ; les humains comprennent non seulement la forme des obstacles, pour les contourner sans les heurter, mais comprennent également qu'un objet est une chaise, un bureau, etc. Il y a la partie sémantique.

Ce qui est intéressant, c’est que lorsque les robots se rencontrent, ils échangent des informations pour améliorer leur cartographie de l’environnement. Par exemple, si les robots se connectent, ils peuvent exploiter les informations pour corriger leur propre trajectoire. Le défi est que si vous souhaitez parvenir à un consensus entre les robots, vous n’avez pas la bande passante nécessaire pour échanger trop de données. L’une des principales contributions de notre article de 2022 est le déploiement d’un protocole distribué, dans lequel les robots échangent des informations limitées mais peuvent toujours se mettre d’accord sur l’apparence de la carte. Ils n'envoient pas d'images de caméra, mais échangent uniquement des coordonnées 3D spécifiques et des indices extraits des données des capteurs. En continuant à échanger ces données, ils peuvent parvenir à un consensus.

À l'heure actuelle, nous construisons des maillages ou des cartes 3D codés par couleur, dans lesquels la couleur contient des informations sémantiques, comme « vert » correspond à l'herbe et « magenta » à un bâtiment. Mais en tant qu’humains, nous avons une compréhension beaucoup plus sophistiquée de la réalité et nous possédons de nombreuses connaissances préalables sur les relations entre les objets. Par exemple, si je cherchais un lit, j’irais dans la chambre au lieu d’explorer toute la maison. Si vous commencez à comprendre les relations complexes entre les choses, vous pourrez être beaucoup plus intelligent sur ce que le robot peut faire dans l’environnement. Nous essayons de passer de la capture d'une seule couche de sémantique à une représentation plus hiérarchique dans laquelle les robots comprennent les pièces, les bâtiments et d'autres concepts.

Question : À quels types d’applications Kimera et des technologies similaires pourraient-elles aboutir à l’avenir ?

Comment: Les constructeurs de véhicules autonomes font beaucoup de cartographie du monde et apprennent des environnements dans lesquels ils se trouvent. Le Saint Graal serait que si ces véhicules pouvaient communiquer entre eux et partager des informations, ils pourraient alors améliorer leurs modèles et leurs cartes beaucoup plus rapidement. Les solutions actuelles sont individualisées. Si un camion s'arrête à côté de vous, vous ne pouvez pas voir dans une certaine direction. Un autre véhicule pourrait-il offrir un champ de vision que votre véhicule n'aurait pas autrement ? Il s’agit d’une idée futuriste car elle nécessite que les véhicules communiquent de nouvelles manières et il y a des problèmes de confidentialité à surmonter. Mais si nous parvenions à résoudre ces problèmes, vous pourriez imaginer une situation de sécurité considérablement améliorée, dans laquelle vous aurez accès aux données sous plusieurs angles, et pas seulement depuis votre champ de vision.

Carlone : Ces technologies auront de nombreuses applications. J'ai parlé plus tôt de recherche et de sauvetage. Imaginez que vous souhaitiez explorer une forêt et rechercher des survivants, ou cartographier des bâtiments après un tremblement de terre de manière à aider les premiers intervenants à accéder aux personnes piégées. Un autre contexte où ces technologies pourraient être appliquées est celui des usines. Actuellement, les robots déployés dans les usines sont très rigides. Ils suivent des schémas sur le sol et ne sont pas vraiment capables de comprendre leur environnement. Mais si l’on envisage des usines beaucoup plus flexibles à l’avenir, les robots devront coopérer avec les humains et exister dans un environnement beaucoup moins structuré.