Capteurs actifs et panoramiques pour la cartograpie sémantique d'objets – PACOM

La façon dont les humains perçoivent le monde extérieur nous apparaît naturelle, immédiate et sans efforts, mais repose sur de nombreux processus sensori-moteurs qui contribuent à nos capacités de perception. Par exemple, lorsque nous marchons dans un environnement intérieur, nous sommes capables de mémoriser des objets pertinents et des configurations de l'environnement que nous utilisons ensuite pour planifier des actions. Le but du projet PACOM est d'implémenter certaines de ces capacités dans un système pour participer à la compétition « CAROTTE ». Ce projet s'intéresse donc à la compréhension de la manière dont un système autonome physique peut construire et extraire ce type d'information des données sensorielle et sensori-motrices et générer des plans et des actions pour explorer et naviguer dans un environnement d'intérieur typique. Nous développerons donc un robot pouvant réaliser une cartographie sémantique 3D d'un grand environnement inconnu. Cet objectif sera atteint en intégrant deux sous-systèmes majeurs. Le premier sous-système fournira une cartographie et une localisation simultanées en 3D à partir de plusieurs capteurs laser et de vision panoramique. La carte utilisera une représentation hiérarchique intégrant une structure 3D texturée pour le bas niveau et des concepts sémantiques de haut niveau tels que les pièces, les couloirs et les objets détectés dans l'environnement. Le second sous-système réalisera la recherche visuelle d'objets en utilisant une caméra panoramique et une caméra active. Ce sous-système intégrera un calcul de saillance visuelle panoramique permettant de sélectionner rapidement les zones dans lesquelles des objets peuvent être présents et une détection d'objets par apparence à une plus grande résolution en utilisant une caméra « pan-tilt-zoom » dirigée vers les zones saillantes pour détecter les objets de manière robuste. La cartographie et la détection d'objets seront conduites de manière autonome en utilisant une stratégie d'exploration multi objectifs intégrant à la fois le besoin de cartographier la structure 3D et le besoin de détecter les objets et les structures sémantiques présents dans l'environnement. Ce projet de recherche fondamentale sera conduit par trois partenaires spécialisés dans la navigation pour la robotique mobile (ENSTA), la vision panoramique et la vision par ordinateur (ISIR) et l'intégration logicielle pour la robotique mobile (Gostai). Le système sera développé de manière incrémentale pour pouvoir participer chaque année à la compétition « CAROTTE » avec de nouvelles fonctionnalités pour chaque édition.