Algorithmes de contrôle partagé pour la coopération entre homme et groupes de robots – MULTISHARED

L'un des objectifs de MULTISHARED sera d'étudier comment appliquer les approches modernes de planification réactive de trajectoire aux problèmes de contrôle décentralisé de formation et de localisation pour un groupe multi-robots. La quantification de l'incertitude de la localisation avec confiance (intégrité) est également un point clé pour une navigation sûre. Elle permet de définir un volume limite de la position réelle du robot. Dans un contexte multi-robots, les limites de l'incertitude de localisation relative peuvent être exploitées pour imposer une distance de séparation minimale garantie entre les drones. Lorsque l'on opère dans un environnement ouvert, d'autres règles de vol réglementaires ou liées à la mission peuvent s'appliquer (zones interdites de vol, obstacles cartographiés, terrain). Elles nécessitent un positionnement global de la flotte de drones afin d'être appliquées. Les approches d'erreur limitée basées sur l'analyse d'intervalle et la propagation de contraintes ont été utilisées avec succès pour la localisation de véhicules marins, aériens et terrestres. Nous prévoyons d'étudier l'utilisation d'approches décentralisées basées sur les intervalles pour la localisation d'une flotte de drones. Une partie importante de cette recherche consistera à assurer la robustesse aux mesures erronées et à maintenir la largeur de bande de communication requise à un niveau bas.
Un autre objectif de MULTISHARED sera d'étudier le problème de la téléopération intuitive de plusieurs robots de nature différente, en trouvant de nouvelles approches théoriques et des solutions scientifiques qui font progresser l'état de l'art du contrôle partagé des systèmes de téléopération semi-autonomes par l'apprentissage automatique. Nous commencerons par aborder des approches innovantes d'apprentissage supervisé issues de notre longue expérience dans le domaine de la robotique, visant à maximiser la similarité d'action entre le corps humain et l'équipe robotique par rapport à la tâche choisie. Un autre objectif important sera d'étudier le problème de la transmission de plusieurs éléments d'information en retour d'une manière confortable et discrète, en faisant progresser l'état de l'art des techniques de rendu haptique multi-types et multi-points par l'apprentissage automatique. Nous commencerons par étudier l'effet perceptif de la distribution de multiples stimuli haptiques (par exemple, étirement de la peau, vibrotactile, pression) afin d'apprendre la meilleure façon de fournir les sensations cibles. Ensuite, nous étudierons des approches d'apprentissage supervisé capables de mettre en correspondance les nombreuses informations différentes enregistrées par l'équipe de robots avec l'utilisateur humain, en essayant de faire correspondre les actions des robots esclaves et de la main humaine par rapport à l'environnement.

Optimisation de la trajectoire des robots pour la surveillance persistante de l'environnement (mono-robot et multi-robots) : nous avons présenté une approche de la théorie du contrôle pour l'optimisation de la trajectoire de robots mobiles adaptés à la surveillance de l'environnement. Les applications possibles impliquent la localisation de sources émettant une substance (par exemple, un gaz) ou l'estimation de produits chimiques, de pollution, de pesticides, etc. dans l'environnement. La méthode proposée est basée sur l'optimisation du gramme de constructibilité afin de maximiser les informations collectées lors du parcours d'une trajectoire d'état. La maximisation de l'information collectée est combinée avec des contraintes énergétiques pour définir un contrôleur basé sur l'optimisation qui réalise une surveillance environnementale persistante. Ce travail peut être la base de plusieurs suivis : par exemple, un opérateur humain peut également faire partie de l'équipe (par exemple dans les missions de recherche et de sauvetage) et les robots doivent continuellement scanner l'environnement pour localiser les sources de substances dangereuses.
Contrôle partagé d'une équipe hétérogène homme-robot : nous avons présenté un cadre de contrôle décentralisé de la connectivité et de la maintenance pour une équipe hétérogène homme-robot. L'algorithme est capable de gérer une équipe composée d'un nombre arbitraire de robots mobiles (drones et robots terrestres dans ce cas) et d'humains, pour réaliser en collaboration des tâches d'exploration et de patrouille. Pendant que l'humain explore l'environnement, les robots se déplacent de manière à maintenir l'équipe connectée via un algorithme de maintien de la connectivité ; en même temps, chaque robot peut également se voir assigner une cible spécifique à visiter pour explorer l'environnement inconnu. Nous avons considéré des tâches de patrouille, d'exploration et de recherche et sauvetage. L'utilisateur bénéficie également d'un retour haptique (également sous forme d'indices vibro-tactiles) pour améliorer sa connaissance de la situation et l'informer de l'état du groupe de robots.
Planification de trajectoire multi-robots en fonction de la perception : nous avons présenté une stratégie optimale décentralisée et en ligne en fonction de la perception pour les systèmes multi-robots. L'objectif est de maximiser les informations recueillies le long de la trajectoire planifiée sur les configurations relatives des robots et, par conséquent, de minimiser l'incertitude de localisation. Grâce à un changement approprié de coordonnées, nous avons calculé le gramme de constructibilité, qui peut quantifier l'information sur l'état futur d'un système non linéaire, d'une manière décentralisée avec seulement des approximations mineures. Cela permet de formuler un problème de génération de trajectoire en ligne et décentralisé pour une localisation optimale.

Au cours de la prochaine période, nous prévoyons d'explorer davantage la composante RV du projet et d'organiser et de réaliser des expériences complètes avec un humain contrôlant un groupe de multi-robots à distance. En particulier, nous envisagerons la mise en œuvre des mécanismes de contrôle, de planification, d'apprentissage et de repérage haptique proposés en exploitant une équipe réelle de drones volant dans un environnement réel (par exemple, encombré). Dans ce scénario, nous aborderons des tâches de surveillance, de cartographie et d'exploration multi-robots d'environnements dangereux et/ou éloignés, en combinant le contrôle topologique décentralisé du mouvement avec notre approche innovante MULTISHARED. Nous réaliserons des études approfondies sur des sujets humains, suivies d'une analyse statistique fondée sur des principes, afin de comparer l'approche MULTISHARED proposée avec des solutions plus classiques, telles que la substitution sensorielle par des stimuli audio et visuels. Nous envisagerons à la fois des scénarios simulés et des environnements réels (par exemple, des drones volant dans notre salle des drones).

G. Notomista, C. Pacchierotti, P. Robuffo Giordano. Online Robot Trajectory Optimization for Persistent Environmental Monitoring. IEEE Control Systems Letters, 6, 1472-1477, 2021
M. Aggravi, G. Sirignano, P. Robuffo Giordano, and C. Pacchierotti. Decentralized Control of a Heterogeneous Human-Robot Team for Exploration and Patrolling. IEEE Transactions on Automation Science and Engineering, 2021
M. Aggravi, A. Elsherif, P. Robuffo Giordano, and C. Pacchierotti. Haptic-Enabled Decentralized Control of a Heterogeneous Human-Robot Team for Search and Rescue in Partially-known Environments. IEEE Robotics and Automation Letters, 6(3):4843–4850, 2021
G. Notomista, C. Pacchierotti, and P. Robuffo Giordano. Multi-Robot Persistent Environmental Monitoring Based on Constraint-Driven Execution of Learned Robot Tasks. In 2022 IEEE Int. Conf. on Robotics and Automation (ICRA 2022), 2022
N. De Carli, P. Salaris, and P. Robuffo Giordano. Online Decentralized Perception-Aware Path Planning for Multi-Robot Systems. In 2021 IEEE International Symposium on Multi-Robot and Multi-Agent Systems (MRS 2021), 2021

La recherche sur les systèmes multi-robots a prospéré au cours des dernières décennies, avec de nombreuses avancées théoriques et expérimentales. Elle se fonde sur l’idée que la coordination de plusieurs robots simples permet de réaliser des tâches arbitrairement complexes, avec l’avantage de la flexibilité et de la robustesse à la perte d’un robot. Cela permet d’envisager des applications multiples des groupes de robots, notamment dans la recherche et le sauvetage, la lutte contre les incendies, l’exploration ou encore l’intervention dans des milieux dangereux ou inaccessibles.

Une thématique de recherche active actuellement concerne le contrôle décentralisé de formations de robots mobiles, en se limitant à une perception (capteurs embarqués) et une communication locales. Le but est de pouvoir déployer des groupes de robots autonomes dans des environnements « non triviaux » (intérieur de bâtiments, milieu sous-marin, sous-terrain ou encore spatial) où les infrastructures de mesure et de communication centralisées (ex. GPS) ne sont pas disponibles. L’effort de recherche se concentre ainsi sur l’amélioration de l’autonomie et la prise de décision dans d’un groupe de robots pour la réalisation de missions en situations complexes (présence d’obstacles, perturbations, perception et communication limitées, etc.).

Dans le même temps, un intérêt croissant se porte sur les interfaces homme/multi-robots, c’est à dire la façon de connecter un opérateur humain à un groupe de robots afin de partager les tâches de prise de décision et le contrôle de la mission. Cependant, la conception de tels systèmes de télé opération multi-robots efficaces reste un défi. D’un côté, l’opérateur doit pouvoir, d’une seule main, contrôler l’action d’un groupe de robots de façon naturelle et intuitive. De l’autre, le groupe de robot doit être en mesure d’offrir à l’opérateur un retour d’information fonctionnel et exhaustif sur l’environnement distant.

Ce sujet est prometteur car le succès d’une mission dépend souvent de l’assistance humaine, pour plusieurs types de raisons : (i) des raisons technologiques, l’autonomie des robots restant limitée quand il s’agit d’opérer dans des environnements incertains et non structurés, où l’expérience et les capacités cognitives humaines sont cruciales pour la compréhension de la situation en vue de la prise de décision ; (ii) des raisons liées à la tâche, quand l’opérateur humain prend activement part à la mission (par exemple pour sélectionner des zones d’intérêt afin d’organiser une mission d’exploration) ; (iii) des raisons liées à la sécurité, la législation imposant généralement la présence d’un opérateur afin de superviser la mission et prendre la responsabilité de la gestion des événements imprévus.

Construit autour de la solide expérience du candidat et de son équipe dans les thématiques de coordination et prise de décision multi-robots, IA pour la robotique, contrôle partagé et interaction homme-robot, l’objectif de MULTISHARED est de contribuer significativement à l’avancée de l’état de l’art dans l’autonomie des systèmes multi-robots et les interactions homme / groupe de robots. Le but est de permettre à un opérateur de contrôler intuitivement le mouvement coordonné d’un groupe de drones dans un environnement distant, en se concentrant sur la séparation des rôles entre l’autonomie du groupe de robots (contrôle du mouvement et de la configuration spatiale, prise de décision en ligne) et l’intervention humaine consistant à donner des ordres de haut niveau en étant informé de l’état du groupe par la réalité virtuelle et le retour haptique