Réalité Augmentée et interfaces tangibles pour la supervision et l’interaction avec des essaims de robots – ARTUISIS

Il a d’abord été nécessaire de s’intéresser aux comportements collectifs des essaims : en identifiant les mécanismes à l’origine de l’auto-organisation présente dans les modèles de la littérature, des similitudes révèlent des "méthodes d’auto-organisation", qui possèdent des propriétés qui leur sont propres et permettent de générer certains comportements collectifs. Cette analyse a également mis en évidence des informations susceptibles d’être transmises à l’opérateur pour aider sa compréhension, et permis de proposer des contrôles directement reliés à ces mécanismes afin d’influencer le comportement de l’essaim. A l’issue de cette analyse, une méthode a été sélectionnée, permettant d’obtenir plusieurs comportements différents ainsi que des fragmentations présentant des propriétés différentes, et utilisée dans deux études impliquant des utilisateurs.

La 1ère étude a cherché à évaluer les limites de la perception humaine lorsqu’un opérateur est en présence d’un essaim de robots auto-organisés, notamment les facteurs observables de l’essaim qui influencent cette perception. Avant de proposer la visualisation augmentée d’informations supplémentaires, il était en effet nécessaire d’identifier au préalable ce que l’humain est naturellement capable de percevoir et de comprendre de l’essaim. Dans cette étude, les participants devaient déterminer si les essaims simulés qui leur étaient présentés montraient une fragmentation ou non.

La 2nde étude visait à évaluer si rendre explicites certains aspects du modèle comportemental des robots pourrait transmettre des informations pertinentes aux utilisateurs, dans le but de faciliter leur compréhension de la dynamique de l’essaim. En prenant en compte les résultats de la première étude, montrant les difficultés rencontrées par l’humain pour percevoir certaines fragmentations, nous avons proposé 3 visualisations localisées et augmentées représentant ce que chaque robot perçoit, ce qui motive son processus de décision et l’action décidée. Ces visualisations ont été évaluées afin de déterminer leur impact sur les capacités de l’humain à percevoir et empêcher l’apparition de fragmentations, en utilisant la Réalité Virtuelle (RV) pour immerger les utilisateurs dans le rôle d’opérateur.

Pour adresser le second verrou, l’approche choisie consiste à s’appuyer sur les techniques d’élicitation utilisées dans le domaine de l’Interaction Humain-Machine pour identifier des connaissances d’experts. Ici, les experts seraient des personnes formées aux problématiques d’interaction avec les essaims de robots, et l’objectif principal serait de déterminer quelles interactions, formes, dynamiques d’objet seraient pertinentes pour visualiser (forme physique) mais surtout contrôler l’essaim. La conception et le développement hardware / software d'un prototype permettra ensuite d’évaluer la performance de ce dispositif. L’interacteur sera ensuite évalué (utilisabilité, performances) auprès d’utilisateurs non experts.

Les résultats de la première étude montrent que les humains perçoivent correctement la fragmentation de l’essaim (environ 90% du temps) pour les comportements de déplacement coordonné, de densification et de mouvement désordonné. Cependant, ils ont des difficultés à percevoir la fragmentation lorsque l’essaim adopte un comportement d’expansion, car il ne présente aucun indice qui permettrait d’estimer une perte de communication entre les agents. En outre, les résultats montrent qu’il est difficile pour les humains d’anticiper correctement la fragmentation dans toutes les catégories de comportement. De plus, les humains mettent plus de temps à répondre et peinent à anticiper la fragmentation lorsque l’essaim adopte un comportement de mouvement désordonné, car le mouvement erratique des agents empêche d’anticiper l’apparition de la fragmentation. Nous avons également montré que la distance inter/intra-groupe et la vitesse de séparation influencent les chances d’identifier correctement la fragmentation de l’essaim, ce qui suggère que les humains utilisent, entre autres indices, la distance séparant les groupes pour percevoir la fragmentation, ainsi que la vitesse de séparation du centre de masse des groupes. Ces résultats mettent en évidence les situations dans lesquelles il est le plus difficile pour un opérateur de percevoir et d’anticiper la fragmentation.

Les résultats de la seconde étude montrent que l’affichage localisé et systématique des interactions entre robots à l’aide de liens, de la direction des robots à l’aide de flèches et de leur force dominante à l’aide de flèches colorées, ne montre aucune influence significative permettant d’en déduire qu’il aide à anticiper ou à choisir la bonne interaction pour éviter la fragmentation. De plus, les humains anticipent et préviennent plus facilement la fragmentation du comportement de densification que dans les comportements d’expansion, de déplacement coordonné et de mouvement désordonné. Ces résultats montrent qu’il existe un réel besoin d’aider les humains à prévenir la fragmentation d’essaims, notamment pour les comportements de déplacement coordonné, d’expansion et de mouvement désordonné. Les visualisations proposées n’améliorant pas de manière significative la capacité des utilisateurs à prévenir les fragmentations, il est nécessaire d’explorer d’autres solutions.

Les essaims de robots sont envisagés pour être utilisés dans de nombreux cas d’applications provenant de domaines divers, comme l'agriculture, la recherche et le sauvetage de personnes lors d'accidents, ou l'exploration. Afin d’atteindre ce but, les recherches se concentrent sur l’amélioration de ces essaims. Les évolutions futures vont rendre les essaims plus performants et composés de plus grandes quantités de robots capables d’ajuster leurs comportements en fonction de la situation, en totale autonomie, et d’adopter des comportements et dynamiques de plus en plus difficiles à appréhender pour l’humain. Avec l’amélioration de l’autonomie et de l’efficacité des essaims de robots, il devient crucial de renforcer les recherches sur l’interaction humain-essaim. Cela permettra d’assurer que l’humain reste capable de comprendre et d’intervenir sur le fonctionnement des essaims quand cela s’avère nécessaire. Afin de permettre à l’humain de pouvoir garder le contrôle de l’essaim, nous avons dans ce projet contribué à la recherche sur l’interaction humain-essaim en approfondissant la façon dont l’humain appréhende les essaims et en identifiant des moyens de l’aider. Ces travaux ont mis en avant des situations difficiles à appréhender pour l’humain, et des comportements pouvant induire l’humain en erreur quant à l’état réel de l’essaim, tout en sachant que ces comportements sont des "blocs de base" que l’on retrouve dans des comportements composés, plus complexes.

Des scénarios impliquant plusieurs utilisateurs contrôlant simultanément un essaim pourraient être également envisagés, soulevant le problème de la mise en place de la collaboration. En effet, l’essaim étant prévu pour fonctionner en autonomie, les utilisateurs ne font que l’influencer. Dans ce contexte, un utilisateur observant l’essaim peut-il comprendre que l’essaim est influencé par un autre utilisateur et non pas par son environnement ? Peut-il comprendre l’intention derrière cette influence ? Ne risque-t-il pas d’interagir car le comportement de l’essaim ne lui convient pas et ainsi contrecarrer la stratégie de l’autre utilisateur ? La collaboration impliquant plusieurs utilisateurs et un (ou plusieurs) essaim(s) est un sujet qui ne semble pas encore avoir été abordé dans la littérature. Il serait cependant intéressant de s’y pencher, car cela nécessiterait de définir des méthodes pour collaborer et des outils pour communiquer les intentions des utilisateurs entre eux.

En raison de leur nature distribuée et autonome, les essaims de robots ont des propriétés d'auto-adaptation très utiles, mais qui rendent difficiles toute supervision (visualisation et compréhension) et tout contrôle par un opérateur humain. La problématique consiste tout d'abord à aider l'opérateur à comprendre et à visualiser le comportement complexe de l'essaim, émergeant des interactions entre les robots; et d'autre part à trouver des moyens d'interagir avec l'essaim de manière efficace. Ce projet propose 1) d'utiliser la Réalité Augmentée dans l'aide à l'observation et à la compréhension des mécanismes du comportement de l'essaim, et 2) de concevoir et d'utiliser un interacteur tangible spécifique pour représenter la dynamique spatiale de l'essaim, et l'influencer de façon naturelle et intuitive. Une évaluation de l'apport du dispositif dans la compréhension des utilisateurs et l'utilisabilité du système, dans deux cadres d'expérimentation, est prévue.