Guide multimodal pour interagir avec l'espace – SAM-Guide

Interagir avec l'espace est un défi constant pour les Déficients Visuels (DV) car typiquement les informations spatiales sont surtout visuelles. En recodant les informations optiques en stimuli auditifs ou tactiles, les dispositifs de substitution sensorielle (SSD) se présentent comme des interfaces homme-machine (IHM) prometteuses pour assister les DV. L'ambition initiale du SSD universel était de remplacer l'ensemble de l'œil, SAM-Guide vise à des schémas d’encodage communs à des applications multiples.
Par quel moyen donner accès en temps réel aux variables géométriques nécessaires pour réaliser une diversité de tâches sans les yeux ? De tels schémas d'encodage nécessitent la sélection de variables géométriques essentielles, et leur représentation par des signaux auditifs et/ou tactiles efficaces et confortables. Nous nous focaliserons sur des boucles d'action-perception représentant des affordances d'atteinte de cibles ; cibles qui seront indiquées par des balises 3D, représentées par une orientation et une distance égocentrée.
Cette grammaire commune aidera les DV à acquérir de l'autonomie dans diverses activités vitales ou de loisirs. Parmi elles, le consortium a des acquis dans l'orientation et la navigation, la localisation et l'atteinte d'objets, le tir laser. Les modèles neurocognitifs actuels en action-perception et de cognition spatiale, suggèrent des principes communs pour concevoir ces encodage: parcimonie (informations minimales mais suffisantes pour une tâche), congruence (exploiter les circuits de contrôle sensorimoteur existants ) et multimodalité (signaux redondants ou complémentaires entre modalités). Pour une collaboration efficace, tous les partenaires travailleront sur la base de principes, méthodologie, et outils communs. L’adoption d’une approche "living-lab" centrée sur l'utilisateur garantira une attention renouvelée aux besoins des DV dès la phase de conception.
Cinq laboratoires comprenant des ergonomes, neuroscientifiques, ingénieurs, et mathématiciens, expérimentés dans la conception d'appareils d'assistance pour DV, dupliqueront, combineront et partageront leurs prototypes de DSS: une ceinture de navigation vibrotactile, un guide virtuel audio-spatialisé pour le jogging, et un pointeur sonore vers des objets à atteindre. L’évaluation et l’amélioration itérative des schémas d’encodage se déroulera en trois phases : 1) dans un cadre expérimental contrôlé, par des jeux sérieux de réalité augmentée en salle de capture de mouvement (le prototypage virtuel facilitera la création d'environnements ad hoc, l’aspect ludique améliorera l'engagement); 2) les sous-tâches d'interaction spatiale seront combinées et testées en espaces intérieurs et extérieurs plus écologiques; 3) le système SAM-Guide sera adapté aux conditions réelles lors d'une rencontre de laser-run, un nouveau handisport incluant chacune des trois sous-tâche.
SAM-Guide permettra d’élaborer des modèles de cognition spatiale et d’intégration multisensorielle. Il fournira des lignes directrices pour représenter des interactions spatiales en facilitant l'émergence d’une conscience spatiale, dans une perspective orientée sur la tâche. Les bibliothèques de transcodage produites seront modulaires et adaptables à d’autres dispositifs. La plateforme expérimentale ludique proposée offrira un outil d’évaluation de la cognition spatiale, ainsi que de nouvelles stratégies d’apprentissage de la mobilité pour DV. Les systèmes et les librairies fourniront des solutions pour une plus grande autonomie des DV dans des activités intérieures et extérieures, y compris sportives (ex : laser-run). Les résultats de SAM-Guide pourraient également contribuer aux industries de la cobotique, des prothèses et fauteuils roulants intelligents, ainsi qu’au développement de jeux AR ou VR plus immersifs. Mais, notre principal objectif reste la qualité de vie des DV, d’améliorer leur autonomie, leur accès à de nouvelles formes de loisirs, et leur participation à notre société.