Développement d'un cadre multisensoriel pour l'haptique – Maptics

Nous proposons de développer un écran digital interactif capable de fournir un retour haptique vibrotactile et une modulation ultrasonique du frottement, ainsi que des capacités audiovisuelles à haute résolution. Bien que les travaux existants associent les motifs vibrotactiles à l'électroadhésion, nous pensons qu'il est possible d'utiliser la lubrification ultrasonique car son impact sur la friction à la surface des doigts induit une qualité perceptive plus naturelle. L'utilisation de la lubrification ultrasonique pour générer le retour haptique est cruciale pour Maptics car l'électroradhésion est incompatible avec l'imagerie cérébrale et en particulier avec les mesures EEG en raison du courant électrique qu'elle génère à travers le corps humain. Nous allons donc créer une surface tactile dans laquelle des actionneurs linéaires produiront des vibrations mécaniques et des actionneurs piézoélectriques émettront des ondes ultrasoniques stationnaires en boucle fermée afin de rendre les caractéristiques tactiles vibro-frictionnelles. Dans le cadre de cette nouvelle approche, nous nous appuierons sur nos résultats antérieurs concernant l'influence de la netteté et de la durée sur la perception tactile des signaux ultrasonores transitoires.

Grâce à cette plate-forme expérimentale, nous comprendrons mieux l'interaction entre les rétroactions frictionnelles et vibrotactiles et les mécanismes par lesquels les deux rétroactions se renforcent et se perturbent mutuellement, tant sur le plan physique que perceptif.

La vibroaction simultanée et la lubrification ultrasonique de l'interaction doigt-surface n'ont pas encore été étudiées, même si elles ont le potentiel de lever de sérieuses limites de la technologie actuelle, telles que l'incapacité des vibrations ultrasoniques à fournir un retour convaincant lorsque le geste de l'utilisateur n'implique pas de mouvement du doigt ou la difficulté de créer des formes virtuelles avec des vibrations mécaniques. Maptics a permis de mieux comprendre la mise en œuvre des deux types de retour et de se rendre compte des difficultés et limitations lors de la perception des formes sur une surface tactile. De plus, les résultats de Maptics ont étudié les paramètres qui sous-tendent l’intensité du rendu d’un bord virtuel sur un écran et semblent montrer que l’intensité du signal va dépendre de l’intensité de la stimulation mais aussi de la forme du signal de stimulation.

De plus, le projet a permis d’étudier le retour multisensoriel visio-haptique afin de générer une compréhension plus avancée des mécanismes sous-jacents de l'intégration sensorielle. A cette fin, une étude a été menée sur la reconnaissance simultanée visuelle et tactile de textures naturelles et simulée. Une première expérience a consisté dans l’enregistrement de l’interaction avec des textures naturelles et des tâches psychophysiques sur le ressenti tactile et visuel de ces-même textures simulée. Une deuxième expérience a directement étudié les textures naturelles afin de diminuer les biais potentiels engendré par l’enregistrement et la reproduction des textures qui auraient pu avoir impacté le ressenti de cohérence tactile et visuelle.

Jusqu’à présent, il n’existe aucune plate-forme scientifique permettant de combiner le retour multisensoriel sur des écrans tactiles avec le retour vibro-frictionnel avec la capacité supplémentaire d’imagerie cérébrale EEG. Cette combinaison unique nous permettra de compléter l'évaluation humaine par des tâches psychophysiques avec des enregistrements de l'activité neuronale électrique. Elle permettra également de dissocier les processus cognitifs bottom-up et top-down ainsi que les marqueurs neuronaux du feedback dans chaque modalité. Par conséquent, la combinaison de données psychophysiques et de marqueurs de l’activité neuronale nous permettra de valider et d’étendre les modèles actuels d’intégration multisensorielle. À terme, les modèles plus précis d’intégration multisensorielle favoriseront de meilleures lignes directrices sur la manière dont les signaux multimodaux doivent être implémentés dans les appareils et applications HCI.

Les interfaces digitales actuelles fournissent des informations aux utilisateurs presque exclusivement via des canaux visuels et auditifs. Ainsi, les efforts technologiques se sont concentrés sur l’optimisation des technologies basées sur la vision et l’audition, ainsi que sur l’interaction entre ces deux sens. L’introduction d’un retour haptique adapté aux capacités auditives et visuelles actuelles des HCI pourrait améliorer l’acceptabilité des nouveaux appareils et applications numériques en fournissant un rendu plus convaincant. Par exemple, les applications dans le domaine éducatif et culturel (dans les écoles, les musées, les bibliothèques...) nécessitent d'interagir émotionnellement avec le public et de capter son attention, ce qui est aujourd'hui rendu difficile par l'hyperstimulation sensorielle ambiante. Une perspective importante est d’atteindre des utilisateurs déficients sensoriels pour lesquels l'augmentation multisensorielle peut devenir une aide précieuse de leur vie quotidienne.

Plusieurs études scientifiques ont été publiées dans des journaux et des conférences :

Mayet, Matej, Jean-Loïc Le Carrou, and David Gueorguiev. «Perception of Friction-Related Cues Induced by Temperature Variation on a Surface Display.« 2023 IEEE World Haptics Conference (WHC). IEEE, 2023.

Fradin, Jenna, Sinan Haliyo, and David Gueorguiev. «Humans Struggle to Perceive Congruence in Visuo-Haptic Textures.« 2023 IEEE World Haptics Conference (WHC). IEEE, 2023.

Le, Thanh-loan Sarah, et al. «Tactile Sensitivity to the Frequency Spectrum of Complex Vibrotactile Signals.« bioRxiv(2023): 2023-11.

Rohou-Claquin, Baptiste, et al. «Perception of guitar strings on a flat visuo-haptic display.« International Workshop on Haptic and Audio Interaction Design. Cham: Springer International Publishing, 2022.

Les interfaces IHM actuelles se basent sur un retour audio et visuel réaliste. A l’opposé, le retour haptique est souvent absent des écrans malgré l’apparition récente de produits commerciaux comme le moteur Taptic sur certain smartphones Apple. Malgré le potentiel de l’interaction multimodale pour améliorer l’acceptabilité de l’interaction, son efficacité, et l’inclusion des personnes avec des troubles sensoriels, son développement est freiné par l’absence d’un cadre multisensoriel pour l’intégration du retour haptique avec les signaux audiovisuels mais aussi par la qualité moindre du retour haptique en comparaison avec l’audiovisuel. En conséquence, le futur du retour multisensoriel fait face aux enjeux de la création d’un retour haptique haute-fidélité et de l’utilisation efficace des principes cognitifs qui régissent l’intégration multisensorielle. The défi est significatif mais des solutions prometteuses existent comme la possibilité de combiner les qualités du retour haptique vibrotactile et frictionnel ainsi que d’exploiter les fortes connexions cross-modales entre le toucher, la vision et l’audition pour renforcer l’expérience de l’utilisateur. Le projet Maptics va étudier le potentiel du rendu vibro-frictionnel et du renforcement multisensoriel pour la création d’illusions d’objets 3D virtuels sur l’écran d’une interface haptique multimodale novatrice. L’appareil développé sera utilisé dans des expériences psychophysique et encéphalographique (EEG) qui vont étudier les mécanismes sous-jacents de l’intégration multisensorielle entre les sens. Les marqueurs neurologiques qui seront identifiés vont servir de paramètres quantitatifs pour la modélisation de ces mécanismes. L’appareil et les nouvelles connaissances sur les mécanismes cognitifs vont servir de base à la création d’une interface IHM dédiée à l’haptique multisensorielle qui sera évaluée dans des scénarios de cartes interactives multimodales. Les illusions et les cartes seront évaluées avec des sujets sains et des personnes avec des troubles sensoriels lors d’études participatives. Finalement, les résultats du projet seront rassemblés dans une librairie open-source de sensations multisensorielles pour les écrans tactiles à retour haptique.