Optimizer la performance de l'interaction gestuelle – GESTURE

Le projet combine design d'interaction, étude empirique et modèle d'interaction

Résultats techniques
- Un vocabulaire gestuel sur montre interactive publié à la conférence nationale IHM’17.
- Un système robotisé sur smartphone qui explore d’autres fonctions du geste (e.g. communication sociale) publié à UIST’18.
- Une nouvelle technologie de peau interactive offrant un vocabulaire de gestes riches (UIST’19)
- Une nouvelle présentation des raccourcis gestuels. Article en cours d’écriture pour CHI’22.
Résultats méthodologiques
- de nouvelles méthodes pour étudier la transition des menus vers les raccourcis gestuels (mais aussi les raccourcis claviers) publiés à IHM’18.
Résultats théoriques
- Introduction et utilisation du concept de « transfert retroactif » issus de la psychologique pour l’interaction gestuelle publié à ACM CHI’20
- Elaboration et validation d’un modèle de la transition des menus vers les raccourcis gestuels (et raccourcis claviers) publié à ACM ToCHI (2022).

Prix du meilleur article à IHM'18

Marc Teyssier, Gilles Bailly, Catherine Pelachaud, Eric Lecolinet. 2020. Conveying Emotions Through Device-Initiated Touch. IEEE Transactions on Affective Computing. doi: 10.1109/TAFFC.2020.3008693.

Gilles Bailly, Mehdi Khamassi, Benoit Girard. Computational Model of the Transition from Menus to Shortcuts. ACM Transactions of Computer Human Interaction (ToCHI). Sous Press

Marc Teyssier, Gilles Bailly, Catherine Pelachaud, Eric Lecolinet.. MobiLimb: Augmenting Mobile Devices with a Robotic Limb. The 31st Annual ACM Symposium, Oct 2018, Berlin, Germany. ACM Press,

Marc Teyssier, Gilles Bailly, Catherine Pelachaud, Eric Lecolinet, Andrew Conn, and Anne Roudaut. 2019. Skin-On Interfaces: A Bio-Driven Approach for Artificial Skin Design to Cover Interactive Devices. In Proceedings of the 32nd Annual ACM Symposium on User Interface Software and Technology(UIST '19). Association for Computing Machinery, New York, NY, USA, 307–322. DOI:https://doi.org/10.1145/3332165.3347943

Reyhaneh Raissi, Evanthia Dimara, Jacquelyn H. Berry, Wayne D. Gray, and Gilles Bailly. 2020. Retroactive Transfer Phenomena in Alternating User Interfaces. In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems (CHI '20). Association for Computing Machinery, New York, NY, USA, 1–14. DOI:https://doi.org/10.1145/3313831.3376538

Kashyap Todi, Gilles Bailly, Luis Leiva, and Antti Oulasvirta. 2021. Adapting User Interfaces with Model-based Reinforcement Learning. Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems. Association for Computing Machinery, New York, NY, USA, Article 573, 1–13. DOI:https://doi.org/10.1145/3411764.3445497

Gilles Bailly, Emmanouil Giannisakis, Marion Morel, Catherine Achard.Caractériser la transition des menus vers les raccourcis claviers. 30eme conférence francophone sur l’interaction homme-machine, Oct 2018, Brest, France. IHM-2018, pp.30-41, 2018. (Meilleur papier)

Emeline Brulé, Gilles Bailly, Marcos Serrano, Marc Teyssier, Samuel Huron. Explorer le potentiel des interactions tangibles rotatives pour les Smart Watches. AFIHM. 29ème conférence franco- phone sur l’Interaction Homme-Machine, Aug 2017, Poitiers, France. ACM, IHM-2017, 8 p., 2017,

Robotic Finger for Mobile Device (Doigt robotise´ sur dispositif portable). FR 1858553. 20/09/2018.
Marc Teyssier, Gilles Bailly, Catherine Pelachaud, Eric Lecolinet.

Ce projet est dans le domaine de l'Interaction Homme-Machine (IHM) et vise à développer l'expertise des utilisateurs avec les systèmes interactifs afin qu'ils puissent sélectionner efficacement et peu d'apprentissage un grand nombre de commandes. Le projet se concentre sur l'interaction gestuelle, une modalité d'interaction a fort potentiel pour la sélection de commandes.En effet, l'interaction gestuelle peut radicalement modifier la courbe d'apprentissage des utilisateurs sur une grande variété de systèmes (par exemple, l'informatique portée) et donc changer en profondeur la manière dont les utilisateurs utilisent de nouvelles technologies. Cependant, ceci n'est possible si et seulement si il est possible d'établir une compréhension fondamentale de comment l'interaction gestuelle peut influencer l'utilisabilité et la performance des systèmes d'information.

Ce projet vise cet objectif et délivre des méthodes et des outils pour aider les concepteurs à développer des interactions gestuelles. Il se concentre en priorité sur les gestes 2D présents sur une grande variété de surfaces tactiles (smartphone, tablettes, pavé tactile, etc.). La difficulté du projet est de considérer à la fois des utilisateurs novices et des utilisateurs experts ainsi que la transition entre ces deux types de comportement. Les vocabulaires gestuels proposés doivent être facile à apprendre, rapide d'execution et suffisamment grand pour permettre aux utilisateurs d'exécuter un grand nombre de raccourcis gestuels.

Les trois aspects innovants du projet sont:
- la formulation. Nous considérons le problème de l'interaction gestuelle comme un problème d'optimisation. Nous construisons un modèle prédictif de performance et développons des méthodes d'optimisation interactive pour garantir des interfaces optimales tout en réduisant le besoin d'évaluations expérimentales qui sont onéreuses et nécessitent beaucoup de temps.
- l'approche. Nous nous concentrons principalement sur l'association commande-geste. En particulier, nous étudions les relations sémantiques entre les commandes et comment les représenter dans l'espace de conception des gestes.
- la méthode. Nous transposons des résultats des sciences cognitives et de la linguistique, Elaborative Encoding et Simpicity Theory, en IHM pour optimiser l'interaction gestuelle.

Les résultats de ce projet sont:
- scientifique avec avec une meilleure compréhension des associations commande-geste
- technique avec la création d'un outil aidant les concepteurs à créer des interactions gestuelles efficaces
- économique en utilisant nos résultats pour développer OuiHop, une start-up dans le domaine du transport qui souhaite développer ses applications de bureau et ses applications sur mobiles avec de l'interaction gestuelle