Gestes multi-dimensionnels pour l’interaction – MDGest

1. Études en laboratoire de la capacité cognitive et motrice des utilisateurs pour découvrir, apprendre, et exécuter différents types de gestes (avec ou sans feedback)
2. Démonstration de la possibilité d'intégration de ces gestes par le développement de prototypes et la distribution d'outils de développement

Cinq nouveaux projets :
- Dwell-and-Spring : gesture widget + toolkit de développement
- ThumbRock : événement pour la sélection discrète et continue sur écran tactile
- SidePress : prototype capturant des gestes de pression
- TilTouch : algorithme + gesture widget pour exécuter des gestes combinant mouvement du doigt et du poignet
- Paper+Smartphone : technique pour l'assistance de la reconnaissance de gestes faits par la main dominante via l'utilisation conjointe de la main non-dominante
- Power-up button : prototype capturant des gestes fait sur et autour d'un bouton accroché à un dispositif d'entrée

Offrir un pouvoir d'expression plus grand dans les mains de l'utilisateur plutôt que d'utiliser des composants graphiques qui utilisent de l'espace écran qui devrait être dédié au document d'intérêt.

1. Caroline Appert, Olivier Chapuis and Emmanuel Pietriga (2012) Dwell-and-Spring: Undo for Direct Manipulation. In CHI '12: Proceedings of the 30th international conference on Human factors in computing systems. ACM, pages 1957-1966.
2. Theophanis Tsandilas. 2012. Interpreting strokes on paper with a mobile assistant. In Proceedings of the 25th annual ACM symposium on User interface software and technology (UIST '12). ACM, New York, NY, USA, 299-308.
3. David Bonnet, Caroline Appert and Michel Beaudouin-Lafon. Extending the Vocabulary of Touch Events with ThumbRock. 8 pages. To appear in Proceedings 39th Graphics Interface conférence (Gi ’13).

L'interaction gestuelle présente de plus en plus d'intérêt pour les dispositifs interactifs de taille réduite à écran tactile qui ont envahi le marché. D'une part, tracer des gestes est bien plus facile et naturel sur une surface horizontale avec un dispositif de pointage direct comme le doigt ou un stylet que sur une surface verticale avec une souris. D'autre part, le paradigme usuel "pointage-puis-clic" montre vite ses limites sur de petits écrans qui ne peuvent afficher que peu de cibles ayant une taille raisonnablement grande pour être désignées avec un doigt sans ambigüité.


À l'heure actuelle, le vocabulaire de gestes utilisés sur ces dispositifs est limité. L'iPhone d'Apple, par exemple, permet d'utiliser des gestes simples comme un glissement de doigt mais reste majoritairement basé sur de la navigation dans de longues listes et des menus hiérarchiques. Plusieurs projets de recherche dans la littérature en Interaction Homme-Machine ont proposé de plus vastes vocabulaires de gestes pour certaines applications. Cependant, la plupart de ces projets ne considère que des utilisateurs experts et ignore donc la complexité cognitive associée à la découverte, la mémorisation et la restitution de gestes. Dans tous ces travaux, la sémantique d'un geste est réduit à sa simple forme en deux dimensions. Cette approche ne passe pas à l'échelle et mène irrémédiablement à des formes compliquées difficiles à mémoriser et exécuter.

Dans ce projet, nous allons nous intéresser aux autres caractéristiques (dimensions) que présentent les gestes, comme par exemple la vitesse d'exécution (globale ou locale), la direction et l'orientation de dessin ou encore les motifs qui peuvent se répéter au sein d'un même geste. Nous utilisons le terme "gestes multidimensionnels" pour caractériser les gestes dont la sémantique est définie selon plus d'une dimension. Afin d'explorer ce nouveau concept et d'encourager son adoption dans les applications interactives modernes, nous proposons de structurer nos recherches selon les étapes suivantes :
(1) Identifier des guides pour la conception des gestes multidimensionnels étant donnée une application et son ensemble de commandes.
(2) Concevoir et évaluer des "gesture widgets", c'est-à-dire de nouveaux composants graphiques qui assistent l'utilisateur dans la découverte, l'apprentissage et l'exécution de gestes multidimensionnels.
(3) Faciliter le développement et le déploiement des gestes multidimensionnels.
(4) Illustrer leur utilisation dans des applications examples et valider leur efficacité/utilité dans des contextes d'utilisation réels.

Tout au long de ce projet, nous publierons dans les meilleurs conférences et journaux en Interaction Homme-Machine, nous créerons et distribuerons du code logiciel "open-source", et nous communiquerons nos résultats à un large public via des vidéos et des démonstrations.