DS0707 - Interactions des mondes physiques, de l'humain et du monde numérique

Interactions tactiles haute performance – TurboTouch

TurboTouch : Interactions tactiles haute performance

Fonctions de transfert et latence en interaction tactile

Enjeux et objectifs

Les surfaces tactiles sont devenues le moyen privilégié d’interagir avec des systèmes interactifs, qu’il s’agisse d’ordinateurs de bureau, smartphones ou tablettes. L’interaction avec ces surfaces peut se faire de manière directe ou indirecte, suivant qu’elle est co-localisée ou non avec le con-tenu interactif. Dans les deux cas, les fonctions de transfert définissent la relation entre le déplacement d’un doigt et le changement d’état d’objets virtuels affichés. La conception de ces fonctions reste le plus souvent réduite à des choix ad-hoc. Un premier objectif du projet a été de caractériser les fonctions utilisées dans les systèmes existants afin de connaître leurs performances, en vue de les améliorer et de proposer des alternatives de conception. Le temps de latence entre une action physique d’un utilisateur sur une surface tactile et la mise à jour d’informations visuelles affecte également l’utilisation des surfaces tactiles. L’objectif a été de développer des méthodes permettant de mesurer facilement ces temps, méthodes qui font défaut. Un autre objectif a été de développer des algorithmes pour compenser partiellement ou totale-ment cette latence.

Notre approche repose sur la prise en compte des capacités motrices et perceptuelles des utilisateurs ainsi que des caractéristiques de la tâche qu’ils sont en train d’accomplir. Il s’agit égale-ment de connaître finement le fonctionnement des systèmes actuels, pour prendre en compte leurs caractéristiques dans l’amélioration des fonctions de transfert et de la compensation de la latence. Nous avons pour cela commencé par une caractérisation des fonctions de transfert pour les tâches de pointage et de défilement. Nous avons ensuite développé de nouveaux dispositifs de mesure et caractérisation du temps de latence. Ces travaux ont permis de travailler sur le développement de nouveaux algorithmes de compensation de la latence, basés sur une extrapolation de trajectoire. Nous avons également développé des modèles pour la modélisation des tâches de pointage et le développement de nouvelles fonctions de transfert. Les différentes pro-positions ont été validées par la réalisation d’expériences contrôlées et de simulations qui ont permis de démontrer la pertinence des solutions proposées.

Nous avons obtenu des résultats majeurs sur la mesure et la compensation de la latence. Nous avons en effet développé la première technique de mesure de bout-à-bout de la latence et de caractérisation de son origine, quand un utilisateur est en train d’interagir avec un système. Nous avons également développé un nouvel algorithme de compensation de la latence qui offre de meilleures performances que les algorithmes de la littérature. Nous avons par ailleurs développé de nouvelles fonctions de transfert pour le défilement sur smartphones plus performantes que celles de la littérature.
Nous avons aussi testé de nouvelles fonctions de transfert utilisées de sorte à caractériser la performance visuo-motrice face à de telles fonctions de transfert. Une étude portant sur la latence de calibration à une nouvelle fonction de transfert a également été réalisée.

Le projet ouvre des perspectives sur l’amélioration des techniques de compensation de la latence et des fonctions de transfert. Il s’agit par exemple de mettre en place de nouveaux outils afin d’estimer l’erreur de prédiction en fonction du contexte, dans le but de pouvoir adapter en temps réel le degré de compensation. Les algorithmes développés pourraient aussi s’adapter à d’autres contextes, comme celui de la réalité virtuelle. Dans un horizon plus lointain, l’objectif est de pourvoir mesurer et compenser en temps réel la latence d’un système. Pour les fonctions de transfert, le travail de modélisation des tâches de pointage reste à approfondir afin de pouvoir prendre en compte l’utilisation de fonctions de transfert non-linéaires et ainsi disposer d’outils plus avancés pour les optimiser.

Nos travaux ont fait l’objet de publications dans les meilleures conférences des domaines de l’Interaction Homme-Machine et de l’Automatique : 3 articles à CHI (CORE A*), 4 à UIST (CORE A) et 2 à CDC (CORE A). Deux articles de journaux ont également été p

L'interaction tactile est fortement influencée par deux facteurs intimement liés: les fonctions de transfert appliquées sur les mouvements des doigts et la latence. On sait peu de choses sur ces fonctions conçues de manière empirique, et la latence n'a été étudiée dans ce contexte que récemment. Ce projet propose une approche scientifique de ces sujets afin de permettre des interactions tactiles haute performance. Nous caractériserons précisément les fonctions et la latence des systèmes actuels. Nous développerons un banc d'essai pour faciliter des recherches pluridisciplinaires sur les fonctions de transfert. Nous l'utiliserons pour concevoir des techniques de réduction et compensation de la latence et de nouvelles fonctions. Des spécialistes en Interaction Homme-Machine, Automatique et Science du Mouvement collaboreront sur ce projet: les équipes MINT et NON-A d'Inria Lille et l'équipe Comptortements Perceptivo-Moteurs de l'Institut des Sciences du Mouvement.

Coordinateur du projet

Monsieur Géry Casiez (Institut National de Recherche en Informatique et Automatique)

L'auteur de ce résumé est le coordinateur du projet, qui est responsable du contenu de ce résumé. L'ANR décline par conséquent toute responsabilité quant à son contenu.

Partenaire

Inria Institut National de Recherche en Informatique et Automatique
ISM Institut des Sciences du Mouvement

Aide de l'ANR 455 664 euros
Début et durée du projet scientifique : septembre 2014 - 48 Mois

Liens utiles

Inscrivez-vous à notre newsletter
pour recevoir nos actualités
S'inscrire à notre newsletter