Evaluation de l’apprentissage sesnorimoteur dans des systèmes intéractifs geste-son – LEGOS

L’essor considérable des interfaces gestuelles dans les interfaces homme-machine, des systèmes informatiques mobiles aux jeux vidéo, fait émerger de nouveaux dispositifs technologiques et ainsi que de nouveaux usages où le geste est central. De fait, le contrôle gestuel dans des systèmes sonores interactifs s'est fortement développé au cours de ces dix dernières années, tant sur le plan conceptuel que technologique.
L’idée centrale du projet Legos est de croiser des expertises avancées sur les technologies de contrôle sonore par le geste avec des problématiques liées aux neurosciences, concernant en particulier les apprentissages sensori-moteurs. Nous pensons en effet que ces aspects sont insuffisamment intégrés aux développements des systèmes sonores interactifs. Une meilleure compréhension des mécanismes d’apprentissage du couplage geste/son est nécessaire pour proposer des méthodologies efficaces pour leur évaluation et optimisation.
Cela permettra de dépasser de manière significative les limites auxquelles sont confrontées les systèmes sonores interactifs actuels basés sur le geste, souvent développés de manière empirique.

L’objectif du projet Legos est d’étudier de manière systématique l’évaluation de la qualité du couplage geste-son dans des systèmes sonores basés sur une interface gestuelle. Pour cela, nous évaluerons l’apprentissage sensori-moteur, et en particulier son évolution dans le temps, dans divers dispositifs interactifs. Il s’agit donc à la fois de développer, d’évaluer et comparer des systèmes interactifs afin de proposer à moyen terme des nouvelles interfaces gestuelles de contrôle de médias numériques (dont les jeux vidéos et le design sonore) ainsi que des applications médicales comme la rééducation.

Le projet s’appuie sur des méthodes expérimentales, considérant les trois éclairages suivants
1) « contrôle sonore» : Ce premier point correspond à un cas d’apprentissage sensori-moteur où la finalité est de produire un son donné grâce à la manipulation d’une interface gestuelle, comme dans le cas des instruments de musique numérique. L’apprentissage sensorimoteur est évalué au niveau de la qualité du son produit.
2) «apprentissage de geste avec retour sonore » : Ce deuxième point correspond à l’apprentissage sensori-moteur dans le cas où la finalité est d’effectuer un geste donné en s’aidant d’un retour sonore. L’apprentissage sensorimoteur est dans ce cas observé au niveau de la qualité du geste reproduit.
3)« de design sonore interactif » : Ce troisième point correspond à l’apprentissage sensori-moteur dans le cas d’interfaces tangibles, où la finalité est la manipulation correcte d’un objet. Dans ce dernier cas l’apprentissage sensorimoteur est jugé à travers la manipulation de l’objet interactif.
Un synthèse sera effectuée sur la base des différentes expérience afin de proposer une ou des méthodologies spécifiques pour la création de nouvelles interfaces gestuelles.

Legos est donc un projet à vocation interdisciplinaire dédié à l’étude et l’évaluation de l’apprentissage sensori-moteur dans des systèmes interactifs sonores. Ce sujet de recherche est premièrement lié à des thématiques importantes du domaine des STIC (Sciences et Techniques de l’Information et Communication) concernant les interfaces homme-machine, la réalité virtuelle, la réalité augmentée, les technologies liées à la musique et les nouveaux médias. L’Ircam (Institut de Recherche et Coordination Acoustique/Musique STMS UMR CNRS) est un acteur majeur concernant ces thèmes de recherche au niveau international, coordonnant ou participant à plusieurs projets nationaux et européens. Pour intégrer cette dimension neuroscience le projet s’associe à l'équipe Neuromouv (« dynamics of movement and sensori-motor learning ») du Laboratoire de Neurophysique et Physiologie Paris 5 (UMR CNRS), qui est reconnu au niveau international dans ce domaine.