Design et apprentissage de gestes dans les interactions humain-machine : les vidéos du workshop ELEMENT
Interaction gestuelle : de l’intuitivité à l’apprentissage
La majorité des interactions humain-machine basées sur le mouvement proposent des interfaces « intuitives » et des vocabulaires gestuels triviaux, qui facilitent l’exécution de gestes mais limitent l’utilisation de mouvements corporels complexes et expressifs.
Pour permettre des interactions plus engageantes et véritablement « incarnées », l’équipe du projet ANR ELEMENT s’attache à concevoir des vocabulaires de mouvements faciles à apprendre et à composer, en s’appuyant tout particulièrement sur l’expertise de danseurs ou de musiciens. Elle étudie aussi le développement de modèles computationnels capables d'analyser les mouvements des utilisateurs en temps réel pour fournir divers mécanismes de feedback et de guidage multimodaux (par exemple un feedback sonore propre à chaque geste). Ces modèles pourraient potentiellement s’adapter à l'expertise de l'utilisateur et à son évolution spécifique, afin de faciliter l’acquisition de compétences motrices.
Ce projet de recherche fondamentale mobilise des approches multidisciplinaires (sciences cognitives, intelligence artificielle, traitement du signal, interaction humain-machine, design, musique/arts, SHS) dans l’objectif, à long terme, de favoriser l'innovation dans l'interaction multimodale, la communication non verbale à l'interaction avec médias numériques dans des applications créatives. Les cas d’usages sont multiples : pour les interfaces musicales, les technologies d’assistance ou la réadaptation par exemple.
Une journée d’échanges et de démonstrations
Le worskhop organisé en fin d’année 2019 à l’Ircam fut l’occasion de présenter les enjeux et approches de travaux de recherche en cours, mais aussi des systèmes interactifs, et de favoriser les partages d’expérience lors de conférences-débats.
Démo : le système CODA de live coding pour le mapping mouvement-son
© Workshop ELEMENT
Les partenaires du projet ANR ELEMENT
Coordonné par Frédéric Bevilacqua, le projet ELEMENT (2019 – 2021) est financé par l’Agence nationale de la recherche (ANR) et regroupe 3 partenaires : l’Institut de recherche et coordination acoustique musique (IRCAM), le Laboratoire de Recherche en Informatique (LRI) et le Laboratoire d'Informatique pour la Mécanique et les Sciences de l'Ingénieur (CNRS – LIMSI).