Stimuler l’Apprentissage de Mouvements dans les Interactions Humain-Machine – ELEMENT

Le projet est basé sur des cycles rapides comprenant des études expérimentales, et le développement de modèles et d'outils.

Premièrement, des méthodologies de design centrées sur les utilisateurs/trices et participatives sont utilisées avec des praticiens/iennes experts en musique et en danse.

Deuxièmement, nous développons des modèles informatiques en tirant parti de notre expertise sur l'apprentissage machine centré sur l'utilisateur, une communauté émergente dans le domaine de l'IHM (voir par exemple l'atelier CHI 2016 sur l'apprentissage machine centré sur l'humain). Une telle approche diffère des approches classiques de l'apprentissage machine qui reposent généralement sur de grands ensembles de données et se concentrent sur l'amélioration des algorithmes. L'apprentissage machine centré sur l'utilisateur propose des perspectives plus larges sur des applications concrètes et avec une attention particulière à l'interaction avec les utilisateurs ou les designers.

Troisièmement, le développement des outils est fondé sur nos plateformes logicielles actuelles. En particulier, nous développons des prototypes en utilisant des environnements de programmation interactifs (par exemple Max/MSP) ainsi que des applications web.

Principaux résultats des 18 premiers mois:

Un travail sur l’état de l’art a été effectué collaborativement par tous les partenaires, en considérant plusieurs domaines et approches : l’apprentissage de mouvement, le design de gestes et des modèles computationnels pour l’apprentissage.
Concernant les études expérimentales, plusieurs études sont menées en parallèle. Premièrement, une étude de terrain, avec des entretiens semi-structurés, a été menée en interrogeant 12 professionnels de la danse sur leur transition d’une pratique de la danse classique à d’autres pratiques.
Une autre étude menée au LRI a concerné l’apprentissage de mouvement par des danseurs à partir d’un support vidéo. Un prototype d’annotation et de segmentation de vidéos (MoveOn) a été poursuivi afin d’aider les danseurs à acquérir des mouvements complexes d’une chorégraphie.
Une étude expérimentale a été menée par l’IRCAM en collaboration avec le LRI, sur la variabilité des mouvements lors de l’apprentissage de mouvement du haut du corps (mid-air gestures), et les effets de sonification du mouvement. Cette étude, qui a été menée sur 3 jours avec 24 participants, a permis de récolter un total de 2160 données gestuelles et de constituer une base de données utiles pour d’autres études en cours sur l’apprentissage de métriques.

Divers modèles sont actuellement testés et devraient permettre d'offrir de nouvelles direction pour l'utilisation de modèle adaptatifs pour des systèmes interactifs gestuels. Par exemple, le LRI a commencé à explorer des méthodes de transfert de modèles de réseaux de neurones profonds pré-entraînés pour l’adaptation à des vocabulaires personnels et expressifs.

De nouveaux outils pour l’apprentissage machine interactif sont également en développement:
- Un nouveau framework de programmation web pour l’apprentissage machine interactif a été développé (par le LIMSI et le LRI), appelé Marcelle. Initialement conçu à des fins pédagogiques, le framework commence à être utilisé en recherche au sein du projet, par exemple pour le transfer learning.
- Une version entièrement révisé de l’application web CoMo permettant d’associer un retour sonore à mouvement, avec de l’apprentissage machine interactif.

Concernant les actions de disséminations, Notre premier Workshop/Colloque publique, Movement Design and Learning, tenu en 2019 à l’Ircam fut un succès, Les conférences sont disponibles en ligne (https://medias.ircam.fr/x6984c8). Nous prévoyons de poursuivre cette initiative par d’autres colloque et workshop publics les années suivantes.

Caramiaux, B., Françoise, J., Liu, A. W., Sanchez, T., & Bevilacqua, F. (2020). Machine Learning Approaches For Motor Learning: A Short Review. Frontiers in Computer Science.https://hal.archives-ouvertes.fr/hal-02558779

Schwarz, D. Liu, W. Bevilacqua, F. (2020). A Survey on the Use of 2D Touch Interfaces for Musical Expression, In Proceedings of NIME’20.
hal.archives-ouvertes.fr/hal-02557522

Rivière, J. P., Alaoui, S. F., Caramiaux, B., & Mackay, W. E. (2019). Capturing Movement Decomposition to Support Learning and Teaching in Contemporary Dance. Proceedings of the ACM on Human-Computer Interaction, 3(CSCW), 1-22. DOI: 10.1145/3359188.
hal.archives-ouvertes.fr/hal-02378487

Lemouton, Bevilacqua, F., S., Borghesi, R., Haapamäki, S., & Fléty, E. (2019, October). Following Orchestra Conductors: the IDEA Open Movement Dataset. In Proceedings of the 6th International Conference on Movement and Computing (pp. 1-6). DOI: 10.1145/3347122.3359599.
hal.archives-ouvertes.fr/hal-02469891v1.

Ley-Flores, J., Bevilacqua, F., Bianchi-Berthouze, N., & Taiadura-Jiménez, A. (2019, September). Altering body perception and emotion in physically inactive people through movement sonification. In 2019 8th International Conference on Affective Computing and Intelligent Interaction (ACII) (pp. 1-7). IEEE. DOI: 10.1109/ACII.2019.8925432.
hal.archives-ouvertes.fr/hal-02558385v1

Bien que les “interfaces utilisateur naturelles” sont de plus en plus répandues dans les appareils grand public, l'utilisation de mouvements corporels expressifs reste limitée dans la plupart des interactions humain-machine. Afin de limiter l’effort de mémorisation et faciliter l'exécution des gestes, la plupart des interactions basées sur le mouvement proposent des interfaces «intuitives» et des vocabulaires gestuels triviaux. Bien que ceux-ci facilitent l'adoption, ils limitent néanmoins les possibilités d’interactions plus complexes, expressives et véritablement incarnées. Nous proposons de passer des notions d’intuitivité à des notions d’“apprenabilité”. Avec des interactions “apprenables”, les utilisateurs novices devraient être capables s’approprier un nouveau système qui modulerait la difficulté à leur niveau, et s'adapterait à l'amélioration des compétences motrices afin d’atteindre des interactions complexes, expressives et engageantes. Les nouveaux paradigmes d'interaction pourraient ainsi exiger des utilisateurs qu'ils développent des compétences sensori-motrices spécifiques transférables entre les interfaces numériques. Notre projet aborde à la fois des problèmes méthodologiques et de modélisation computationnelle. Premièrement, nous devons élaborer des méthodes pour concevoir des vocabulaires de mouvements, lesquelles seraient faciles à apprendre et à composer afin de créer des phrases de mouvement riches et expressives. Puisque les vocabulaires de mouvement proposés par les utilisateurs novices sont souvent idiosyncrasiques et ont un pouvoir expressif limité, nous proposons de capitaliser sur la connaissance et l'expérience des experts du mouvement tels que les danseurs et les musiciens. Deuxièmement, nous devons concevoir des modèles computationnels capables d'analyser les mouvements des utilisateurs en temps réel pour fournir divers mécanismes de feedback et de guidage multimodaux (par exemple visuels et auditifs). Nous faisons l’hypothèse que les modèles de mouvement devraient s’adapter à l'expertise de l'utilisateur et à son évolution spécifique afin de faciliter l’acquisition des expertises motrices. Nous proposons donc d'aborder trois questions de recherche principales. 1) Comment concevoir des mouvements et des gestes, formés de composants faciles à apprendre, tout en permettent des techniques d'interactions complexes au-delà des simples commandes? 2) Comment rendre compte de l'apprentissage sensori-moteur avec des modélisations computationnel du mouvement et de l’interaction? 3) Comment optimiser des systèmes de feedback et guidages informatique afin de faciliter l'acquisition de compétences? Plusieurs cas d'utilisation complémentaires seront considérés allant d’applications informatique pour la communication, de technologies d’assistance ou encore des interfaces musicales. L'objectif à long terme est de favoriser l'innovation dans l'interaction multimodale, de la communication non verbale à l'interaction avec médias numériques dans des applications créatives.