Jeu Educatif Multimodal d’Imitation Emotionnelle pour enfants atteints de troubles envahissants du développement – JEMImE

D’un point de vue technologique, les algorithmes doivent pouvoir analyser le comportement spontané d’enfants dans un environnement naturel. La difficulté est de concevoir des méthodes à la fois robustes, temps réel et multimodales.

La conception de ces méthodes s'appuie sur des données annotées, c'est à dire des vidéos d'enfants en train de produire des émotions pour lesquelles un ou plusieurs opérateurs humains ont donné leur avis sur la qualité de la production émotionnelle (une note). Des algorithmes d'apprentissage artificiel vont ensuite utiliser ces données pour apprendre une relation qui uni des indices visuels et audio issus de la vidéo à la qualité de la production émotionnelle des enfants. Les algorithmes seront alors capables d'analyser de manière autonome la qualité de la production émotionnelle d'enfant.

Création d'une base de données multimodale (2D, 3D et audio) d'enfants qui produisent des expressions faciales et vocales par mime et par imitation d'un personnage virtuel.

Réalisation d'un premier prototype dans lequel un joueur imite un personnage virtuel. Le système analyse en temps réel la production émotionnelle de ce joueur et l'informe par retour visuel du résultat de l'analyse

L'objectif est de finaliser un système d'analyse multimodale des émotions et de l'intégrer dans une preuve de concept de jeu sérieux.

[DBD 15] A. Dapogny, K. Bailly, S. Dubuisson. Dynamic facial expression recognition by joint static and multi-time gap transition classification. International Conference on Automatic Face and Gesture Recognition (FG 2015)

[NBC 15] J. Nicolle, K. Bailly, M. Chetouani, Facial Action Unit Intensity Prediction via Hard Multi-Task Metric Learning for Kernel Regression, Facial Expression Recognition and Analysis Challenge (FERA 2015)

[ZBB 14] L. Zamuner, K. Bailly, E. Bigorgne. Pose-Adaptive Constrained Local Model For Accurate Head Pose Tracking. International Conference on Pattern Recognition (ICPR 2014)

[GG 15a] C. Grossard, O. Grynszpan, Entraînements des compétences assistés par les technologies numériques dans l’autisme : une revue de la question, Enfance. Presse Universitaire de France. (2015)

La communication interpersonnelle s’appuie sur un traitement multimodal complexe des indices émotionnels tels que les expressions faciales et la les intonations de la voix. Les enfants autistes éprouvent malheureusement de très grandes difficultés à comprendre et produire ces signaux socio-émotionnels. Diverses solutions ont été proposées pour aider ces enfants à développer leurs capacités de communication, mais la plupart de ces solutions se focalisent sur les aptitudes de l’enfant à comprendre les émotions en interprétant le visage de leur interlocuteur. Ils essayent d’apprendre à décrypter des informations visuelles pour reconnaître des émotions telles que la joie, la tristesse ou le dégoût.

Par contre, seules quelques études traitent de la production émotionnelle des enfants autistes. Cela s’explique principalement par le manque d’outils technologiques performants pour analyser le comportement des enfants. Les progrès récents dans le domaine de la reconnaissance automatique des émotions offrent de nouvelles possibilités pour évaluer la qualité des émotions produites par les enfants

JEMImE vise à concevoir de nouveaux algorithmes de reconnaissance d’émotions afin d’étendre les fonctionnalités de JEStiMulE (un jeu sérieux multi-sensoriel pour apprendre aux enfants autistes à reconnaitre les émotions et les intentions). L’objectif du jeu sérieux développé dans JEMImE est d’aider les enfants autistes à apprendre à imiter des émotions faciales et vocales afin d’exprimer l’expression appropriée en fonction du contexte. Un tel jeu sera très utile pour les enfants qui apprennent à produire des émotions en adéquations avec ce qu’ils ressentent et les thérapeutes qui peuvent quantifier les progrès de l’enfant.

Pour y parvenir, ce projet devra apporter des avancées scientifiques et technologiques significatives dans le domaine de la caractérisation automatique des productions émotionnelles d’enfants autistes. Cela implique par exemple d’être capable de définir des métriques pour quantifier à quel point le comportement imité est pertinent. D’un point de vue technologique, les algorithmes doivent pouvoir analyser le comportement spontané d’enfants dans un environnement naturel. Il faut donc concevoir des méthodes robustes, temps réel et multimodales bien plus performantes que l’état de l’art actuel.

Ce projet regroupe des acteurs de premier plan dans les domaines complémentaires de l’analyse automatique des émotions 2D 3D et audio, de la conception de jeux sérieux et du traitement des enfants autistes