Immersion 3D basée sur l'interaction émotionnelle – IMMEMO

L'émotion exprimée par les visages, humain ou virtuel est l'une des pierres angulaires de l'interaction. Dans le domaine médical, par exemple en psychothérapie, on peut être amené à observer et enregistrer de façon automatique les émotions exprimées par un patient lorsqu'il communique avec un avatar. Dans le domaine de la formation, et plus particulièrement du serious game (formation immersive et interactive), on peut plonger un individu dans un monde virtuel et lui apprendre à manifester les émotions adaptées à sa fonction. Ainsi, une personne souhaitant se perfectionner dans les techniques d'accueil peut utiliser un tel programme de simulation pour apprendre à communiquer avec un client pressé, agressif, mécontent etc. C'est dans ce contexte que se positionne notre partenaire industriel qui développe un système d'immersion 3D constitué d'un réseau de caméras synchronisées, d'écrans de visualisation, de logiciels permettant de capturer le mouvement d'une personne dans un environnement restreint et de synthétiser en temps réel un clone de la personne immergée dans le monde virtuel. Le système peut être mis à disposition pour des expérimentations et des formations interactives à distance. Ce projet de recherche industrielle vise à concevoir un module d'extension permettant à cette plateforme de capturer et reconnaître les expressions du visage de la personne immergée (l'apprenant) afin de faciliter son interaction avec un agent conversationnel autonome dont le comportement s'adaptera de façon semi-automatique à celui de l'apprenant. En effet, un formateur pourra décider du type de comportement que l'agent doit adopter (agressif, curieux, insistant, exigeant...) et du message vocal qu'il doit émettre. Comme il lui est impossible de manipuler en temps réel l'agent conversationnel dans toute sa complexité (message vocal émis, dynamique des expressions du visage, gestuelle du corps etc.), un moteur de comportement multimodal se chargera de co-manipuler l'agent sur la base des indications dispensées par le formateur et des expressions faciales de l'apprenant, reconnues de façon automatique par le système.