En quoi l’humain est-il si différent ? Analyse des interactions homme-machine à l’aide d’un super Magicien d’Oz. – SWoOZ

Plateforme logicielle de contrôle temps-réel des mouvements d’un robot/avatar à partir des mouvements d’une personne.
Altération (atténuation/amplification, délai) de certains paramètres articulatoires en temps-réel.
Etude comportementale et de neuroimagerie (EEG, IRMf) de l’impact des altérations sur les interactions homme-avatar/robot.

Contrôle temps-réel et précis des mouvements de tête et du regard d’avatars à partir des mouvements d’une personne

Les robots humanoïdes et les agents virtuels feront partie de notre vie courante dans un futur proche. De tels systèmes auront un impact important et de nombreux bénéfices sociaux. Par exemple, si ces systèmes sont capables d’interagir comme des êtres humains, ils pourraient aider les personnes âgées à se sentir moins isolées et ainsi améliorer leur qualité de vie. De plus, la plateforme de recherche développée pourrait être utilisée par diverses communautés scientifiques par exemple dans les laboratoires de psychologie sociale qui étudient les interactions homme-homme.

Revues à comité de lecture:
• Control of speech-related facial movements of an avatar from video. (accepted) Gibert, G., Leung, Y., Stevens, C. J., Speech Communication
• Realistic Eye Model for Embodied Conversational Agents. (in preparation) Gibert, G., Stevens, C. J., ACM Transactions on Graphics

Conférences:
• Multimodal Speech Animation from Electromagnetic Articulography Data. (accepted ) Gibert, G., Attina, V., Tiede, M., Bundgaard-Nielsen, R., Kroos, C., Kasisopa, B., Vatikiotis-Bateson, E., Best, C. T. , in 20th European Signal Processing Conference (EUSIPCO), Bucharest, Romania, 2012
• Realistic Eye Model for Embodied Conversational Agents. (submitted) Gibert, G., Stevens, C. J. , in ACM 3rd International Symposium on Facial Analysis and Animation

Le développement de nouvelles technologies a récemment permis la création d’agents virtuels et de robots humanoïdes avec des fonctionnalités très avancées. Pourtant, ces systèmes bien que de plus en plus complexes, sont loin d’avoir le même niveau d’interaction qu’un agent humain. Ces systèmes ne sont encore que les interfaces d’une machine et ne sont pas considérés par des partenaires naïfs comme de véritables entités. La raison principale de cet échec est due à l’ extrême complexité de la communication humaine. En effet, celle-ci met en jeu plusieurs canaux de communication verbaux et non verbaux. Par le biais de la parole mais aussi des expressions faciales, des gestes, de la posture, de nombreux indices sont transmis pour la bonne conduite d’une interaction face à face. Dans les communautés scientifiques développant des agents virtuels et des robots humanoïdes, l’approche commune consiste à développer des modèles comportementaux d’interaction à partir de théories et/ou d’observation de données réelles. L’implémentation de ces modèles commande la limitation de ces systèmes parce qu’ils ne peuvent pas capturer toute la richesse des comportements humains. Pour résoudre certaines de ces limitations, le paradigme du magicien d’Oz est souvent utilisé. Cela consiste en un expérimentateur (le « magicien ») qui contrôle les comportements de l’agent virtuel ou du robot tout en observant le partenaire humain qui n’est pas conscient de la manipulation. Une série de réponses prédéfinies est disponible et étant donne une situation d’interaction le magicien choisit la réponse adéquate. Des problèmes de fluidité peuvent apparaître ; le temps de réponse du magicien devant respecter les attentes du partenaire. De plus, les gestes des agents virtuels et des robots dépendent de base de données de gestes préenregistrés ou de modèles ne permettant pas de répliquer la richesse des gestes humains. Afin de déterminer les véritables limites et les points essentiels que l’on doit imposer à un modèle comportemental pour que l’avatar ou le robot puissent maintenir une interaction aussi naturelle et efficace qu’un humain, nous proposons de construire et d’utiliser une plateforme de super Magicien d’Oz. L’originalité de ce projet réside dans le contrôle complet des comportements d’un agent virtuel ou d’un robot par un humain jouant le rôle de marionnettiste. Le projet se déroulera en 2 phases : une phase technologique et une phase expérimentale. Durant la première phase (1ere année), nous allons développer une plateforme de recherche (logiciel libre). Cette plateforme sera constituée de capteurs capables de suivre les mouvements d’un humain en 3D, de programmes informatiques convertissant les mouvements en paramètres articulatoires ainsi que d’agents virtuels et de robots imitant précisément et en temps-réel les mouvements d’un expérimentateur. Durant la seconde phase (2e et 3e année), une série d’expériences comportementales et de neuroimagerie permettront d’étudier plusieurs aspects de la communication humaine. Le focus se portera sur les canaux de communication verbaux, coverbaux and non verbaux ainsi que sur le concept de presence. La plateforme permettra la manipulation/modification de certains comportements tout en laissant le reste de l’interaction intacte. Des études précises seront possibles avec cette plateforme unique au monde. Ce projet avancera les connaissances fondamentales dans les domaines des interactions homme-avatar et homme-robot ainsi que les interactions homme-homme.