Renforcer la perception mutuelle des internautes communicant et partageant des objets au sein d'un espace 3D virtuel par un dispositif d'interaction innovant intégrant des interfaces perceptuelles et la restitution virtuelle 3D des utilisateur – MyBlog 3D

La réalité virtuelle multi-utilisateurs permet de nouveaux services de communication interpersonnelle à distance médiatisée par des avatars dans des mondes virtuels habités. En rassemblant dans un même espace virtuel les objets partagés et les utilisateurs distants, elle offre un moyen d'interaction et de collaboration. En particulier, le produit Blog 3D développé par I-Maginer (http://www.I-Maginer.fr) met à disposition du grand public sur le web un environnement 3D dans lequel chacun peut choisir sa représentation, aménager son espace virtuel avec ses propres photos et une bibliothèque d'objets 3D. Il intègre des technologies classiques de communication et d'échange (représentation par avatars animés, voix sur IP, clavardage, vidéo, partage de documents graphiques et d'applications). Toutefois, la perception qu'ont les utilisateurs les uns des autres à travers un environnement virtuel reste limitée. Les animations des avatars, prédéfinies ou générées par calcul, reflètent mal les actions, les émotions, les objets d'intérêt des utilisateurs qu'ils représentent. L'attitude corporelle et les expressions du visage, qui sont un vecteur important de communication non verbale dans le monde réel, sont perdues dans la communication virtuelle. Voir les gestes d'une personne agissant sur un objet permet de percevoir et comprendre cette action mieux que si on dispose seulement de son résultat et, dans un contexte multiutilisateurs permet de voir qui fait quoi et qui parle à qui. Dans ce projet, nous proposons de renforcer la perception mutuelle des internautes communicant et partageant des objets au sein d'un espace 3D virtuel par un dispositif d'interaction innovant intégrant des interfaces perceptuelles et la restitution virtuelle 3D des utilisateurs. • Par vision artificielle en temps réel, au moyen d'une webcam ou d'un capteur stéréoscopique, nous restituerons des avatars ressemblants ou non aux utilisateurs qu'ils représentent. Ils seront animés avec réalisme à partir d'une acquisition des gestes et expressions du visage de l'utilisateur représenté. Les paramètres inaccessibles, par exemple la direction du regard ou la pose de la main, ou acquis avec une robustesse insuffisante, seront générés de façon réaliste à partir de modèles comportementaux. • Par une perception multimodale intégrant la vision et la voix, nous appréhenderons les émotions du locuteur et ses objets d'intérêt. L'animation du visage des agents virtuels sera générée automatiquement, de façon le plus possible conforme à la parole prononcé par l'utilisateur et à son état émotionnel. En outre, nous fournirons des algorithmes de transformation dynamique de la voix et des visages parlants qui permettent une graduation dans le déguisement ou la découverte de l'identité. Ce projet s'attaquera donc au verrou technologique de la perception et de la modélisation humaine par la machine. Nous rassemblerons des technologies issues de travaux de recherche et les intégrerons dans une application fonctionnant en temps réel sur des PC grand public. Verrous technologiques Ce projet fera progresser l'état de l'art de la technologie des interfaces perceptuelles et de la restitution virtuelle des utilisateurs distants. Interfaces perceptuelles Perception des personnes par la machine, intégrant • La voix : segmentation parole/non parole, détection de mots clef dans le flux de parole, détection d'émotions… • Le visage : acquisition des expressions en temps réel robuste aux occultations partielles, à l'illumination, aux rotations 3D, aux composants structurels (barbe moustaches, lunettes, etc.) et conditions d'acquisition (qualité de la caméra). • Les gestes : Acquisition des gestes sans marqueur, stéréoscopique ou avec une caméra webcam unique, robuste aux couleurs des vêtements, de l'arrière plan, à la variété des gestes et fonctionnant en temps réel. • Perception comportementale : Les données acquises sont nécessairement partielles en raison, par exemple, des limitations