Prenez vos rêves pour des réalités Reves : REal and Virtual Environment Symbiose – REVES

Nous souhaitons mettre en place un projet de recherche et développement dans le domaine de la « Réalité augmentée » adaptée au cinéma et à la culture. Cette technologie concerne tous les procédés qui permettent la fusion en temps réel de données audiovisuelles virtuelles (images 3D) et réelles (image filmée). Les images sont projetées sur différents types d’,interfaces : lunettes virtuelles, caisson virtuel, écran, objets,.... Elles permettent d’,immerger le (ou les) utilisateur(s) (un groupe composé d’,une dizaine d’,acteurs ou visiteurs) dans un univers visuel composé d’,images réelles et virtuelles. Ces dispositifs de « réalité augmentée » pourraient trouver de multiples applications dans de nombreux marchés : la culture, l’,information, la formation, les jeux vidéos, l’,architecture, la communication d’,entreprise, le commerce électronique, l’,entraînement sportif, la simulation militaire,.. Ces technologies ont connu un fort développement ces dernières années, mais des problèmes techniques subsistent notamment pour l’,analyse et la coordination des mouvements dans le cas de scènes réunissant plusieurs acteurs et pour la reconstruction 3D de l’,image. Nos travaux de R&D se placeront donc sur plusieurs plans : analyse des mouvements de plusieurs utilisateurs en temps réel, intégration plus réaliste d’,éléments de synthèse, reconstruction partielle en temps réel de la scène réelle, fusion de données, études des interactivités, conception de contenus interactifs et partagés, scénographie du dispositif. Notre objectif est de rendre la réalité virtuelle plus naturelle, plus accessible à l'utilisateur final et d’,explorer les potentialités d’,un système coopératif et « multi-acteurs » (quelle que soit la localisation de chacun, les utilisateurs de nos solutions auront la possibilité de partager la même expérience mais de son propre point de vue). Afin de mettre notre système à disposition du plus grand nombre, son mode d'emploi doit être simple, naturel. Son coût doit lui permettre d'être distribué à grande échelle. Les technologies sont partiellement disponibles mais dispersées sur des secteurs d’,activités différents : la simulation, le jeu vidéo, la postproduction…, Notre projet est de réunir toutes ces technologies autour d’,un projet pilote de réalité augmentée en France. Nous développerons et expérimenterons un système qui pourra être facilement exploité pour différents type d’,applications. Les enjeux et les verrous sont de plusieurs types : - faire dialoguer des experts issus de différents domaines afin de résoudre des problèmes par une approche transversale, - développer un système de tracking 3D temps réel simple et performant, - développer un système de reconstruction d'un plan Z et/ou 3D en temps réel, - développement d’,un module de captation des mouvements humains pour la gestion des interactivités, - créer un système confortable de lunettes immersives avec caméras intégrées, - combiner un moteur 3D temps réel+hardware efficace, - développer un système d'analyse et de modélisation de l'éclairage ambiant, - mettre au point d'un système émetteur/transmetteur sans fil. Afin d’,expérimenter et de valider le dispositif, nous avons choisi de développer des applications pilotes dans deux champs d’,exploitation différents : la production cinématographique et la diffusion culturelle. Le projet « cinéma » sera expérimenté au sein de la société de production Naska Films. L’,intégration de décors et personnages virtuels dans la production cinématographique pose des problèmes en particulier pour visualiser la mise en scène et le jeu d’,acteur. Le projet consiste à développer une application permettant de visualiser, en temps réel, l’,intégration d’,objets ou de personnages virtuels dans un environnement réel. Les acteurs pourront répéter leur rôle grâce à une visualisation de la scène complète projetée dans des lunettes virtuelles, le réalisateur et techniciens pourront visualiser, le rendu quasiment final de leur film au momen