Systèmes catadioptriques de projection panoramique pour la réalité mixte – CATOPSYS

L’objectif de ce projet est de faciliter l’,accès à la réalité virtuelle panoramique grâce à une gamme de systèmes de vidéo-projection catadioptrique, de simplifier la mise en scène panoramique et d’,obtenir des rendus optimisés pour un environnement de projection quelconque. Les objectifs scientifiques et technologiques de ce projet sont triples : 1. la mise en œ,uvre de systèmes catadioptriques de projection pour des applications panoramiques en réalité virtuelle et/ou augmentée. Ces systèmes, qui associent un ou plusieurs canaux de vidéo-projection à des miroirs de formes convexes spécifiques, sont dotés de moyens de perception omnidirectionnelle qui leur permet de s’,adapter automatiquement à un environnement quelconque : la projection se fait alors sans distorsions géométriques et avec une fidélité radiométrique optimale. 2. développement d’,un environnement d’,édition de contenu panoramique qui permet de prototyper simplement des applications 3D temps-réel (jeu, simulation) ou scénographique (vidéos ou animations 360°, simulation d’,intérieur ou d’,ambiance lumineuse). Contrairement aux logiciels de synthèse pour les systèmes de restitution plane, la modélisation des scènes pourra avoir lieu en temps-réel dans l’,espace de projection grâce à un pointeur tridimensionnel. La mise en adéquation entre le contenu virtuel et l’,environnement réel sera grandement simplifiée pour les applications en réalité mixte. 3. la conception de nouveaux modes de rendu réaliste qui prennent en compte le comportement radiométrique des matériaux de l’,environnement. La mesure automatique des caractéristiques de réflectance (fonctions BRDF) peut permettre, d’,une part de gérer la fidélité de projection de façon rigoureuse du point de vue des échanges énergétiques, et d’,autre part de pouvoir générer des sources lumineuses virtuelles. Des algorithmes de lancer de rayon et de radiosité spécifiques à la géométrie des projecteurs catadioptriques seront implémentés. Les projecteurs catadioptriques ont une géométrie similaire aux capteurs catadioptriques : ils associent un vidéo-projecteur illuminant un ou plusieurs miroirs et un système d’,acquisition omnidirectionnel, qui en permet l'autocalibrage. Le système calibré permet de reconstruire l’,environnement en trois dimensions puis de projeter sans distorsions à partir d'un point de vue virtuel. Le système grand public à miroir et projecteur uniques est suffisamment générique pour pouvoir projeter dans une pièce quelconque avec une profondeur de champ acceptable au détriment de l’,homogénéité de la résolution spatiale. Pour les systèmes plus haut de gamme, plusieurs canaux de projection et une association de miroirs seront utilisés. Le positionnement des miroirs et le recouvrement optimal des projections seront guidés par un système de vision omnidirectionnelle. L’,innovation concerne aussi la manière de concevoir la mise en scène panoramique. Cet aspect, plus technologique, consiste à réaliser une suite logicielle permettant la modélisation et le placement interactif de média de différentes sources (vidéos réelles panoramiques ou non, objets de synthèse) au sein même de l’,espace de projection. Enfin le concept de réalité virtuelle mixte « réaliste » constitue un dernier aspect innovant du projet, essentiel pour une intégration adéquate d’,objets virtuels dans une scène réelle ou plus généralement pour la simulation d’,ambiances lumineuses. Il s’,agit du point de vue fondamental de résoudre un problème d’,éclairage inverse qui consiste à localiser les sources lumineuses à partir de leurs effets sur l’,environnement (réflexions multiples, éclairage parasite), pour pouvoir les compenser et simuler la formation de l’,image voulue. Deux solutions matérielles de projection catadioptrique avec commande d’,autocalibrage intégrée seront proposées : 1. solution « grand public » : consistant soit en un projecteur et une caméra en rotation intégrés, soit en une option d’,un projecteur et/ou d’,un système d’,