Modélisation de scène spatio-temporelle – FLAMENCO

Contexte et motivation du projet Contexte et motivation du projet La généralisation des caméras numériques, aussi bien dans l'espace public que pour les usages privés, crée de nouvelles possibilités et de nouveaux besoins de visualisation et de communication. Notamment, la création de modèles tridimensionnels dynamiques de notre environnement à partir de ces capteurs, omniprésents et d'un coût désormais dérisoire, est appelée à se généraliser dans la décennie à venir. Ces techniques seront un outil privilégié pour la fabrication de mondes virtuels multi-modaux en réalité augmentée. Cette proposition relève les défis associés au problème de la reconstruction spatio-temporelle d'une scène à partir de plusieurs séquences vidéo, c'est à dire à partir d'images prises depuis différents points de vue et à différents instants. Ce problème majeur de la recherche en vision par ordinateur bute aujourd'hui sur trois obstacles importants : le temps de calcul / la faible résolution des modèles : l'acquisition de séquences vidéos à partir de plusieurs caméras engendre un volume de données très important, qui rend crucial le développement d'algorithmes efficaces. Le temps de calcul important des méthodes existantes limite la précision spatiale de la reconstruction et permet de traiter des séquences vidéo de quelques secondes à peine, ce qui est prohibitif pour les applications réelles. l'absence de cohérence spatio-temporelle : à notre connaissance, aucune des méthodes existantes n'est en mesure de produire des modèles qui soient cohérents sur le plan spatio?temporel : la plupart construisent des modèles géométriques tridimensionnels à chaque instant sans tirer profit de la continuité du mouvement et de la cohérence du modèle dans le temps. Ce problème requiert l'élaboration de nouveaux outils mathématiques, algorithmiques et informatiques dédiés à des représentations quadri-dimensionnelles (trois dimensions d'espace plus la dimension temporelle). la pauvreté des modèles : l'information disponible dans les séquences vidéo d'une scène est bien plus riche que la seule information de géométrie et de mouvement. La plupart des méthodes de reconstruction spatio-temporelle n'exploitent pas cette information supplémentaire, notamment l'illumination de la scène, et les propriétés de réflectance, de matière ou de texture des objets. Notre objectif est de bâtir des modèles plus complets, en estimant ces paramètres automatiquement en même temps que la géométrie et le mouvement de la scène. Notamment, les propriétés de réflectance des objets permettent de générer des nouvelles vues photo-réalistes dans les applications de réalité augmentée. Nous proposons de faire collaborer étroitement deux équipes expertes dans le domaine de la modélisation 3D, le laboratoire Certis de l'École Nationale des Ponts et Chaussées et l'équipe Perception de l'INRIA Rhône-Alpes. Ces deux équipes ont d'ores et déjà démontré leur excellence dans le domaine de la modélisation de scènes tridimensionnelles, bien qu'en l'abordant avec des optiques assez différentes par le passé. Ainsi, alors que Perception s'est principalement concentré sur des techniques temps réel de reconstruction approchée, le Certis a développé des techniques de reconstruction haute résolution, nécessitant un temps de calcul important. Le projet Flamenco bénéficiera de la complémentarité de ces expertises. Nous prendrons le meilleur de ces deux optiques, afin de développer de nouveaux algorithmes avec un compromis minimal entre précision et performance. Enfin, les moyens et les compétences matérielles autour de ce projet nous permettront de valider nos résultats sur des bases de données de référence que nous distribuerons. Retombées scientifiques et techniques attendues Retombées scientifiques et techniques attendues La collaboration entre le Certis et Perception dans le cadre du projet Flamenco permettra de faire progresser l'état de l'art en reconstruction tridimensionnelle de scènes dynamiques selon trois di