DS07 - Société de l'information et de la communication

Niveaux de détails perceptuels pour la visualisation distante, interactive et immersive de scènes 3D riches – PISCo

Résumé de soumission

Les données graphiques tridimensionnels (3D) sont maintenant présentes dans de nombreuses applications, tels que les loisirs numériques, l’héritage culturel, l’architecture ou encore la simulation scientifique. Ces données deviennent de plus en plus riches et détaillées ; une scène 3D complexe peut ainsi contenir plusieurs millions de primitives géométriques, associées à divers attributs d’apparence tels que des cartes de textures, visant à reproduire un aspect de matériau réaliste, ainsi que des données d’animation.
La façon de consommer et de visualiser ce contenu 3D évolue maintenant vers la réalité virtuelle et mixte (VR / MR). Cependant, la visualisation et l'interaction avec 6 degrés de liberté avec une scène 3D vaste et riche reste une question non résolue pour ces environnements immersifs, en particulier lorsque la scène est stockée sur un serveur distant. Il existe deux verrous distincts: (1) la complexité potentielle d'une scène 3D qui peut être affichée à l'utilisateur sur un dispositif VR / MR est sensiblement plus faible que pour un écran standard, car le GPU doit générer 4 fois plus d'images (afin d’assurer deux images par frame et un taux d’affichage suffisant pour éviter la « motion sickness »); (2) un nombre croissant d'applications VR / MR considèrent des données 3D stockées sur des serveurs distants, ainsi des problèmes de latence importants peuvent être rencontrés, causés par la transmission de la scène sur le périphérique d'affichage.
L’objectif du projet est de proposer les algorithmes et outils permettant une visualisation interactive, dans ces contextes contraints (VR/MR, données distantes), avec une très haute qualité d’expérience utilisateur. La scène 3D étant visualisée au travers une fenêtre donnée (le viewport), le projet vise à optimiser l’affichage dans cette fenêtre en proposant (1) des outils de génération et de compression de niveaux de détails de haute qualité, (2) des métriques de qualité visuelle capable de prédire la qualité de ces niveaux de détails et de piloter les algorithmes de génération, (3) des modèles d’attention visuelle capable de prédire où l’observateur regarde, ou bien va regarder et ainsi sélectionner/filtrer les primitives et niveaux de détails. La grande originalité du projet réside dans le fait qu’il va considérer des données 3D riches, intégrant non seulement des informations géométriques mais également des attributs d’apparence et d’animation.
Les outils proposés permettrons de résoudre aussi bien les problèmes de latence de transmission rencontrés pour des données 3D distantes, que les contraintes de rendu inhérentes à la réalité virtuelle et mixte. Le projet vise à proposer deux prototypes : un prototype de réalité virtuelle sur dispositif Oculus Rift et un prototype de réalité mixte sur dispositif Microsoft Hololens.

Coordination du projet

Guillaume Lavoué (Institut National des Sciences Appiquées de Lyon - Laboratoire d'Informatique en Images et Systèmes d'Information)

L'auteur de ce résumé est le coordinateur du projet, qui est responsable du contenu de ce résumé. L'ANR décline par conséquent toute responsabilité quant à son contenu.

Partenaire

INRIA Institut National de Recherche en Informatique et Automatique
LS2N Université de Nantes - Laboratoire des Sciences du Numériques de Nantes (ex-IRCCyN)
INSA LYON - LIRIS Institut National des Sciences Appiquées de Lyon - Laboratoire d'Informatique en Images et Systèmes d'Information

Aide de l'ANR 549 093 euros
Début et durée du projet scientifique : - 48 Mois

Liens utiles

Explorez notre base de projets financés

 

 

L’ANR met à disposition ses jeux de données sur les projets, cliquez ici pour en savoir plus.

Inscrivez-vous à notre newsletter
pour recevoir nos actualités
S'inscrire à notre newsletter