Niveaux de détails perceptuels pour la visualisation distante, interactive et immersive de scènes 3D riches – PISCo

Les données graphiques tridimensionnels (3D) sont maintenant présentes dans de nombreuses applications, tels que les loisirs numériques, l’héritage culturel, l’architecture ou encore la simulation scientifique. Ces données deviennent de plus en plus riches et détaillées ; une scène 3D complexe peut ainsi contenir plusieurs millions de primitives géométriques, associées à divers attributs d’apparence tels que des cartes de textures, visant à reproduire un aspect de matériau réaliste, ainsi que des données d’animation.
La façon de consommer et de visualiser ce contenu 3D évolue maintenant vers la réalité virtuelle et mixte (VR / MR). Cependant, la visualisation et l'interaction avec 6 degrés de liberté avec une scène 3D vaste et riche reste une question non résolue pour ces environnements immersifs, en particulier lorsque la scène est stockée sur un serveur distant. Il existe deux verrous distincts: (1) la complexité potentielle d'une scène 3D qui peut être affichée à l'utilisateur sur un dispositif VR / MR est sensiblement plus faible que pour un écran standard, car le GPU doit générer 4 fois plus d'images (afin d’assurer deux images par frame et un taux d’affichage suffisant pour éviter la « motion sickness »); (2) un nombre croissant d'applications VR / MR considèrent des données 3D stockées sur des serveurs distants, ainsi des problèmes de latence importants peuvent être rencontrés, causés par la transmission de la scène sur le périphérique d'affichage.
L’objectif du projet est de proposer les algorithmes et outils permettant une visualisation interactive, dans ces contextes contraints (VR/MR, données distantes), avec une très haute qualité d’expérience utilisateur. La scène 3D étant visualisée au travers une fenêtre donnée (le viewport), le projet vise à optimiser l’affichage dans cette fenêtre en proposant (1) des outils de génération et de compression de niveaux de détails de haute qualité, (2) des métriques de qualité visuelle capable de prédire la qualité de ces niveaux de détails et de piloter les algorithmes de génération, (3) des modèles d’attention visuelle capable de prédire où l’observateur regarde, ou bien va regarder et ainsi sélectionner/filtrer les primitives et niveaux de détails. La grande originalité du projet réside dans le fait qu’il va considérer des données 3D riches, intégrant non seulement des informations géométriques mais également des attributs d’apparence et d’animation.
Les outils proposés permettrons de résoudre aussi bien les problèmes de latence de transmission rencontrés pour des données 3D distantes, que les contraintes de rendu inhérentes à la réalité virtuelle et mixte. Le projet vise à proposer deux prototypes : un prototype de réalité virtuelle sur dispositif Oculus Rift et un prototype de réalité mixte sur dispositif Microsoft Hololens.