Création de contenu graphique 3D assistée par une base d'exemples – CrABEx

Le projet CrABEx est découpé en cinq tâches principales (ainsi qu'une tâche dédiée à l'organisation du projet lui-même) de la façon suivante.

- Tâche 0 : Organisation et management du projet
Cette tâche regroupe tout ce qui concerne l’organisation du projet.

- Tâche 1 : Collection de données
Le but de cette tâche est de collecter et de formater la base de modèles 3D accompagnés de leurs méta-données géométriques (squelettes, cages, textures, etc.) Cette collection sera ensuite enrichie avec d'autres méta-données géométriques.

- Tâche 2 : Reconnaissance de données partielles
La reconnaissance de formes 3D partielles est évidemment le premier outil qui doit être utilisé pour la création de nouveaux contenus à l'aide de données existantes. Nous concentrons nos efforts sur les algorithmes de similarité partielle à résultats progressifs afin d'accroitre la précision des résultats au fur et à mesure de la production de contenu.

- Tâche 3 : Mise en correspondance de méta-données géométriques
Une fois les éléments pertinents identifiés à l'étape de reconnaissance, leurs méta-données géométriques respectives (textures, squelettes d'animation, etc.) peuvent être réutilisées pour le nouveau contenu. Mais cela nécessite une étape de mise en correspondance pour adapter ces méta-données. Il s'agit d'un problème plus général de paramétrisation croisé.

- Tâche 4 : Intégration et retour utilisateur
Cette dernière tâche est dédiée à l'intégration, à l'évaluation et à l'optimisation de la plateforme, élément au cœur du projet. Ce système sera entièrement intégré et capable de fournir, en temps interactif, des suggestions pertinentes et une aide précieuse aux designers de nouveaux contenus 3D.

Après un an et demi de travail, les principaux résultats obtenus sont les suivants.

- Tâche 0 : comme convenu, l’accord de consortium a été rédigé, signé par tous les partenaires et remis à l’ANR avant la fin de la 1ère année du projet. Le site web est en ligne et est alimenté régulièrement. Les réunions de consortium ont lieu deux fois par an.

- Tâche 1 : la collection de données a été créée, et s'accroit continuellement de nouveaux modèles issus de bases publiques (bases SHREC par exemple) ou de bases privées (modèles 3D de l'entreprise 3DDUO ou de l'institut Gamagora). Des modèles sont ajoutés et retravaillés par Gamagora et 3DDUO.

- Tâche 2 : nous travaillons sur des méthodes de segmentation et de labellisation automatique de modèles 3D maillés, étapes préliminaires à la création de nouveaux algorithmes de recherche de formes 3D partielles. Nous avons proposé un nouveau descripteur sémantique qui décrit de manière continue les relations géométriques et topologiques de chaque sommet d’un objet 3D segmenté et labellisé avec chaque label sémantique (ex. bras, corps, visage dans le cas d’un humanoïde). Nous avons analysé les propriétés d’invariance de ce descripteur et démontré ses avantages notamment dans le cadre de la modélisation assistée intelligente.

- Tâche 3 : nous développons une méthode de paramétrisation croisée automatique entre paires de surfaces, par une nouvelle approche basée sur la prescription conjointe de singularités de cônes. Nous avons élaboré une méthode automatique de paramétrisation croisée de surfaces à faible distorsion. Cette méthode permettra le transfert de méta-données surfaciques (textures, cartes de normales, cartes de relief, poids d'animation, etc.) A ce stade, nous avons mis au point une approche dérivée des cartes conformes par moindres carrées pour la paramétrisation croisée de surfaces.

- Tâche 4 : comme prévu initialement dans le projet, l'étape d'intégration n'a pas encore commencé à ce jour.

Nous prévoyons des retombées industrielles de ce projet à différents niveaux, principalement dans les studios de création de l'industrie du divertissement.

Le but premier d'un système d'aide à la création 3D assistée d'exemples est d'optimiser la chaîne de création de contenus 3D, en temps de travail et en terme financier. Grâce au potentiel de «recyclage« de notre future plateforme, nous pouvons donc espérer une amélioration importante de la productivité des studios.

Nous pensons aussi que cette approche peut conduire à de nouvelles façons d'envisager le travail d'équipe dans les studios. En effet, l'expertise de designers expérimentés sera plus accessible aux débutants, qui seront alors capables de reproduire facilement le style d'un expert et de créer des modèles 3D de grande qualité.

Dans une certaine mesure, la plateforme pourrait également être considérée comme un nouvel outil pédagogique pour l'enseignement de la modélisation 3D. Elle permettrait aux professeurs de montrer facilement et d'intégrer les «bonnes pratiques« sur un modèle 3D (sur la base des exemples retrouvés), chaque fois qu'un étudiant se trouve bloqué dans sa création.

Vincent Léon, Nicolas Bonneel, Guillaume Lavoué, Jean-Philippe Vandeborre, Géodésiques sémantiques pour la description et la labélisation automatique de parties, 27èmes journées de l’Association Française d’Informa­tique Graphique, Reims Image 2014, Reims, France, 25-28 novembre 2014.

EN MINOR REVISION: Vincent Léon, Nicolas Bonneel, Guillaume Lavoué, Jean-Philippe Vandeborre, Continuous Semantic Description of 3D Meshes, CAD/Graphics 2015, August 2015, Xi'An, China, (will be published in a special section of the Elsevier journal Computers and Graphics)

Le projet CrABEx concerne la chaine de production et d'édition du contenu 3D, dans le cadre des applications de type loisir numérique (film d'animation, jeux vidéo, serious games). Les avancées dans les domaines du jeu, de l'animation, de la modélisation physique ainsi que dans les techniques de capture et d'affichage 3D entrainent une production accrue des ressources graphiques 3D (avatars, personnages 3D, éléments de décors naturels et architecturaux) ainsi qu'un niveau de qualité de plus en plus élevé. La production de ces ressources graphiques devient un élément majeur dans la chaine de production globale d'un produit de loisir numérique.
L'enjeu du projet est d'apporter une aide dans la création et/ou l'édition de ces ressources graphiques, par l'utilisation d'une base de données de ressources existantes ou créées antérieurement. L'objectif du système visé est d'aider le designer de plusieurs manières possibles : (1) par la suggestion d'éléments appropriés pendant la création/l'édition d'un nouvel objet ; (2) par la génération automatique de nouveaux objets à partir de combinaisons de parties d'objets de la base d'exemples.
Le système visé sera capable de suggérer/produire non seulement des éléments géométriques mais également des méta-données géométriques associées telles que squelettes d'animation, textures, cage de déformation, labellisation sémantique, etc.
Le système reposera sur deux aspects techniques forts :
- Une approche rapide et efficace d'indexation et d'extraction de contenu 3D.
- Des algorithmes de mise en correspondance pour l'assemblage cohérent d'éléments 3D issus de plusieurs sources ainsi que pour l'ajustement de leurs méta-données géométriques associées.
Enfin, les résultats scientifiques de ce projet seront intégrés dans les outils utilisés par deux partenaires du projet : par une extension pour le logiciel 3D Maya, utilisé dans la formation Gamagora (et par d’autres formations du domaine) ; ainsi que dans la plateforme de création de jeux Casual Crossing Engine développée par l’entreprise 3DDUO.