Analyse et Synthèse de la forme Humaine en 4D – 4DSHAPE

Ces dernières années, on observe un intérêt croissant pour l'analyse et la génération de la forme et du mouvement des humains en 3D (corps et visage). Les avancées dans les algorithmes d'estimation de la forme humaine en 3D, la technologie de numérisation 3D, les graphiques 3D accélérés par matériel, et les outils connexes, permettent l'accès à des données de forme corporelle humaine en 3D à grande échelle. Ces données se présentent généralement sous la forme de maillages de surface 3D qui, en général, ne correspondent pas à des discrétisations cohérentes, c'est-à-dire que la même surface peut être représentée par de nombreux maillages triangulaires différents avec une connectivité variable et un nombre variable de sommets. Ainsi, les méthodes conçues pour l'analyse de forme 3D/4D de surfaces paramétrées et l'apprentissage profond rencontrent des limitations lorsqu'elles sont appliquées à de telles données réelles. Notre objectif est de générer un ensemble diversifié de dynamiques plausibles de mouvement du corps humain et du visage en 3D directement à partir de données de numérisation 3D ou même à partir d'un espace d'entrée tel que du texte ou de l'audio. Le résultat attendu de 4DSHAPE est d'identifier, de développer et de perfectionner un cadre naturel où l'on peut à la fois incorporer et générer des surfaces de corps humain et de visages indépendamment de la manière dont elles sont paramétrées/discrétisées, y compris les numérisations brutes, de manière à capturer et reproduire à la fois l'identité du sujet et les mouvements naturels qu'ils peuvent effectuer. Il est articulé autour de 3 objectifs principaux:

Objectif 1 : 3D-vers-3D. Notre premier objectif concerne le développement d'un cadre de recalage et de reconstruction 3D-vers-3D invariante à la discrétisation, adapté aux formes corporelles humaines, basé sur un espace latent commun et un modèle auto-encodeur.
Objectif 2 : 3D-vers-4D. Dans le deuxième objectif, nous prévoyons d'étudier l'extension des données statiques dans le temps (3D) aux données dynamiques dans le temps (4D). L'ingrédient central de cette partie de la recherche sera la construction d'une structure non linéaire sur l'espace latent de la forme humaine, ce qui nous permettra de modéliser avec précision la nature complexe des mouvements et déformations du corps humain dans la vie réelle. Notre approche utilisera une combinaison de méthodes basées sur les données et motivées physiquement, avec des énergies de déformation élastiques.
Objectif 3 : prompt-vers-3D/4D. Dans notre troisième et dernier objectif, nous visons à apprendre une correspondance de plusieurs espaces de prompts vers l'espace des formes humaines ; ici, l'espace de prompt pourrait être simplement un espace d'entrée de texte, mais aussi un espace plus compliqué tel qu'un enregistrement vocal, ou même un croquis humain animé.