Human4D: Acquisition, Analyse et Synthèse de la Forme du Corps Humain en Mouvement – Human4D

Human4D commence par créer de nouveaux ensembles de données de la forme capturée des personnes en mouvement. Afin de capturer une grande variété de formes en mouvement, nous visons à acquérir des centaines de formes de corps humains en mouvement avec diverses caractéristiques physiques. Nos sessions de capture de formes dynamiques s'appuieront sur la plateforme Kinovis, une plateforme d'acquisition unique de 10m × 8m de surface entourée de 68 caméras couleur opérant à l'INRIA Grenoble.
Une première étape vers une modélisation 4D efficace consiste à étudier les représentations mathématiques appropriées pour les formes dynamiques. Il y a au moins trois approches que nous allons étudier pour repousser la limite des représentations actuelles qui modélisent les formes mais rarement leur dynamique: L'une consiste en des graphes 3D qui permettent de capturer et d'apprendre des propriétés dynamiques locales. Une autre est la représentation multiple non linéaire. L'avantage de cette représentation est un codage compact des mesures de contrainte et de distance qui sont en général supérieures à celles de l'espace euclidien. De plus, la modélisation statistique sur la variété est en général meilleure que dans l'espace euclidien. Enfin, l'analyse de forme spectrale, qui repose sur l'étude des vecteurs propres d'opérateurs de maillage spécifiquement définis, doit être adaptée car la représentation dépend du domaine.
Enfin, nous développerons des méthodes de prédiction et des modèles génératifs qui, sur la base de l'ensemble de données ci-dessus et des représentations humaines 4D, sont capables d'analyser, de récupérer et de synthétiser les changements de forme spécifiques à la personne et au mouvement dans le domaine spatio-temporel, à partir de données incomplètes/partielles. Cela sera mis en œuvre en déployant des architectures de réseau neuronal profond qui sont appropriées pour l'apprentissage de données variant dans le temps, telles qu'un réseau neuronal récurrent.

Le résultat attendu de Human4D peut être résumé comme suit:
* Une base de données des formes du corps humain 4D à partir de séquences multi-vues, composée de divers individus de différentes caractéristiques physiques et présentant différentes actions.
* Un pipeline complet pour la reconstruction et la représentation de modèles 4D très précis d'humains.
* Un atlas humain 4D compact, évolutif et facilement disponible basé sur la base de données ci-dessus de modèles humains 4D.
* Une extension des techniques de Deep Learning aux données 3D et 4D.
* Applications représentatives démontrant l'efficacité de l'atlas humain 4D ci-dessus avec la récupération, la synthèse et l'analyse de modèles humains 4D.

Le projet devrait faire des progrès significatifs sur les aspects théoriques et appliqués de la représentation des formes, de la modélisation statistique 4D et de l'apprentissage. La construction de l'atlas 4D lui-même peut avoir un grand impact dans plusieurs domaines qui concernent les observations de mouvement humain, le contenu des médias et le diagnostic médical, par exemple. Un résultat attendu du projet, la capacité à synthétiser ou contrôler des formes humaines 4D sous contraintes, est très difficile car aujourd'hui, animer un vrai modèle humain dans des situations différentes de l'acquisition de données nécessite encore beaucoup de travaux manuels interactifs.
De nombreuses applications utilisant la technologie de capture de forme ont déjà eu un impact significatif sur notre société et ont profondément affecté notre gestion des données de forme humaine. Par exemple, les scans 3D de plusieurs milliers d'individus collectés dans le cadre du projet Civilian American and European Surface Anthropometry Resource, associés à des technologies de suivi développées pour traiter les données collectées, ont ouvert de nouveaux types de modèles commerciaux de vente au détail tels que l'essai virtuel. La même évolution est susceptible de se produire pour les formes humaines 4D: à l'avenir, nous pourrons faire des copies numériques de personnes en mouvement à l'aide d'un appareil d'imagerie pratique, les envoyer sur le réseau, faire des compositions personnalisées de formes humaines numériques 4D, etc. Human4D participera à cette évolution avec des objectifs susceptibles d'améliorer profondément la création, la transmission et la réutilisation des données humaines numériques. Cela aura un impact direct sur les applications de réalité virtuelle et augmentée en croissance récente dans les secteurs de la santé, du sport et du divertissement éducatif.

Les résultats seront publiés dans des conférences majeures dans les domaines de l'infographie et de la vision (Siggraph, Eurographics, CVPR, ICCV, 3DV) et dans les principales revues (ACM Transactions on Computer Graphics, IEEE PAMI, etc.). Le projet suivra une approche de science ouverte pour la diffusion et la communication. Les publications seront téléchargées dans le référentiel national français HAL comme le permet la loi sur la République numérique française. Deux ateliers internationaux seront organisés pour présenter les réalisations scientifiques à Human4D aux chercheurs et aux industries, et pour établir des opportunités de collaboration possibles. Des ateliers co-localisés en coopération avec les grandes conférences sont envisagés, tels que CGI, ICPR, ICCV, CVPR.
Nous prévoyons également de permettre l'accès gratuit à certains de nos ensembles de données et solutions via les sites Web des projets, ce qui contribuera certainement à accroître la visibilité du projet auprès des communautés scientifiques. Notamment, nous serons vigilants afin de nous conformer au règlement général de l'UE sur la protection des données.
Alors que la plupart des résultats seront mis à disposition gratuitement, certains des résultats seront enregistrés en tant que brevets ou logiciels sous licence. Dans chaque Université partenaire, une structure est en charge de protéger les intérêts de l'Université et de ses chercheurs pour ce qui concerne la propriété intellectuelle : accords de consortium, brevets, droits d'auteur, logiciels, etc. Nous discuterons avec notre structure de la manière de diffuser le code, et quel type de licence (CeCiLL, GPL, etc.) choisir pour cela. Nous examinerons également la possibilité de déposer nos sources auprès de l'APP. Le partenaire du LIRIS a une expérience de l'intégration des résultats de la recherche, notamment avec la Start-Up Arskan, en partenariat avec la SATT Lyon St-Étienne et 1kubator (réseau français d'incubateurs).