CE23 - Intelligence artificielle

Human4D: Acquisition, Analyse et Synthèse de la Forme du Corps Humain en Mouvement – Human4D

Human4D commence par créer de nouveaux ensembles de données de la forme capturée des personnes en mouvement. Afin de capturer une grande variété de formes en mouvement, nous visons à acquérir des centaines de formes de corps humains en mouvement avec diverses caractéristiques physiques. Nos sessions de capture de formes dynamiques s'appuieront sur la plateforme Kinovis, une plateforme d'acquisition unique de 10m × 8m de surface entourée de 68 caméras couleur opérant à l'INRIA Grenoble.
Une première étape vers une modélisation 4D efficace consiste à étudier les représentations mathématiques appropriées pour les formes dynamiques. Il y a au moins trois approches que nous allons étudier pour repousser la limite des représentations actuelles qui modélisent les formes mais rarement leur dynamique: L'une consiste en des graphes 3D qui permettent de capturer et d'apprendre des propriétés dynamiques locales. Une autre est la représentation multiple non linéaire. L'avantage de cette représentation est un codage compact des mesures de contrainte et de distance qui sont en général supérieures à celles de l'espace euclidien. De plus, la modélisation statistique sur la variété est en général meilleure que dans l'espace euclidien. Enfin, l'analyse de forme spectrale, qui repose sur l'étude des vecteurs propres d'opérateurs de maillage spécifiquement définis, doit être adaptée car la représentation dépend du domaine.
Enfin, nous développerons des méthodes de prédiction et des modèles génératifs qui, sur la base de l'ensemble de données ci-dessus et des représentations humaines 4D, sont capables d'analyser, de récupérer et de synthétiser les changements de forme spécifiques à la personne et au mouvement dans le domaine spatio-temporel, à partir de données incomplètes/partielles. Cela sera mis en œuvre en déployant des architectures de réseau neuronal profond qui sont appropriées pour l'apprentissage de données variant dans le temps, telles qu'un réseau neuronal récurrent.

Le résultat attendu de Human4D peut être résumé comme suit:
* Une base de données des formes du corps humain 4D à partir de séquences multi-vues, composée de divers individus de différentes caractéristiques physiques et présentant différentes actions.
* Un pipeline complet pour la reconstruction et la représentation de modèles 4D très précis d'humains.
* Un atlas humain 4D compact, évolutif et facilement disponible basé sur la base de données ci-dessus de modèles humains 4D.
* Une extension des techniques de Deep Learning aux données 3D et 4D.
* Applications représentatives démontrant l'efficacité de l'atlas humain 4D ci-dessus avec la récupération, la synthèse et l'analyse de modèles humains 4D.

Le projet devrait faire des progrès significatifs sur les aspects théoriques et appliqués de la représentation des formes, de la modélisation statistique 4D et de l'apprentissage. La construction de l'atlas 4D lui-même peut avoir un grand impact dans plusieurs domaines qui concernent les observations de mouvement humain, le contenu des médias et le diagnostic médical, par exemple. Un résultat attendu du projet, la capacité à synthétiser ou contrôler des formes humaines 4D sous contraintes, est très difficile car aujourd'hui, animer un vrai modèle humain dans des situations différentes de l'acquisition de données nécessite encore beaucoup de travaux manuels interactifs.
De nombreuses applications utilisant la technologie de capture de forme ont déjà eu un impact significatif sur notre société et ont profondément affecté notre gestion des données de forme humaine. Par exemple, les scans 3D de plusieurs milliers d'individus collectés dans le cadre du projet Civilian American and European Surface Anthropometry Resource, associés à des technologies de suivi développées pour traiter les données collectées, ont ouvert de nouveaux types de modèles commerciaux de vente au détail tels que l'essai virtuel. La même évolution est susceptible de se produire pour les formes humaines 4D: à l'avenir, nous pourrons faire des copies numériques de personnes en mouvement à l'aide d'un appareil d'imagerie pratique, les envoyer sur le réseau, faire des compositions personnalisées de formes humaines numériques 4D, etc. Human4D participera à cette évolution avec des objectifs susceptibles d'améliorer profondément la création, la transmission et la réutilisation des données humaines numériques. Cela aura un impact direct sur les applications de réalité virtuelle et augmentée en croissance récente dans les secteurs de la santé, du sport et du divertissement éducatif.

Les résultats seront publiés dans des conférences majeures dans les domaines de l'infographie et de la vision (Siggraph, Eurographics, CVPR, ICCV, 3DV) et dans les principales revues (ACM Transactions on Computer Graphics, IEEE PAMI, etc.). Le projet suivra une approche de science ouverte pour la diffusion et la communication. Les publications seront téléchargées dans le référentiel national français HAL comme le permet la loi sur la République numérique française. Deux ateliers internationaux seront organisés pour présenter les réalisations scientifiques à Human4D aux chercheurs et aux industries, et pour établir des opportunités de collaboration possibles. Des ateliers co-localisés en coopération avec les grandes conférences sont envisagés, tels que CGI, ICPR, ICCV, CVPR.
Nous prévoyons également de permettre l'accès gratuit à certains de nos ensembles de données et solutions via les sites Web des projets, ce qui contribuera certainement à accroître la visibilité du projet auprès des communautés scientifiques. Notamment, nous serons vigilants afin de nous conformer au règlement général de l'UE sur la protection des données.
Alors que la plupart des résultats seront mis à disposition gratuitement, certains des résultats seront enregistrés en tant que brevets ou logiciels sous licence. Dans chaque Université partenaire, une structure est en charge de protéger les intérêts de l'Université et de ses chercheurs pour ce qui concerne la propriété intellectuelle : accords de consortium, brevets, droits d'auteur, logiciels, etc. Nous discuterons avec notre structure de la manière de diffuser le code, et quel type de licence (CeCiLL, GPL, etc.) choisir pour cela. Nous examinerons également la possibilité de déposer nos sources auprès de l'APP. Le partenaire du LIRIS a une expérience de l'intégration des résultats de la recherche, notamment avec la Start-Up Arskan, en partenariat avec la SATT Lyon St-Étienne et 1kubator (réseau français d'incubateurs).

Résumé de soumission

Reconstruire, caractériser et comprendre la forme et le mouvement d’un individu ou d’un groupe d’individus ont de multiples applications telles que l’étude ergonomique d’un produit, la création rapide d’humains virtuels et prédire le développement d’une anomalie d’un organe dans le cadre médicale. Naturellement, la capture et l’analyse des mouvements et formes sont des techniques qui existent depuis longtemps dans les domaines de la vision par ordinateur, l’informatique graphique et la géométrie algorithmique. Il existe effectivement un grand nombre de travaux de recherche qui ont été menés sur la reconstruction de formes à partir d’images ou de scan 3D. Il existe aussi des travaux sur la capture et la reconnaissance de mouvements à partir d’images. Malgré tout, la plupart de ces techniques traitent la forme et le mouvement séparément avec des méthodes dédiées soit à l’analyse de formes ou soit aux mouvements. Ceci est peut-être dû à la difficulté d’acquérir la forme et le mouvement de façon simultanée. Les systèmes de capture de données traditionnelles ont été construits pour capturer la forme sans le mouvement ou le mouvement sans la forme. Les évolutions récentes des technologies pour la capture de formes ont changé ce paradigme. Il est maintenant possible de capturer un modèle 4D d’une forme humaine qui inclue les informations sur la géométrie, le mouvement et l’apparence en même temps (e.g. Microsoft, Inria or MPI). Ces données ouvrent de nouvelles possibilités pour l’analyse et la synthèse de formes humaines en mouvement et qui sont encore largement inexploitées. Ces données pourraient être bénéfiques à un large éventail d’applications dans de nombreux domaines tels que la réalité virtuelle et augmentée, le sport et les applications médicales. En particulier, il sera possible de représenter un humain avec un modèle 4D entièrement dynamique contenant les données géométrique et d’apparence. Ce modèle 4D permettra de représenter les propriétés cinématiques de l’humain pour la posture du corps, le style et les émotions. Un tel modèle 4D est particulièrement important pour les applications médicales pour lesquelles il est nécessaire de caractériser des formes et des mouvements spécifiques. Ce modèle 4D pourra aussi être utile pour les applications VR immersives utilisant les visiocasques (head mounted displays) ; ces applications VR nécessitent de produire du contenu numérique de plus en plus précis. Les projets Microsoft Hololense, Facebook Oculus Rift, Sony PS4 HMD et HTC Vive sont des exemples de développement rapide et récent des applications VR. A l’avenir nous pourrons aisément construire les jumeaux numériques de personnes en mouvement, les envoyer par internet, générer de manière contrôlée une forme humaine 4D, etc. Human4D va participer à cette évolution avec pour objectif de grandement améliorer la reconstruction, la transmission, et la réutilisation de données d’humains numériques, en facilitant l'usage, actuellement limité, de technologies d’apprentissage profond pour la modélisation et l’analyse de forme humaine en mouvement

L’objectif du projet Human4D est de proposer un modèle 4D, en particulier, de trouver une solution pour représenter des données 4D d’une façon compacte et efficace ; ceci étant nécessaire pour les applications comme l’analyse statistique et la synthèse de mouvements. Notre ambition est d’aller au-delà des méthodes existantes qui ne permettent d’analyser les formes et les mouvements que de façon séparée. En effet, il est impossible d’utiliser ces méthodes pour le traitement de données 4D dont la topologie et la géométrie changent au cours du temps. Human4D arrive à point puisque les technologies pour la capture de données 4D ne sont apparues que récemment. Il regroupe plusieurs chercheurs ayant une forte expertise dans ce domaine. De plus, il est associé à la seule plateforme disponible dans le monde capable de produire les données pour ce projet.

Coordinateur du projet

Madame Hyewon SEO (Laboratoire des sciences de l'Ingénieur, de l'Informatique et de l'Imagerie (UMR 7357))

L'auteur de ce résumé est le coordinateur du projet, qui est responsable du contenu de ce résumé. L'ANR décline par conséquent toute responsabilité quant à son contenu.

Partenaire

ICube Laboratoire des sciences de l'Ingénieur, de l'Informatique et de l'Imagerie (UMR 7357)
Inria GRA Centre de Recherche Inria Grenoble - Rhône-Alpes
CRIStAL Centre de Recherche en Informatique, Signal et Automatique de Lille
LIRIS - CNRS UMR 5205 - LABORATOIRE D'INFORMATIQUE EN IMAGE ET SYSTEMES D'INFORMATION

Aide de l'ANR 694 768 euros
Début et durée du projet scientifique : septembre 2019 - 48 Mois

Liens utiles

Inscrivez-vous à notre newsletter
pour recevoir nos actualités
S'inscrire à notre newsletter