Analyse des Collections des Données Géométriques de Grande Taille – AIGRETTE

Nous proposons de structurer notre projet autour des quatre axes principaux suivants :

1. Agrégation de différents jeux de données géométriques existants et conception d'un nouveau jeu de données contenant des données hétérogènes. Cela comprendra des formes 3D représentées sous forme de maillages et de nuages ??de points, mais également des données volumétriques, des graphiques représentant des relations géométriques et potentiellement des nuages ??de points de grande dimension.
2. Conception de nouvelles techniques d'apprentissage capables d'intégrer de manière transparente différentes représentations de données géométriques et de créer de nouvelles représentations mieux adaptées aux approches modernes d'apprentissage automatique.
3. Conception de méthodes pour injecter des informations géométriques dans des techniques d'apprentissage automatique, comprenant à la fois des caractéristiques géométriques standard (normales, courbure, invariants topologiques, etc.) mais également des mesures de cohérence géométrique, qui favorisent la cohérence des mesures prédites sur des objets individuels, pour aider à améliorer la robustesse et atténuer la pénurie potentielle de données étiquetées.
4. Développer de nouveaux mécanismes d'analyse, capables de fournir un retour visuel à la fois pour expliquer les résultats obtenus par les méthodes d'apprentissage et aussi pour mieux tirer parti de l'apport humain.


Expertise du projet Pour mener à bien ces tâches, nous proposons d'exploiter l'expertise du PI en traitement géométrique, en analyse de données visuelles et de formes, ainsi qu'en apprentissage automatique pour le traitement et la synthèse de formes. En effet, la combinaison d'idées géométriques avec des méthodes d'apprentissage automatique sera une caractéristique distinctive clé de cette chaise. Notre principal argument est que cette combinaison sera essentielle pour aider à surmonter bon nombre des défis actuels, tels que la quantité limitée de données d'entraînement, son hétérogénéité et le manque de mécanismes de rétroaction visuelle. Par conséquent, nous proposons de structurer notre chaire autour de la résolution des défis associés à chacun de ces axes comme indiqué ci-dessous.

1.Les travaux menés par le PI, Maks Ovsjanikov, avec différents collègues, dans le cadre du projet Chaire ANR AI AIGRETTE ont donné lieu à 19 publications dans des lieux de haut niveau, dont CVPR, NeurIPS, NeurIPS, ECCV, ICCV, Transactions on Graphics, Eurographics, Symposium on Geometry Processing, 3DV et Computer Graphics Forum, entre autres

2. Au moins 10 de ces documents de recherche ont été rédigés en collaboration avec des collègues internationaux.

3. Notre travail a reçu le prix du meilleur article lors de la conférence internationale sur la vision 3D 2021 (3DV), ainsi que le prix du meilleur article étudiant lors du 3DV 2020.

4. Nos travaux ont été largement couverts dans des revues nationales de vulgarisation scientifique, comme un article dans le CNRS News Art and archeology are the new frontiers for AI, ainsi que dans des publications internationales, telles que Forbes Science, New Scientist, an article sur Medium, entre autres.

5. Grâce au financement du projet, nous avons pu embaucher 2 doctorants et 2 chercheurs postdoctoraux. Remarquablement, tous les 4 d'entre eux sont internationaux, ce qui renforce considérablement la portée et la diversité de notre groupe. De plus, nous avons également eu 3 stagiaires de recherche internationaux de niveau Master, dont l'un a continué à faire un doctorat dans notre groupe.

6. Le PI a donné 11 conférences invitées à la fois en ligne, par exemple, TU Munich AI Seminar 2021, Banff Workshop on Geometry & Learning from Data 2021, London Geometry and Machine Learning Summer School 2021, etc., et en personne, par exemple, dans la conférence Curves and Surfaces 2022.

Le projet a déjà conduit à plusieurs publications importantes, dont certaines ont été couvertes par les médias populaires et dont plusieurs ont eu un fort impact scientifique.

Le projet a déjà conduit à plusieurs publications, dont certaines ont été couvertes par les médias populaires et dont plusieurs ont eu un fort impact scientifique.

Nous travaillons actuellement sur l'extension de ces méthodes proposées pour gérer différentes modalités de données telles que les nuages de points chargés d'artefacts et les paires de formes non isométriques, y compris les formes artificielles plutôt qu'organiques. Nous étudions également des méthodes plus précises pour les correspondances de formes partielles et la localisation d'objets complexes à l'intérieur de grandes scènes au lieu de calculer des correspondances entre deux objets donnés. Plus largement, nous étudions les moyens d'injecter des informations sémantiques qui pourraient exister au sein de grandes collections de données 3D.

Nous proposons de développer des algorithmes efficaces et des outils mathématiques pour analyser des collections de formes 3D à grande échelle. Notre projet est motivé par le fait que de grandes collections annotées de modèles 3D sont récemment disponibles et que les algorithmes d'apprentissage automatique appliqués à ces collections ont donné des résultats initiaux prometteurs, tant pour l'analyse de forme que pour la synthèse. Nous pensons que ces techniques existantes peuvent être considérablement étendues en s'appuyant sur les progrès récents en optimisation et en apprentissage, et en les adaptant pour gérer directement des données 3D géométriques. De plus, nous proposons de développer de nouveaux mécanismes de rétroaction visuelle puissants qui pourraient aider à exploiter les entrées des utilisateurs, et également fournir de meilleurs outils d'analyse et d'exploration de la variabilité des données.

Nous proposons de nous concentrer sur les tâches fondamentales d’analyse de forme suivantes: segmentation de forme, étiquetage de forme, calcul de correspondances entre formes, estimation de quantités géométriques telles que courbure et exploration de l’espace de forme. Notre objectif est de tirer parti des avancées récentes en apprentissage automatique et nous décrivons un plan de recherche basé sur l'utilisation de l'apprentissage en profondeur pour traiter ces tâches. Pour exploiter pleinement le potentiel de l'apprentissage en profondeur, nous allons à la fois nous appuyer sur des ensembles de données de formes récemment disponibles et décrire un plan pour créer notre propre ensemble de données de formes 3D. Un aspect clé de notre travail consistera à développer de nouvelles représentations de données 3D mieux adaptées à l’apprentissage automatique que les représentations couramment utilisées telles que les soupes triangulaires ou les nuages ??de points.

La complexité de la plupart des tâches d'analyse étant élevée, une combinaison d'apprentissage en profondeur et de techniques différentes sera nécessaire. Cela tient à la fois au fait que l’échelle des ensembles de données 3D est bien plus petite que celle des images naturelles et qu’ils imposent des exigences supplémentaires, telles que l’invariance aux mouvements rigides, par exemple. Par conséquent, nous décrivons plusieurs idées pour résoudre ces problèmes, d’abord par le biais du transfert d’informations avec des cartes fonctionnelles, puis en veillant à la cohérence des segmentations calculées et en utilisant un apprentissage commun avec des images et des formes 3D. Nous proposons également des techniques d'interaction pour générer de nouvelles données d'apprentissage, inspecter la sortie d'algorithmes d'apprentissage automatique et explorer des collections de formes via l'exploration d'espace de formes.