Apprentissage automatique de représentations visuelles en vidéos avec contraintes géometriques et physiques – MANYVIS

Percevoir l'environnement qui nous entoure à partir d'images et de vidéos est une capacité essentielle des agents artificiels pour agir et interagir avec le monde. Les développements récents des encodeurs et des descripteurs d'images ont permis d'améliorer grandement l’efficacité des algorithmes de vision, notamment pour les tâches de suivi visuel, de reconstruction 3D ou encore d’asservissement visuel. Néanmoins, la plupart des approches existantes basées apprentissage pour le développement des encodeurs et des descripteurs d'images ne prennent pas explicitement en compte la structure des données, c'est-à-dire les variétés sur lesquelles se trouvent les informations visuelles. Cela entraîne une dégradation significative des performances. Dans ce projet, nous proposons de développer de nouveaux outils prenant en compte les limitations énoncées précédemment, en intégrant les aspects structurels et temporels, afin d’obtenir des représentations visuelles compactes. Les applications potentielles du projet sont nombreuses et pourraient avoir un fort impact en vision pour la robotique, notamment pour les tâches de suivi et de prédiction visuelle, mais également pour des applications en contrôle basé image. Les cas d’études sur lesquels les algorithmes seront testés concernent la modélisation visuelle d’objets déformables et d’objets articulés et de leur utilisation en perception robotique. Pour atteindre ces objectifs, le projet est composé de trois workpackages liés scientifiquement et chronologiquement, en prenant en compte la gestion des risques.