Réseau de mémoire visuelle pour l'interprétation de scènes – AVENUE

Les humains interprètent visuellement de nouveaux environnements, interagissent avec et se déplacent dedans avec peu d'effort. Malgré des progrès significatifs, ce niveau d'intelligence visuelle n'est pas atteint par des systèmes artificiels. Le projet AVENUE cherche à corriger ceci via un réseau de neurone dédié à la mémoire visuelle, afin d'émuler l'interprétation humaine de scènes. Dans ce but nous relevons trois défis scientifiques. Le premier est d'assimiler images, vidéos et texte avec un ou plusieurs réseaux. Le deuxième est de réduire la part de supervision sans compromettre la performance. Le troisième est de faire de l'inférence avec le réseau entraîné, e.g., estimer les dimensions et la fonction d'objets, ou aider dans la navigation d'une scène. L'enjeu est d'obtenir des estimations suffisamment fiables pour les utiliser en aide à la personne, e.g. permettre à une personne aveugle de gagner de l'autonomie.