Réseaux de neurones profonds pour l'apprentissage – Deep_in_France

Du fait de l'abondance des données, les techniques d'apprentissage automatique doivent maintenant être à même de gérer des informations de plus en plus massives et complexes (vidéo, sons, paroles, textes, clics, recommandation). A titre d'exemple, l'un des principaux défis pour la reconnaissance d'objets dans les images de la communauté de vision par ordinateur, l'ensemble des données de la base IMAGEnet implique des millions d'exemples et des milliers de classes. En parallèle, le matériel informatique évolue rapidement avec les nouveau GPU et ces progrès récents en calcul haute performance, ce qui change la nature des recherches dans le domaine de l'apprentissage automatique. L'exploitation complète des données disponibles et de la puissance de calcul implique la recherche de nouveaux moyens efficaces pour paralléliser les algorithmes d'apprentissage. En raison de leurs récents résultats, cela concerne en premier lieu les réseaux de neurones à architecture profonde (l'apprentissage profond), technique d’apprentissage qui tire partie très judicieusement de la puissance de calcul des GPU.

Le projet de recherche collaboratif Deep in France vise à élargir les frontières de l'apprentissage profond en associant l’informatique massivement parallèle à l'apprentissage automatique. Notre vision est de développer la théorie et de nouveaux algorithmes d'apprentissage profond pour faciliter l'utilisation généralisée de l'apprentissage en profondeur encore différents domaines d’applications sous explorés tels que la perception intégrée, la compréhension de scènes audio ou vidéo et la robotique.

Les goulots d'étranglement abordés par Deep en France sont à la fois théoriques, méthodologiques et algorithmiques. L'apprentissage profond souffre de l'absence d'un cadre théorique clair et adapté. En outre, il n’existe pas encore de principe simple permettant de déterminer l'architecture, la nature des unités, le nombre et la largeur des couches et la connectivité du réseau optimal à utiliser pour une tâche donnée. Le processus d'optimisation soulève également de nombreuses questions. Est-ce que le gradient stochastique est la meilleur méthode d’optimisation à utiliser ? Comment pré entrainer et interpréter les unités ? Quelle est l'importance de l'apprentissage non supervisé tel que cité dans l'article récent de la revue de Nature sur le sujet.

Par nature, l’apprentissage profond est très demandeur en calcul intensif en raison du nombre et de la taille des données disponibles, en raison de la nature parallèle de gradient stochastique et de l'architecture profonde. Ce fait soulève beaucoup de questions concernant la nature de l’architecture matérielle nécessaire, le type de réseau profond à utiliser et les outil logiciels permettant de faciliter les phases de conception de d’entraînement.

Notre projet vise également à rapprocher le domaine de l'apprentissage automatique à des domaines connexes comme ceux de la vision par ordinateur ou de l’écoute automatique par ordinateur (machine listening) afin de fournir à ses communautés la connaissance, la visibilité et les outils permettant de positionner la France parmi les principaux acteurs du domaine sur la scène internationale. La vision à long terme de Deep en France est d'ouvrir de nouvelles frontières et de favoriser la recherche vers des algorithmes capables de découvrir automatiquement le sens de ses perceptions, un tremplin vers un but final plus lointain et plus ambitieux : amener les machines à raisonner.