Modéliser l'apprentissage et l'expertise visuelle grâce à un réseau neuronal bio-inspiré – BeatingRogerFederer

Pour réaliser ce projet, nous enregistrons des trajectoires de balles au moyen d'une caméra reproduisant le fonctionnement de la rétine humaine, percevant des différences de contrastes entre deux instants proches. Cette information, ces spikes, sont ensuite envoyés dans un réseau de neurones bio-inspirés. Au contraire du deep learning, les neurones ne reçoivent pas de règle d'apprentissage, à l'exception d'une règle biologique appelée Spike Timing Dependant Plasticity (STDP). Cette règle entraine une modification des poids synaptiques, qui a pour particularité d’être non-supervisée et d’être dépendante de la temporalité exacte des spikes (Post et Présynaptiques). Cette règle appliquée à des réseaux de neurones à spikes (SNN) permet à des neurones de devenir sélectifs à des patterns répétitifs qui ont des caractéristiques proches de ceux observés chez les humains ou les animaux.
Les performances du réseau de neurone sont alors évaluées lorsqu'on lui présente des parties variables de la trajectoires, et comparées à celles d'êtres humains, novices ou experts.

Des acquisitions de trajectoires simples nous ont permis d'avoir un réseau de neurones estimant avec une précision de quelques pixels seulement des trajectoires de balle. Nous sommes actuellement en cours d'acquisition de trajectoires plus complexes, et de comparer avec des performances humaines.

Il nous reste à complexifier les trajectoires, et synchroniser plusieurs caméras pour permettre une vision binoculaire

En cours

Comment devient-on un expert dans une situation perceptive, par exemple, comment Roger Federer arrive-t-il à déterminer si rapidement et si précisément si une balle de tennis va rebondir dans le terrain ou en dehors ? Le but de ce projet est de créer un modèle de l’apprentissage perceptif d’un être humain, qui devra reproduire et même battre les capacités visuelles d’une personne experte. Ce modèle se basera sur des propriétés bio-inspirées, c'est-à-dire qu’il fonctionnera en imitant les propriétés du système visuel humain. Trois de ces propriétés connues seront particulièrement utilisée :
(1) Nous utiliserons des caméras mimant le fonctionnement de la rétine humaine, envoyant un message (spike) lorsqu’un changement est détecté dans la scène visuelles, entre deux images successives
(2) Dans une couche de neurones, le neurone recevant ces spikes le premier verra son activité augmentée (en termes de poids synaptique), processus appelé Spike-Timing Dependent Plasticity (STDP), analogue au processus de « Long Term Potentiation » existant chez l’être humain
(3) Enfin, le neurone qui subira ce processus de « Long Term Potentiation » inhibera les neurones voisins, conformément au processus de « Long Term Depression », s’assurant ainsi que tous les neurones ne répondront pas à la même propriété du stimulus et créant de fait une sélectivité neuronale d’une partie des neurones à une certaine propriété seulement du stimulus visuel

Une fois ce modèle établi, par la présentation de trajectoires de balle de tennis, nous évaluerons les capacités de ce réseau, et les comparerons aux performances d’êtres humains, experts et novices en tennis. Cinq objectifs expérimentaux seront évalués :
(1) La précision du réseau de neurone, comparé aux observateurs humains, après une présentation partielle de la trajectoire de la balle, par exemple lorsque seuls 10 ou 50% de la trajectoire ont été présentés
(2) Si le réseau de neurone s’améliore si la balle est frappée par un adversaire humain plutôt que projetée par un lanceur de balle ; afin de déterminer si le réseau de neurone est capable d’exploiter la cinématique de l’adversaire et prélever des informations dans le mouvement du joueur adverse, comme le font les experts en tennis
(3) Déterminer la « route de l’excellence », c'est-à-dire comment les performances s’améliorent lorsque le réseau a appris avec quelques centaines de trajectoires, vs quelques milliers ou dizaine de millier
(4) Déterminer l’amélioration des performances lorsque le réseau de neurones a accès à une information monoculaire, binoculaire ou même tri-oculaire, en comparaisons à notre population de participants humain
(5) Déterminer lors de l’apprentissage du réseau de neurone quelle est le rôle du feedback, son influence exacte dans l’amélioration de la performance, et la manière d’optimiser son influence en variant le moment où celui-ci est donné au système, sa fréquence etc…

Ce projet devra permettre de mieux connaitre l’apprentissage perceptif et le développement de l’expertise chez l’être humain, ce faisant développer nos connaissances tant fondamentales qu’appliquées à ce sujet. Egalement, il devra démontrer l’apport et l’efficacité de solutions bio-inspirées, leur fonctionnement en temps réel et système embarqué qui permettront à terme leur intégration dans de nouveaux domaines.