Systèmes de Vision Stéréoscopiques Adaptatifs chez l'Homme, le Singe et la Machine – 3D3M

Pour la partie modélisation, nous avons utilisé des réseaux de neurones artificiels impulsionnels équipés d’une règle d’apprentissage bio-inspirée, la ‘spike-timing dependent plasticity’ ou ‘STDP’. Dans cette approche, la modification des poids synaptiques au sein du réseau de neurone dépend de la latence des spikes en entrée et en sortie du système. Un tel modèle permet au réseau de neurones de développer progressivement et naturellement (i.e. sans aucune supervision) une sélectivité aux propriétés visuelles les plus fréquentes au sein des séquences d’entrée. Par exemple, un réseau entrainé avec des séquences présentant des objets en mouvement développe des neurones sélectifs à la direction de mouvement (Bichler et al., 2012). Dans le cadre du projet, des réseaux ont été entrainés à partir d’images stéréoscopiques naturelles capturées par deux caméras (voir Hunter et Hibbard, 2015) puis traitées à partir d’un modèle de rétine utilisant des filtres spatiaux de type centre-pourtour. Des réseaux ont également été entrainés à partir de séquences dynamiques simulées ou capturées par des caméras évènementielles. La sélectivité des neurones du réseau après apprentissage a été comparée à celles mesurée chez le vivant et notamment au sein du cortex visuel du primate non humain (modèle macaque). Nous avons comparé les champs récepteurs du réseau à ceux mesurées à partir d’approches en électrophysiologie. Nous avons également testé si les réponses du réseau permettaient de prédire la perception lors de tâches de discrimination visuelle.

Les approches comparatives se sont appuyées sur des enregistrements en neuroimagerie effectuées chez l’homme et chez le macaque à partir du même protocole expérimental. Nous avons utilisé des stimuli 3D statiques (disques définis à partir du gradient de la disparité binoculaire) et dynamiques (disques effectuant des mouvements en profondeur) ainsi que des stimuli invariants à différents types de transformations spatiales (stimuli symétriques). Ces stimuli contenaient tous des propriétés spatiales qui sont très fréquentes au sein de l’environnement. Pour chacun de ces stimuli, nous avons défini des stimuli contrôles qui partageaient les mêmes propriétés locales mais qui ne reflétaient pas les statistiques des scènes naturelles. Nous avons enregistré les réponses cérébrales aux stimuli ainsi qu’à leurs contrôles respectifs. Nous avons notamment identifié les aires visuelles au sein desquelles les réponses étaient significativement plus fortes pour les stimuli plus naturels. Nous avons également effectué des mesures en psychophysique afin de déterminer si les régularités 3D de l’environnement influencent la perception spatiale et notamment si les objets situés dans les parties inférieure/supérieure du champs visuel sont plus souvent perçus comme plus proches/plus éloignés, comme c’est le cas dans les scènes naturelles.

Les travaux menés dans la partie modélisation du projet nous ont permis de montrer que les propriétés des réseaux de neurones artificiels après un entrainement non supervisé par STDP sont très proches de ce qui est observé chez le primate. Dans le cas d’un réseau entrainé avec des images stéréoscopiques naturelles, les réponses du réseau au niveau unitaire mais aussi de la population de neurones sont très similaires à celles qui peuvent être mesurées en électrophysiologie dans l’aire visuelle V1 du macaque. Dans ce cas, le modèle peut donc nous aider à mieux comprendre comment la sélectivité aux propriétés 3D émerge avec l’expérience au cours du développement dans des conditions de vision normale ou anormale (le modèle peut notamment expliquer comment la sélectivité 3D peut être affectée chez les patients souffrant d’amblyopie). Des résultats très proches de ce qui est mesuré en électrophysiologie ont également été observés lorsque le réseau de neurones est entrainé à partir de stimuli dynamiques. Dans ce cas, les neurones artificiels ont développé une sélectivité aux différentes composantes du flux optique et leurs réponses peuvent notamment permettre de reconstruire la structure 3D de l’espace environnant.

Les études comparatives du deuxième axe ont permis de caractériser quelles aires corticales traitent différents types de régularités spatiales chez le primate. Nous avons pu mettre en évidence que chez l’homme et chez le macaque, certaines aires cérébrales ont des réponses significativement plus fortes lorsque les stimuli visuels présentés respectent les régularités spatiales de l’environnement. Cet effet pourrait refléter un traitement efficace des propriétés plus fréquentes au sein des scènes naturelles. Il a été observé dans le cadre de l’utilisation de stimuli 3D statiques (disques dont l’orientation 3D était définie à partir du gradient de la disparité binoculaire horizontale) et dynamiques (disques effectuant des mouvements en profondeur) ainsi que pour des stimuli invariants à différents types de transformations spatiales (stimuli symétriques). Des mesures comportementales (psychophysique) ont permis de confirmer l’hypothèse selon laquelle des objets situés dans les parties inférieures/supérieures du champs visuel sont plus souvent perçus comme plus proches/plus éloignés, comme c’est le cas dans les scènes naturelles.

Les résultats du projet sont en accord avec les hypothèses de départ et supportent l’idée que le système visuel du primate humain et non humain s’adapte aux régularités spatiales (et notamment 3D) de l’environnement. Ils ouvrent la voie à une caractérisation encore plus exhaustive des mécanismes observés, par exemple à partir d’enregistrements multi-unitaires qui seraient réalisés chez le singe. Au-delà de son aspect fondamental, le projet a aussi des implications au niveau clinique car les approches utilisées pourraient permettre de mieux comprendre comment la sélectivité à certaines propriétés visuelles évoluent chez des patients souffrant de pathologies comme l’amblyopie mais aussi à la suite d’une atteinte de la rétine chez les patients souffrant de rétinite pigmentaire ou de dégénérescence maculaire. Au niveau industriel, elles pourraient être utilisées dans diverses applications où une extraction rapide et robuste des propriétés spatiales de l'environnement à l’aide de caméras est nécessaire, par exemple en bio-robotique ou pour l’aide à la navigation au sein de véhicules autonomes.

Ce projet a donné lieu à de multiples publications (7) dans des revues internationales et présentations dans des conférences internationales (9). Les résultats en modélisation ont été publiés dans les revues Journal of Neuroscience (Chauhan et al., 2018) et Frontiers in Neuroscience (Chauhan et al., 2021). Ils ont également été présentés dans plusieurs conférences internationales (Chauhan et al., CNS 2017 ; ECVP 2017 ; Montlibert et al., Bernstein 2019 ; Fricker et al., Bernstein 2021 ; VISAPP 2022 ; Rancon et al., SNUFA 2021) et nationales (Chauhan et al. ; SNF 2019). Un article de revue a également été publié dans la revue Vision Research (Chauhan et al., 2020). Les résultats des études comparatives ont été publiés dans les revues Brain Structure and Function (Bogdanova et al., 2019) et Cerebral Cortex (Hejja-Brichard et al., 2020 ; Audurier et al., 2021). Ils ont également été présentés dans plusieurs conférences internationales (Hejja-Brichard et al., ECVP 2017 ; SFN 2018 ; Audurier et al., SFN 2019) et nationales (Bogdanova et al., SNF 2019).

Publications dans des revues internationales avec comités de lecture :

1) Chauhan T, Masquelier T, Montlibert A & Cottereau BR (2018): Emergence of binocular disparity selectivity through Hebbian learning. Journal of Neuroscience, 38(44), 9563-9578.

2) Bogdanova O, Bogdanov V, Durand JB, Trotter Y, Cottereau BR (2019): Dynamics of the straight-ahead preference in human visual cortex. Brain Structure and Function, 225(1), 173-186.

3) Chauhan T, Hejja-Brichard Y, Cottereau BR (2020): Modelling binocular disparity processing from statistics in natural scenes. Vision Research 176, 27-39.

4) Hejja-Brichard Y, Rima S, Rapha E, Durand JB, Cottereau BR (2020): Stereomotion processing in the non-human primate brain. Cerebral Cortex, 1-16.

5) Chauhan T, Masquelier T & Cottereau BR (2021): Sub-optimality of the early visual system explained through biologically plausible plasticity. Frontiers in Neuroscience, 15.

6) Cottereau BR, Trotter Y, Durand JB (2021): An egocentric straight-ahead bias in primate’s vision. Brain structure and function, 1–13.

7) Audurier P, Héjja-Brichard Y, De Castro V, Kohler P, Norcia AM, Durand JB & Cottereau BR (2021): Symmetry processing in the macaque visual cortex. Cerebral Cortex, bhab358, doi.org/10.1093/cercor/bhab358

Une des difficultés majeures auxquelles est confronté le système visuel est de reconstruire la structure tridimensionnelle de l’espace environnant à partir des projections bidimensionnelles et ambiguës qui se projettent sur les deux rétines. Ce projet soutient l’hypothèse que le système nerveux utilise les régularités au sein des scènes naturelles pour résoudre ce problème. Des ressources neuronales plus importantes seraient dédiées au traitement des propriétés visuelles 3D qui sont le plus souvent rencontrées au sein de l’environnement. A partir d’une approche multidisciplinaire basée sur des études chez l’homme, le singe et la machine, nous proposons de caractériser comment ce codage ‘efficient’ des propriétés 3D émerge au sein du cortex visuel et impact le traitement cortical dans les aires de haut-niveau ainsi que la perception de profondeur.

Dans un premier axe de recherche, les régularités 3D au sein des scènes naturelles seront extraites à partir de vidéos stéréoscopiques acquises dans des conditions écologiques (scènes extérieures, intérieures,...) à partir de caméras asynchrones ou rétines 'spikantes'. Comme la rétine, ces caméras ne traitent pas l'intégralité des images mais transmettent uniquement l'information sur les pixels où un changement significatif de luminance a été détecté. Elles permettent donc de réduire considérablement la quantité de données à analyser. La sortie de ces caméras sera traitée par des filtres semblables à ceux observés dans le cortex visuel du primate avant d'entrer dans un réseau de neurones artificiels régulé par un loi d’apprentissage bio-inspirée, la 'spike-timing dependent plasticity' ou 'STDP'. Ce réseau devrait automatiquement (i.e. sans supervision) devenir sélectif aux propriétés qui apparaissent le plus souvent au sein des séquences stéréoscopiques en entrée et ainsi constituer un modèle plausible pour expliquer comment la sélectivité aux régularités 3D émerge au sein du système visuel du primate.

Dans un deuxième axe de recherche, nous effectuerons des mesures en neuroimagerie et en comportement chez le primate humain et non-humain. Cette approche multi-espèce est très importante pour caractériser les homologies mais aussi les différences entre l’homme et le macaque pour ces mécanismes adaptatifs. Des enregistrements IRMf permettront de caractériser les aires corticales dont les réponses reflètent les statistiques 3D chez les deux espèces. Des expériences en psychophysique montreront comment la perception 3D est affectée par les régularités 3D au sein des scènes naturelles. Dans leur ensemble, nos résultats révéleront les réseaux corticaux dont les réponses reflètent les propriétés 3D et affectent la perception chez l'homme et le singe. L'approche proposée sera utilisée avec des régularités 3D qui ont déjà été décrites (comme la prévalence de surfaces alignées avec le sol ou la probabilité pour des points plus proches/loins d'être plus clairs/sombres) mais aussi avec des nouvelles propriétés qui seront découvertes à partir des études de l'axe 1.

Notre projet a des applications majeures pour modéliser et mieux comprendre comment les systèmes sensoriels du primate adaptent leurs réponses pour traiter de façon efficace leur espace environnant. D’un point de vue clinique, il pourrait permettre de mieux comprendre la sélectivité à certaines propriétés chez des patients souffrant de pathologies visuelles(e.g. des amblyopes ou des personnes souffrant de dégénérescence maculaire). Au niveau industriel, le système de vision artificiel proposé pourrait être utilisé dans de nombreuses applications où une extraction rapide et robuste des propriétés 3D au sein de l’environnement est nécessaire.