Architecture neuromorphique pour circuit de vision intellingent – NEMESIS

L'objectif des systèmes de vision intelligents (rétines artificielles) est d'extraire des informations de haut niveau des scènes, et non pas forcément de fournir une qualité d'image maximale. Ces systèmes sont des briques de base pour la reconnaissance de formes, d'objets et pour la compréhension de l'environnement visuel, pour des applications de robotique, de sécurité, de navigation et de prévention des dangers pour l'automobile, pour la domotique, la médecine, etc.
Ces applications demandent une intégration étroite entre les dispositifs de capture et de traitement de l'information, nécessitant une grande bande passante et une réalisation efficace de la partie traitement du signal, impliquant un haut degré de parallélisme.
Les approches classiques utilisent des algorithmes complexes, difficiles à paralléliser et nécessitant une grande latence de calcul et une grande consommation énergétique. D'autre part, les systèmes naturels de vision effectuent des tâches complexes de reconnaissance visuelle sur un matériel à priori très parallèle. Les réseaux de neurones artificiels sont des solutions prometteuses, mais elles souffrent des limitations intrinsèques d’interconnexion des circuits 2D.
L’empilement de puces en 3 dimensions (3D stacking) semble être idéal pour marier les capacités de calcul des réseau de neurones par une liaison directe avec la grille de capteurs.

L’objectif du projet NEMESIS est d’explorer le potentiel des algorithmes de traitement d’image à impulsions (« spikes ») inspirés de la biologie en réalisant un matériel simple mais fortement parallèle grâce à l’empilement en 3 dimensions de puces silicium.

Le projet propose de réaliser un prototype de rétine intelligente de vision basée sur l’approche neuronale. Le matériel suivra une approche unifiée et efficace : à la fois la couche d’imageurs et les couches de traitement seront basés sur des éléments à impulsions afin d’atteindre un haut niveau d’efficacité, de parallélisme et de robustesse.
Les pixels de la couche imageur enverront en mode asynchrone des impulsions codant les caractéristiques locales de l’image comme l’intensité lumineuse, le contraste et potentiellement d’autres traitements locaux simples comme des convolutions. Les étages de traitement seront aussi composés de neurones à impulsion semblables au fonctionnement des neurones biologiques. Les valeurs des poids synaptiques seront déterminées afin d’effectuer des traitement à haut niveau. L’interconnexion 3D sera utilisée pour relier les différentes puces (imageur et traitement) sans faire décroitre le facteur de remplissage de la rétine.
Le matériel réalisé permettra de réaliser des scénarios réels combinant du prétraitement d’image avec des tâches de haut niveau. Une application sera sélectionnée afin de valider l’approche ; elle consistera par exemple en le comptage de personnes dans une foule, et l’analyse de leur trajectoire.
Enfin, le projet NEMESIS tente de prouver que l’approche neurones à impulsions est plus efficace énergétiquement et plus robuste qu’une approche plus traditionnelle.