Modèles Attentionnels Neuromorphiques pour les Données Evenementielles – NAMED

La perception humaine d'une scène visuelle complexe nécessite un processus cognitif d'attention visuelle pour diriger séquentiellement le regard vers une région visuelle d'intérêt afin d'acquérir des informations pertinentes de manière sélective grâce à la vision fovéale, qui permet une acuité et une sensibilité au contraste maximales dans une petite région autour de la position du regard. Ce processus cognitif associe une attention bottom-up, déterminée par la saillance, et une attention top-down, déterminée par les exigences de la tâche (reconnaissance, comptage, suivi, etc.)
Alors que de nombreux travaux ont étudié l'attention visuelle dans les images RGB standard, elle a à peine été exploitée pour les capteurs événementiels récemment développés (DVS).
Inspiré par la perception humaine, le projet interdisciplinaire NAMED vise à concevoir des systèmes neuromorphiques de vision événementielle pour les plateformes embarquées telles que les véhicules autonomes et les robots.
Une première étape consistera à étudier et à développer de nouveaux modèles d'attention visuelle top-down et bottom-up pour les DVS, afin de concentrer le traitement sur les parties pertinentes de la scène. Cette étape nécessitera de comprendre ce qui suscite l'attention dans les données événementielles. Une deuxième étape consistera à concevoir et à mettre en œuvre un système attentif hybride numérique-neuromorphique pour une vision embarquée ultra-rapide, à faible latence et économe en énergie. Cette étape nécessitera de mettre en place un système de vision duale (capteur RGB fovéal et capteur DVS parafovéal), à concevoir des réseaux neuronaux profonds et impulsionnels, et à exploiter un nouveau système sur puce développé à l'ETH Zürich. Une dernière étape consistera à valider et à démontrer les résultats en appliquant la plateforme opérationnelle robotique à des scénarios dynamiques réels tels que la navigation de véhicules autonomes, l'évitement ultra-rapide d'objets et le suivi de cible.