BNN Efficace pour la Vision Robotique basée Événements – REVE-BNN

La caméra à événements permet une perception robuste aux conditions d’éclairage extrêmes et aux dynamiques très rapides. Le projet REVE-BNN vise à l’exploiter au mieux pour des applications en robotique mobile en environnement ouvert, avec des méthodes d’apprentissage profond.
Dans la littérature, deux types de réseaux de neurones sont utilisés : les SNN (Spiking Neural Network) et les CNN (Convolutional Neural Network). Les SNN sont naturellement adaptés au traitement des flux d’événements, mais leur implémentation nécessite des processeurs spéciaux pour être efficace, et ces processeurs sont encore loin d’être matures et les SNN profonds sont encore difficiles à mettre en oeuvre. Les CNN sont des réseaux classiques bien maîtrisés qui dominent l’analyse de la perception par caméra à événements, mais ils nécessitent d’accumuler les événements pour les traiter efficacement, ce qui réduit la réactivité offerte par le capteur.
L’originalité de REVE-BNN est de prendre de l’inspiration dans ces deux types de réseaux pour proposer un BNN (Binarized Neural Network) optimisé pour les événements, profitant des innovations des réseaux de neurones classiques, pour approcher les performances des SNN sans leurs contraintes matérielles. Il s’agira d’exploiter la réactivité de la caméra à événement et d’expérimenter le réseau proposé sur des applications de robots terrestres (véhicules) et aériens (drones).