Caméra évènementielle pour la pERception d’oBjEts Rapides autour du véhicule autonomE – CERBERE

La perception pour le véhicule autonome doit de plus être tri-dimensionnelle pour pouvoir localiser les différentes entités (autres véhicules, motos, cyclistes, piétons) et déterminer s’il y a un danger ou si la situation est normale. C’est pourquoi nous nous intéresserons plus particulièrement dans ce projet à la thématique novatrice de la 3D évènementielle pour le véhicule autonome.
En plus de la détection et de la reconstruction 3D des objets mobiles, une étape de reconnaissance sera également nécessaire afin de permettre au véhicule autonome de prendre la décision la plus adaptée en fonction de la situation. Les approches les plus performantes à l’heure actuelle sur les images classiques sont celles basées sur les CNN (Convolutional Neural Networks). Étant donné la structure des données fournies par la caméra évènementielle, ce type de réseau n’est pas adapté et de nouvelles approches doivent être trouvées.
L’aspect temps-réel de la solution est très important si nous ne voulons pas perdre les avantages de la caméra évènementielle. Une part importante de ce projet sera dédiée à l’Adéquation Algorithme Architecture (AAA) afin que les algorithmes développés puissent être intégrés dans la caméra intelligente proposée par le partenaire industriel de ce projet.

A venir

A venir

A venir

Ces dernières années, les recherches et les expérimentations sur le véhicule autonome se sont multipliées, le véhicule autonome étant un des enjeux majeurs de la mobilité de demain. Dans un futur proche, les usagers auront accès à des flottes de véhicules autonomes partagés pouvant être réservés à tout moment via un smartphone, tout en réduisant les risques liés à la conduite humaine, plus de 90% des accidents étant liés à des erreurs humaines.

Un des principaux défis technologiques pour le véhicule autonome est la compréhension de son environnement, qui est généralement perçu par des capteurs tels que les lidars, radars et les caméras. L’objectif principal de ce projet est l’exploitation d’un capteur en rupture avec les solutions existantes pour la perception du véhicule autonome : la caméra évènementielle.

La caméra évènementielle est un capteur bio-inspiré qui, au lieu de capturer des images statiques - alors que les scènes sont dynamiques - à une fréquence fixe, mesure les changements d’illumination au niveau des pixels et de façon asynchrone. Cette propriété la rende particulièrement intéressante pour le véhicule autonome puisqu’elle peut répondre aux verrous qui subsistent dans les scénarios de conduite autonome : scène avec de hautes dynamiques (sortie de tunnel par exemple), latence et vitesse de détection des obstacles (autres véhicules, piétons), tout en prenant en compte les contraintes de puissance de calcul et de flux de données limités imposées par le véhicule autonome.

L’utilisation de caméras évènementielles impose de trouver de nouveaux algorithmes puisque les algorithmes de vision par ordinateur classiques ne sont pas adaptés, les données fournies par la caméra évènementielle étant fondamentalement différentes. Le contexte applicatif (perception pour le véhicule autonome) est radicalement différent des travaux que l’on peut trouver à l’heure actuelle. En effet, la plupart des travaux utilisent une caméra évènementielle mobile dans une scène statique, ou alors une caméra évènementielle statique observant une scène dynamique. Dans ce projet, l’objectif est d’exploiter une caméra embarquée dans le véhicule et observant une scène dynamique. Les évènements générés par la caméra seront donc dus à la fois à son mouvement propre et à celui des objets de la scène, il faudra donc être capable de les dissocier, ce qui reste un challenge à l’heure actuelle. De ce changement de contexte applicatif va découler un certain nombre de nouveaux verrous scientifiques que nous nous attèlerons à lever dans ce projet.

La perception pour le véhicule autonome doit de plus être tri-dimensionnelle pour pouvoir localiser les différentes entités (autres véhicules, motos, cyclistes, piétons) et déterminer s’il y a un danger ou si la situation est normale. C’est pourquoi nous nous intéresserons plus particulièrement dans ce projet à la thématique novatrice de la 3D évènementielle pour le véhicule autonome.
En plus de la détection et de la reconstruction 3D des objets mobiles, une étape de reconnaissance sera également nécessaire afin de permettre au véhicule autonome de prendre la décision la plus adaptée en fonction de la situation. Les approches les plus performantes à l’heure actuelle sur les images classiques sont celles basées sur les CNN (Convolutional Neural Networks). Étant donné la structure des données fournies par la caméra évènementielle, ce type de réseau n’est pas adapté et de nouvelles approches doivent être trouvées.
L’aspect temps-réel de la solution est très important si nous ne voulons pas perdre les avantages de la caméra évènementielle. Une part importante de ce projet sera dédiée à l’Adéquation Algorithme Architecture (AAA) afin que les algorithmes développés puissent être intégrés dans la caméra intelligente proposée par le partenaire industriel de ce projet.