Capteurs d'image couleur adaptatatif à son environnement – LACIS

La technologie de filtrage en couche mince consiste à créer un empilement de couche métal/isolant de quelques centaines de nanomètre. En modulant l’épaisseur relative de ces couches on obtient différents filtres avec différentes propriétés de transmission. Ainsi on peut fabriquer une plaque de verre qui contient une matrice de filtres couleurs différents, chacun des filtres à la taille du pixel du capteur (environ 15 micromètres). Cette plaque de verre est ensuite rapportée à la surface d’un capteur CMOS en noir & blanc pour allouer à chaque pixel une sensibilité à la couleur.
En général un capteur d’image CMOS est passif, c’est à dire que le signal analogique capté par la photodiode du pixel est directement converti en signal digital pour la sortie du capteur. Pour réaliser l’adaptation locale aux conditions lumineuses, nous avons modifié l’architecture du circuit CMOS en ajoutant (soit directement dans le pixel, soit entre le pixel et la sortie du capteur) des moyens de calculs qui permettent de réguler la valeur numérique du pixel à la sortie du capteur, en fonction de l’ambiance lumineuse locale autour du pixel.
Dans le cadre du projet nous avons fabriqué des empilements de couches minces à 3, 4, 9 couleurs avec des répartitions régulière et aléatoire. La caractéristique des filtres a été optimisée pour garantir le meilleur rendu final de la prise de vue. Nous avons également définit les méthodes algorithmiques qui permettent de reconstruire l’image couleur à partir des données issues des capteurs (dématriçage) quel que soit la répartition et le nombre de couleur dans la matrice de filtres.

La fabrication des plaques de verre qui contiennent les matrices de filtres ou chacun des filtres ont une taille de 15x15 micromètres ont été un succès. Nous avons également pu rapporter ces filtres sur un capteur CMOS à adaptation local (de 256x256 pixels), fabriqué également dans le cadre du projet. Le capteur a été mis en oeuvre et des images en sont issues qui ont été reconstruite avec succès par les algorithmes de dématriçage.
Ce premier prototype est un pas encourageant et une démonstration du bien-fondé de la méthode et de la maturité technologique. De par la flexibilité en terme de résolution couleur et d’adaptation aux conditions lumineuses, les applications envisagées pour le capteur concerne tous les champs de l’imagerie numérique, de la photographie, à l’agro-alimentaire, l’imagerie aérienne, la robotique, les systèmes de vision pour la conduite automobile autonome.

--

Amba, P., Thomas, J. B., & Alleysson, D. (2017). N-LMMSE Demosaicing for Spectral Filter Arrays. Journal of Imaging Science and Technology, 61(4), 40407-1.

Le but du projet LACIS est de démontrer la validité d'une nouvelle approche pour les capteurs de vision CMOS couleur et multi spectraux. Cette démonstration sera donnée via la fabrication et le test de prototypes montrant cette nouvelle fonctionnalité et mesurant l'amélioration par rapport à l'état de l'art. Cette nouvelle approche est basée sur 2 principes inspirés du système visuel humain.

La rétine humaine est constituée d'une mosaïque de photorécepteurs de type cônes (LMS). L'arrangement de cette mosaïque est propre à chaque individu sans altérer pour autant la capacité visuelle de l'individu. La généralisation de ce principe voudrait que nous pourrions fabriquer des capteurs couleurs avec n'importe quel arrangement de filtres colorés qui couvrent la capteur. Cette flexibilité dans la colorisation du capteur permet l'optimisation théorique du capteur pour une application ciblée, particulièrement celle nécessitant des besoins multispectraux. Nos prototypes seront, de ce fait, équipés de différents filtres couleur et la performance de ces capteurs sera testée.

La rétine humaine a la particularité de ne pas proposer une réponse parfaitement linéaire avec la lumière, mais propose une réponse non linéaire et adaptative. Cette adaptation à la lumière permet au système visuel humain d'être sensible à une large gamme de luminosité en dépit de la nature bruitée des cellules rétiniennes. Nous implémenterons cette propriété dans nos prototypes en analogique, avant la conversion analogique numérique dans le but de s'affranchir d'une amplification du bruit liée à la quantification. Un prototype précédent a déjà été fabriqué et testé favorablement par 2 membres du projet. Une nouvelle implémentation a été soumise à brevet et sera implémentée dans ce projet.

Le but général de ce projet est donc de fabriquer un démonstrateur composé de : 1) de nouveaux filtres couleurs, de type pseudo aléatoire 6x6 RGB, ou multispectral basés sur la technologie "COLOR SHADE". 2) Un capteur CMOS couleur adaptatif localement et 3) une carte électronique dédiée incluant le traitement embarqué pour la reconstruction des couleurs et du spectre de l'image optimisé pour les informations spatio-spectrales. Le démonstrateur sera basé sur un prototype fonctionnel de 256x256 pixels, et mettra en évidence les propriétés de cette nouvelle approche de capteur couleur et multi spectraux.

Le consortium est composé de 3 entités, 2 laboratoires publics (LPNC, TIMA) et une PME (SILIOS Technologies). Les 2 laboratoires ont déjà travaillé ensemble sur le premier prototype de capteur adaptatif à la lumière. TIMA est reconnue dans le domaine de la microélectronique et a une longue expérience dans la conception d'imageurs CMOS. Le LPNC a développé différents modèles de représentation spatio-spectrale et de méthode de colorisation, ainsi que des modèles dédiés à la grande dynamique et de rendu de tons inspirés de la vision humaine. SILIOS Technologies est une PME qui développe des technologies en micro-optique et plus spécifiquement sur des filtres multispectraux pour la spectrométrie et les images multispectrales. Ce projet ouvrira la voie à de nouveaux produits et marchés pour la compagnie ainsi que de nouvelles propriétés intellectuelles pour le consortium.