Imagerie de polarisation spectrale appliquée à l'inspection de surface – SPIASI

Tout d’abord, nous avons proposé une étude des corrélations entre les différents canaux spectropolarimétriques d’images issues de bases de données existantes. Une analyse statistique est faite sur un nombre relativement grand d’observations (50 scènes, ˜ 1.8Go de données), et ce pour différents modes de réflexion et différents types de matériaux. La méthode de préparation des images est décrite dans la figure ci-dessous.
Pour aller plus loin dans l’observation, il a été nécessaire d’effectuer l’analyse sur des données classées. Nous avons choisi de créer des catégories par type de matériaux et type de réflexion (plastique, métaux, verre, naturel, etc.), et de faire une mesure de corrélation entre toutes les bandes. Une chaine de traitement a été réalisée pour l’analyse des corrélations sur des bases de données spectropolarimétriques connues. Il est à noter que la méthode d’analyse proposée est innovante, et pourrait également être valide pour d’autres dimensions d’imagerie.
Ensuite, nous avons mise en œuvre et calibré un capteur polarimétrique avec la méthode « super-pixel ». Ce capteur a ensuite été intégré dans un banc optique pour construire un système capable de fournir des données brutes multispectrales et polarimétriques. Une base de données, ainsi que du code pour prétraiter les images ont également été fabriqués.

Un des résultats du projet SPIASI a été la définition d’une chaîne de traitement permettant l’analyse statistique des images spectropolarimétriques à 12 canaux (voir illustration). A partir d’une base de données d’images, chaque pixel est labellisé comme résultant soit d’une réflexion spéculaire, soit d’une réflexion diffuse. Une segmentation est ensuite réalisée par rapport au type de réflexion et aux matériaux considérés dans la scène (bois, verre, métal, plastique, etc.). Une étude des corrélations inter-canaux a été rendue disponible à la communauté, et met en évidence une claire dépendance de ces corrélations avec les matériaux analysés. Un système de capture instantanée d’images de polarisation et spectrales a été conçu et calibré radiométriquement, spectralement et polarimétriquement. Il est composé de deux caméras à base de filtres couleurs et de polariseurs (12 bandes en tout pour chaque caméra) et de filtres spectraux passe-bande. Le projet a également donné lieu à la publication de travaux qui ne sont pas directement lié à l’application d’inspection de surfaces, mais qui utilisent l’instrumentation et la chaîne de traitement développée dans le cadre du projet. Ces travaux portent sur la suppression de brouillard dans les images et la navigation à partir des données spectropolarimétriques.

Perspective 1 : Imagerie hyperspectrale et polarimétrique appliquée au patrimoine culturel.
L’intensité des réflexions spéculaires rend difficile la capture d’images pour les applications du patrimoine culturel. Les méthodes de correspondance pigmentaire ou de conservation pour les peintures ou les vitraux peuvent être impactées par ces effets indésirables. Ceci est en partie abordé dans le projet PHC AURORA qui est en cours, où l’on tente de mettre à niveau un scanner hyperspectral à NTNU avec un module de détection de la polarisation linéaire après réflexion.
L’objectif serait de mettre en oeuvre un cadre d’imagerie spectrale linéaire Stokes à faible bruit, ainsi que d’étudier la corrélation entre la réflectance et le degré de polarisation pour une peinture à l’huile. Des études précédentes ont montré l’intérêt de considérer la dépendance du degré de polarisation à la longueur d’onde dans le cadre de l’imagerie en réflexion. Il s’agit de :
1. Proposer un nouveau système spectropolarimétrique, permettant de capturer des images de résolution spectrale et spatiale suffisante pour l’analyse des données à l’échelle de la microstructure du tableau, c.-à-d. des coups de pinceaux,
2. Calibrer le système radiométriquement et polarimétriquement afin de fiabiliser la mesure,
3. Capturer la peinture contenant des reflets spéculaires et analyser conjointement les signatures spectrales et polarimétriques.

Une autre extension possible de ces travaux serait d’aller plus loin dans l’analyse, en faisant de l’imagerie de Mueller, même incomplète, plutôt que de l’imagerie de Stokes. Ce travail serait placé dans un contexte plus large qui vise à réaliser une analyse matérielle plus approfondie dans le contexte du patrimoine culturel. Ceci peut se faire en polarisant la lumière incidente à l’aide d’un générateur d’état de polarisation en linéaire et en circulaire.

Perspective 2 : Étude de l’impact des arrangements spatiaux pour les capteurs spectropolarimétriques filtrés
L’arrangement spatial des filtres spectropolarimétriques n’a fait l’objet que de très peu de travaux spécifiques. Il y a donc nécessité d’étudier différents arrangements spatiaux pour les CPFA, dans le but d’identifier si certains arrangements seraient plus pertinents à utiliser que d’autres. À ma connaissance, il existe un seul arrangement alternatif à celui du capteur SONY IMX250 MYR. Plusieurs méthodologies dans la définition d’un nouvel arrangement seraient à explorer. Une des méthodologies serait de définir un arrangement qui soit le plus performant en termes de SNR, en utilisant une banque de données de référence disponible, et une banque de mosaïques synthétisées. Une méthode de type force brute matriçage - restauration - évaluation pourrait permettre la définition d’un arrangement optimal d’un point de vue SNR, tel que déjà réalisé pour les SFA.

Sattar, S.; Lapray, P. J.; Aksas, L.; Foulonneau, A.; Bigué, L. Snapshot spectropolarimetric imaging using a pair of filter array cameras. Opt. Eng. 2022, 61 (4), 043104-043104.

Lapray, P. J.; Thomas, J. B.; Farup, I. Bio-inspired multimodal imaging in reduced visibility. Front. Comput. Sci. 2022, 3, 737144.

Courtier, G.; Lapray, P. J.; Thomas, J. B.; Farup, I. Correlations in joint spectral and polarization imaging. Sensors 2020, 21 (1), 6.
Lapray, P. J. Exploiting redundancy in color-polarization filter array images for dynamic range enhancement. Opt. Lett. 2020, 45 (19), 5530-5533.

Le projet a ouvert une collaboration avec le NTNU en Norvège en 2022 avec le projet PHC AURORA « Spectral and Polarization Imaging of Specular Cultural Heritage Arti-facts ». Un projet ANR de médiation scientifique intitulé « QuarCamp : Quartier du Campus » a également été réalisé, avec comme coordinateur Bénédicte LEBEAU.

L'imagerie polarimétrique permet d'analyser l'état de polarisation de la lumière. De nombreux travaux ont montré ses avantages
dans le domaine de la vision, via des applications telles que la suppression de reflets spéculaires, le décamouflage ou la vision à
travers la brume. D'autre part, l'imagerie multispectrale permet de reconstruire de manière efficace la réflectance des surfaces. Ce
projet vise à étudier le modèle d'imagerie multimodale, pour accéder à une meilleure estimation des propriétés de surface des
matériaux. Le travail est planifié en plusieurs étapes: acquérir une base de données d'images polarimétriques/spectrales sous
différentes conditions d'éclairage, étudier les corrélations sur l'ensemble des données, et évaluer la méthodologie sur des
algorithmes de vision dédiés à l'inspection de surface dans l'industrie. Les retombées se feront à l'aide d'un démonstrateur présenté
à des industriels, en vue de construire un consortium pour un dépôt de projet européen.