Super-résolution pour système caméra visible – SURECAVI

Suite aux travaux de thèse de Jérémy Anger (financés par la DGA) l'équipe du Centre Borelli (CB) ENS Paris Saclay a développé une chaîne de super-résolution rapide pour traiter des séries d'images push-frame issues des satellites PLANET SKYSAT. Ce pipeline, qui est actuellement industrialisé par KAYRROS, exploite l'expertise GPU du CB, ce qui permet de délivrer rapidement des produits plus résolus que ceux fournis par PLANET. Ceci illustre la maturité des techniques de super-résolution et de restauration d'images et vidéos et l'importance d'un déploiement dans des applications commerciales et défense.

LERITY est un acteur du domaine de l'optronique, spécialisé dans les systèmes de vision à très haute définition dans le spectre visible, opérant notamment en conditions de visibilité dégradées. Parmi les produits conçus par LERITY l’amélioration amenée par les nouveaux algorithmes concernera les systèmes intégrant la capacité de ressources déportées, notamment CATEYE System et CATEYE System XLR. L'implantation de ces algorithmes n'est pas prévue pour les architectures portables en raison de leurs contraintes de calcul.

Le but du projet est d'augmenter nettement la résolution et la qualité image de ces caméras à l'aide d'une amélioration logicielle et matérielle, à coût matériel (quasi-)identique, en augmentant les portées (d'un facteur d'au moins 1.5). Le projet s'appuiera en particulier sur des techniques de super-résolution par fusion de plusieurs images brutes acquises par la caméra. L'image produite sera super-résolue et sa qualité d'image améliorée par du défloutage et débruitage temps réel au meilleur état de l'art. Toutes ces opérations nécessitent une puissance de calcul croissante. Mais, grâce aux progrès et à la généralisation des GPUs et des algorithmes qui tirent parti du parallélisme massif de ces dispositifs à bas coût, il est maintenant envisageable de réaliser ces opérations en temps réel. De plus, le CB dispose d'une gamme étendue d'algorithmes de complexité croissante permettant d'adapter une chaîne de traitement aux contraintes de calcul temps réel. L'amélioration de la qualité se traduira à son tour par une meilleure détection, reconnaissance et identification ainsi que par la réduction des fausses alarmes.

Nous détaillons dans ce projet les adaptations matérielles et algorithmiques nécessaires pour porter ces avancées aux caméras CATEYE System.
Les adaptations matérielles principales concernent l’optimisation de la PSF de l’optique, la génération et le contrôle des micros déplacements du capteur. D’autres adaptations matérielles sont envisagées comme l’optimisation de la bande passante du flux de données et l’intégration d’une caméra couleur grand champ à la place de la caméra monochrome sur l’existant.

Certains éléments de la chaîne de super-résolution satellite sont à adapter : défloutage et recalage robuste en présence de bruit, fusion et débruitage d'images, gestion des pixels saturés, et détection de mouvement pour la fusion sans "fantômes". L'imagerie optique présente aussi des défis spécifiques, comme un bruit plus important, le matriçage couleur (pour certains produits), le vignettage, et les vibrations ou mouvements résiduels non compensés dans la scène. Le résultat attendu à la fin du projet est un prototype de système d'observation dans le visible super-résolu et une chaîne de traitement temps-réel avec un TRL de 6.

Ce projet, mené par une équipe réunie autour du CB, durera deux ans en utilisant la dynamique actuelle de ses collaborations. Le partenariat du CB avec LERITY a déjà fonctionné avec succès dans une première collaboration en 2019 sur la conception d'algorithmes de débruitage et flot optique, actuellement portés sur GPU ou et CPU. La contribution demandée servira à financer les travaux d'un post-doc et un CDD ingénieur pendant deux ans pour le CB et un ingénieur pendant deux ans pour LERITY.