Interpolation et aMélioration des images et vidéos comPRressées pOur la preuVE juriDique – IMPROVED

Plusieurs axes de travaux complémentaires sont menés:

- Expression de besoin des utilisateurs de la Police Scientifique

- Collecte de bases de données, en adéquation avec l'expression de besoin, et génération de bases de données en utilisant de l'IA générative.

- Identification des codeurs et paramètres de codage vidéo utilisés dans les sources de données utilisées par le SNPS, en particulier les vidéos issues des réseaux sociaux. Cette étude a deux finalités, à la fois utiliser de codeurs et paramétrage de ceux-ci réalistes pour la dégradation de la base de données pour tester les algorithmes de restauration image, et caractériser ces dégradations d’un point de vue signal.

- Etude du régime juridique applicable aux systèmes d’intelligence artificielle et sur l’effet de ces systèmes sur les droits et libertés fondamentaux.

- Prise en compte des spécificités de la matière pénale et la possibilité d’utiliser des outils d’intelligence artificielle à des fins probatoires.

- Analyse des performances de méthodes classiques et appris de restauration d’images (défloutage, débruitage, super-résolution).

- Benchmark des architectures et modèles de super-résolution à l'état de l'art

- Etude d'attention visuelle, pour mieux comprendre comment les utilisateurs perçoivent la qualité des images générées.

Une première étape importante dans le projet a été la définition des besoins utilisateurs et la compilation et réalisation de la base de données.

L’ensemble des travaux hormis une partie des travaux du lot 4 ont avancé comme prévu, en parallèle que cela soit l’expression du besoin utilisateur, les aspects juridiques ou les travaux scientifiques. Une étape importante dans le projet était d’aboutir à des premiers résultats qui ont été présentés lors du WISG 2024 à Rennes, avec présence de l’ensemble des partenaires à cet évènement.

A M18, nous disposons d’éléments juridiques permettant la mise en place d’éléments techniques de préservation de la preuve et de guide quant à la mise en œuvre d’algorithmes en conformité avec la réglementation, y compris l’liée à l’utilisation de l’IA, et de premières versions des algorithmes de restauration (défloutage et super-résolution) optimisés et testés sur la restauration des plaques minéralogiques, en adéquation avec l’expression du besoin des utilisateurs.

Les résultats obtenus montrent des avancées significatives dans la super-résolution et le défloutage des plaques d'immatriculation. Les benchmarks ont révélé les forces et les faiblesses des différentes architectures et modèles existants, tandis que l'étude subjective a fourni une compréhension précieuse de la perception de la qualité par les utilisateurs

1. Handheld Burst Super-Resolution Meets Multi-Exposure Satellite Imagery. Jamy Lafenetre, Ngoc Long Nguyen, Gabriele Facciolo, Thomas Eboli. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, Jun 2023, Vancouver, Canada. ssa.hal.science/hal-04136450/
2. Collaborative Blind Image Deblurring. Thomas Eboli, Jean-Michel Morel, Gabriele Facciolo. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, Jun 2024, Seattle, USA. hal.science/hal-04136505
3. Abderrezzaq Sendjasni, Mohamed-Chaker Larabi. «Embedding Similarity Learning for Extreme License Plate Super-Resolution«, IEEE 26th International Workshop on Multimedia Signal Processing (MMSP), Purdue University in West Lafayette, USA

IMPROVED a pour objectif l’étude et la mise au point d’une nouvelle génération d’outils d’amélioration des images et des vidéos utilisées à des fins d’enquêtes tout en restant acceptable pour une utilisation judiciaire et dans le respect des libertés individuelles. Plus spécifiquement, le projet vise à combler les difficultés rencontrées par la Police Scientifique dans les domaines de l'amélioration des vidéos susceptibles d'apporter des éléments probants dans une enquête judiciaire. De nouvelles sources de données complètent désormais les caméras de vidéo-protection, comme les caméras piétons, les vidéo et images issues de smartphones ou de dashcams, capteurs aux caractéristiques particulières de prise de vue et de compression apportant son lot de complications pour les cas difficiles. Les algorithmes d’amélioration de vidéos, en particulier ceux reposant sur l’intelligence artificielle, posent question quant à leur recevabilité probatoire à cause de leur conception en boite noire. Les améliorations des images doivent prendre en compte les droits et principes fondamentaux, notamment la loyauté de la preuve pénale, et garantir également l’explicabilité et la transparence des algorithmes utilisés. Pour cela, un travail interdisciplinaire sera mené entre algorithmiciens et juristes présents dans le projet, afin de déterminer, pour chaque traitement d’amélioration, les composants algorithmiques permettant de certifier que la modification de l’image n’a pas altéré sa capacité à servir de preuve, et de respecter le principe du contradictoire. Le projet étudiera de nouvelles pistes algorithmiques telles que L’IA explicable qui vise à rendre le comportement d’un système plus intelligible pour les utilisateurs en fournissant des explications à chaque étape du traitement, tout en visant à dépasser l’état de l’art de l’amélioration et du rehaussement des images, en s’appuyant sur les nouvelles générations de codecs vidéo et de sources d’images.