DEFALS - Challenge DEtection de FALSifications dans des images et vidéos

Reconstruction de l'historique d'une image digitale par les signatures de ses traitements, détection automatique d'anomalies – Signatures d'images

Signatures d’Images: Reconstruction de l'historique d'une image digitale par les signatures de ses traitements, détection automatique d'anomalies

Nous voulons développer des méthodes exécutables en ligne et vérifiant les standards de la recherche reproductible appliqués dans le journal Image Processing on Line (www.ipol.im). Nous interagirons avec les autres membres du consortium pour modifier, abandonner ou adapter les algorithmes proposés après qu’ils aient été soumis à objections et critiques. Nous proposerons notre aide pour la mise en ligne de tous les algorithmes produits par nous ou par d’autres.

Les enjeux de l'ingéniérie inverse à partir d'une seule image

Notre proposition vise à développer des algorithmes applicables à toute image numérique. Ces algorithmes produiront par ingéniérie inverse un historique complet de l’image et des visualisations révélant les défauts potentiels. La construction de cet historique permettra de détecter des anomalies improbables selon cet historique. Ainsi on associera à l’expertise humaine des probabilités d’erreur ou un nombre de fausses alarmes, permettant des décisions quantitatives et libres de toute subjectivité. Aussi notre proposition est en trois phases, car il faut : <br />-Etablir l’historique numérique de l’image, à savoir les paramètres de toutes les opérations qui ont été effectuées sur l’image brute et notamment : correction des aberrations chromatiques et optiques, débruitage, démosaïckage, correction gamma, balance des blancs, déflouage, interpolation, recadrage, type et paramètres de la compression (notamment le type de transformée et de quantification), éventuelle double compression. <br /> -Catégoriser, implémenter et prendre en main les algorithmes de falsification d’images visant à l’ajout ou à la suppression locale d’informations, puis éventuellement au camouflage de ces opérations, notamment les algorithmes d’inpainting et d’édition de Poisson. <br /> -Enfin concevoir des algorithmes de détection automatique qui, ayant appris l’historique prétendu de l’image, détectent toute anomalie dans cet historique, ainsi que des algorithmes de détection et d’analyse des répétitions. La plupart des outils détaillés dans la proposition sont nouveaux, mais s’appuieront sur l’expertise très complète de l’équipe du CMLA en traitement d’images, et sur l’expertise en codage de la Police Scientifique et Technique (DGPN-DCPJ-PTS - Ministère de l’Intérieur (MI)

Le premier objectif global est l’établissement d’un ensemble d’algorithmes automatiques et de procédés de visualisation interactifs constituant ce que nous appelons la « clinique de l’image »., reconstituant l’historique de l’image.
La production d’un historique de l’image est fondamentale pour la détection de falsification, mais il a bien d’autres usages. En effet l’industrie de l’image perd très vite la trace des opérations effectives appliquées sur les images, souvent cachées par les fabricants Aussi notre projet vise à produire un outil industriel générique.
Le second objectif est de réviser les algorithmes de manipulation d’images utilisables par les falsificateurs, pour simuler et évaluer les anomalies qu’ils laissent dans la chaîne image.

Le troisième objectif du projet est de développer une méthode générale de détection et d’analyse des répétitions internes d’images, qui ont été désignées par les gestaltistes comme un des facteurs les plus puissants à l’œuvre dans la perception de formes dans une image.
Le quatrième objectif est de développer les algorithmes forensiques de l’état de l’art (voir notre analyse bibliographique) en les basant d’une part sur la clinique de l’image pour en faciliter l’usage automatique, et en les complétant par une modélisation stochastique pour calculer une probabilité de fausse alarme. L’expertise forensique développée passera directement à au moins un utilisateur, le laboratoire central de la police scientifique et technique, qui a accepté d’être partenaire du projet.

Nous avons développé une théorie de la détection automatique d’anomalies applicable à toute image [3, 6, 7]. Nous avons conçu trois algorithmes, deux détectant d’une part la grille JPEG [2, 10] et d’autre part le pattern de Bayer de la grille CFA, avec nombre contrôlé de fausses alarmes dans les deux cas. Nous avons exploré en détail l’état de l’art nouveau en démosaïquage [8] ce qui nous a permis de développer une nouvelle méthode de détection d’altérations de démosaïquage [1].
C’est le fait que le nombre de fausses alarmes soit contrôlé a priori qui est le fait marquant comme expliqué dans la nouvelle publication [9]. Nous avons mis au point un détecteur de copier-coller interne applicable à une image quelconque [4]. Ces travaux sont déjà utiles. L’AFP a montré son intérêt pour l’algorithme [2] à fins d’inclusion dans leur service web d’analyse de fausses nouvelles. Il permet de détecter si une image a été redécoupée après une première compression JPEG. Le détecteur de copier-coller interne est un outil efficace qui a été vérifié sur des images récentes issues d’affaires de falsifications récentes (voir la section « Faits et résultats marquants »). Nous démontons le mécanisme des méthodes de falsification par inpainting dans [5].

Nous sommes en train de
-faire l’analyse de la quantification JPEG, estimer la matrice de quantification à partir de l’image elle-même et détecter toute déviation significative et donc suspecte
-développer une évaluation a contrario du nombre de fausses alarmes pour notre détecteur de copier-coller [4]
-développer une méthode d’analyse du bruit permettant de reconstruire la courbe de correction gamma et de détecter toute déviation significative du modèle de bruit.
-de disposer de ces analyseurs en ligne et de les appliquer à tous les cas d’intérêt notamment soumis par l’AFP.

[1] Bammey, Q., von Gioi, R. G., & Morel, J. M. (2018, April). Automatic Detection of Demosaicing Image Artifacts and Its Use in Tampering Detection. In 2018 IEEE Conference on Multimedia Information Processing and Retrieval (MIPR) (pp. 424-429). IEEE.
[2] Nikoukhah, T., von Gioi, R. G., Colom, M., & Morel, J. M. (2018, April). Automatic JPEG Grid Detection with Controlled False Alarms, and Its Image Forensic Applications. In 2018 IEEE Conference on Multimedia Information Processing and Retrieval (MIPR) (pp. 378-383). IEEE.

[3] Davy, A., Ehret, T., Morel, J. M., & Delbracio, M. (2018, October). Reducing anomaly detection in images to detection in noise. In 2018 25th (ICIP) (pp. 1058-1062). IEEE.

[4] EHRET, Thibaud. Automatic Detection of Internal Copy-Move Forgeries in Images. Image Processing On Line, 2018, vol. 8, p. 167-191.

[5] Di Martino, M., & Facciolo, G. (2018). An Analysis and Implementation of Multigrid Poisson Solvers With Verified Linear Complexity. Image Processing On Line, 8, 192-218.

[6] Ehret, T., Davy, A., Morel, J. M., & Delbracio, M. (2019). Image anomalies: A review and synthesis of detection methods. Journal of Mathematical Imaging and Vision, 61(5), 710-743.

[7] Ehret, T., Davy, A., Delbracio, M., & Morel, J. M. (2019). How to Reduce Anomaly Detection in Images to Anomaly Detection in Noise. Image Processing On Line, 9, 391-412.

[8] Ehret, T., & Facciolo, G. (2019). A Study of Two CNN Demosaicking Algorithms. Image Processing On Line, 9, 220-230.

[9] Morel, J. M. (2019, July). Reverse Engineering: What Can We Learn From a Digital Image About Its Own History?. ACM Workshop on Information Hiding and Multimedia Security (pp. 1-1).

[10] Nikoukhah, T., Anger, J., Ehret, T., Colom, M., Morel, J. M., & Grompone von Gioi, R. (2019). Jpeg grid detection based on the number of dct zeros and its application to automatic and localized forgery detection. In Proceedings of CVPR Recognition Workshops (pp. 110-118)

Le problème de la détection de falsification d'images relève de faisceaux de preuves bien plus vastes que la simple analyse de l'image. On peut notamment citer: la source déclarée de l'image, le contexte politique, économique, légal dans lequel l'image est produite, l'intentionnalité malveillante ou falsificatrice supposée, les informations sur la source de l'image telles que son fichier EXIF ou l’appareil utilisé. Enfin la détection requiert une analyse sémantique de la photographie et de la vraisemblance de la scène, l'oeil de l'expert étant parfois crucial pour réaliser l'incohérence d'une scène.

Aussi l'expertise sur une image ne relève pas seulement de son analyse par des algorithmes automatiques. Des algorithmes peuvent néanmoins détecter des anomalies qui échappent à l'oeil, et leur associer une mesure quantitative de la certitude de l'anomalie. En effet la falsification d'une image en altère les paramètres fondamentaux de prise de vue et de traitement. Ces altérations sont détectables dès qu'on peut estimer les dits paramètres à partir de l'image elle-même.

Nous essayerons pourtant de montrer que camoufler complétement une falsification est possible, mais compliqué. Supposons que le faussaire travaille directement sur l'image brute (raw) de la manière suivante. Il pratique des opérations de substitution à partir d'une image brute distincte ayant à peu près les mêmes caractéristiques. Ensuite il la débruite. Puis il la rebruite l'image conformément à un modèle de Poisson. Enfin il applique enfin une chaîne standard de traitement d'images, débruitage, démosaïquage, gamma-correction, balance des blancs, et compression JPEG.

Après ce camouflage, il n’y aura plus d’anomalie dans la chaîne image ou dans la compression, celles-ci ayant été appliquées à une image brute plausible. Et aucune répétition de texture ou de forme ne sera détectée.

Heureusement la littérature sur la détection de falsification table sur des faussaires habiles, mais pas si méticuleux. Elle suppose que la falsification laisse des traces malgré le camouflage. Pour détecter une falsification il nous faut donc d'une part reconstruire le modèle de constitution de l'image simulé par le faussaire, et détecter toute anomalie de ce prétendu modèle.

Aussi notre proposition développera des algorithmes applicables à toute image. Ces algorithmes produiront un historique complet de l’image et des visualisations révélant ses défauts potentiels. La construction de cet historique permettra de détecter des anomalies improbables selon cet historique. Ainsi on associera à l'expertise humaine des probabilités d'erreur ou un nombre de fausses alarmes, permettant des décisions quantitatives et libres de toute subjectivité.

Notre proposition est en trois phases, car il faut :

-Etablir l'historique numérique de l'image, à savoir les paramètres de toutes les opérations qui ont été effectuées sur l'image brute et notamment : correction des aberrations chromatiques et optiques, débruitage, démosaïckage, correction gamma, balance des blancs, déflouage, interpolation, recadrage, type et paramètres de la compression (notamment le type de transformée et de quantification), éventuelle double compression.

-Catégoriser, implémenter et prendre en main les algorithmes de falsification d'images visant à l'ajout ou à la suppression locale d'informations, puis éventuellement au camouflage de ces opérations, notamment les algorithmes d’inpainting et d’édition de Poisson.

-Concevoir des algorithmes de détection automatique qui, ayant appris l'historique prétendu de l'image, détectent toute anomalie dans cet historique, ainsi que des algorithmes de détection et d’analyse des répétitions.

La plupart des nouveaux outils détaillés dans la proposition s’appuieront sur l’expertise très complète de l’équipe du CMLA en traitement d’images, et sur l’expertise en codage de la Police Scientifique et Technique (DGPN-DCPJ-PTS - Ministère de l'Intérieur (MI).

Coordinateur du projet

Monsieur Jean-Michel Morel (Centre de Mathématiques et Leurs Applications)

L'auteur de ce résumé est le coordinateur du projet, qui est responsable du contenu de ce résumé. L'ANR décline par conséquent toute responsabilité quant à son contenu.

Partenaire

DGPN-DCPJ-PTS Laboratoire d'Analyse et de Traitement de Signal à la sous-direction de la police technique et scientifique de la direction centrale de la police judiciaire
CMLA Centre de Mathématiques et Leurs Applications

Aide de l'ANR 398 358 euros
Début et durée du projet scientifique : février 2017 - 42 Mois

Liens utiles

Inscrivez-vous à notre newsletter
pour recevoir nos actualités
S'inscrire à notre newsletter