Vérification d'Intégrité d'Image pour l'Anticipation d'Attaques d'Influence – CI2(IA)

• Détection et localisation des deepfakes (IMTNE/CRIStAL)
• Jeu de données réaliste pour l’évaluation de détecteurs (GIPSA-LAB)
• Améliorer la généralisation des détecteurs (IMTNE/CRIStAL)
• Tatouage éthique et stéganographie générative (IMTNE/CRIStAL)
• Analyse des modifications sémantiques (IMATAG, IMTNE)
• Analyse des fuites d’information (IMTNE)

DJIN : Détecteur basé sur la conservation des composantes de bruit, évitant les couches de pooling initiales. Pré-entraîné sur ImageNet pour la stéganographie, DJIN est le meilleur détecteur pour les datasets In-Distribution et est efficace sur les images haute qualité et de tailles variées.
DinoLizer : Modèle basé sur DINOv2 pour localiser les régions manipulées dans les images génératives. Il utilise une tête de classification linéaire sur les embeddings de patches du Vision
Transformer et une stratégie de fenêtre glissante pour les grandes images. DinoLizer surpasse l’état de l’art avec un IoU supérieur de 12% et reste robuste aux post-traitements.
Insertion dans l’espace latent (Glow) : L’idée ici est d’utiliser un modèle réversible, c’est-à-dire, des modèles permettant de retrouver l’espace latent ayant servi à générer une image
à partir de cette image. Ces modèles, bien qu’étant inversibles, ne prennent pas en compte qu’une image n’est pas enregistrée (stockée et partagée) avec des nombres flottants. Nous avons
donc proposé une méthode d’optimisation pour insérer un message caché dans l’espace latent d’un générateur d’images. Un vecteur de biais appris par descente de gradient est ajouté au vecteur latent pour garantir un taux d’erreur nul après quantification de l’image.
Réduction d’erreur par ajustement dans l’espace latent : Cette méthode modifie un schéma de spectre étalé binaire haute capacité. Elle corrige les erreurs via une hypothèse de décalage et ajuste la norme du vecteur latent pour minimiser la détectabilité.
RealAI, un ensemble de données généré par IA d’un photoréalisme très élevé, conçu pour fournir un cadre d’évaluation exigeant pour les détecteurs d’images générées par IA. Nous évaluons les méthodes de détection existantes sur RealAI. Contrairement aux évaluations précédentes, nous considérons non seulement la généralisation à des générateurs inconnus, mais aussi à des images appartenant à des catégories sémantiques inconnues.

• Stéganographie générative :
Amélioration de l’inversibilité des modèles de diffusions. Le but est de trouver un antécédent
aux étapes de diffusion au lieu d’utiliser l’inversion approximé (i.e. DDIM).
Correction d’erreur a posteriori. Le but est d’utiliser l’unicité de l’image générée pour un message et un prompt donné pour assurer que le message décodé est bien le message transmis.
• Localisation des deepfakes :
Nous développons actuellement un ensemble de données d’inpainting par modèles génératifs qui prend en compte différents modèles, y compris les nouveaux modèles tels que SD3, Flux et Qwen, afin d’affiner le modèle Dinolizer. Le but est de vérifier les performances dans des scénarios réels, notamment dans un cadre de détection hors distribution (Out Of Distribution).
• Améliorer la généralisation des détecteurs :
Une piste de recherche que nous explorons actuellement consiste à adapter les données hors distribution, ou cibles, aux données d’apprentissage, ou sources, à l’aide d’un procédé de « blanchiment et recoloration ». Par blanchiment, nous prenons l’échantillon d’entraînement et le projetons dans un espace latent où toutes les caractéristiques sont décorrélées les unes des autres. Ensuite, la recoloration reprojette les données blanchies dans l’espace de covariance des données sources. Dans les simulations en cours, nous cherchons à déterminer si les VAE peuvent blanchir et recolorer les données lorsque l’alignement est une convolution avec un filtre simple, ce qui est gérables numériquement et mathématiquement.

M. T. Doi, J. Butora, V. Itier, J. Boulanger, and P. Bas. “DeepFake Detection based on Noise Residuals”, GRETSI, (2025).
M. T. Doi, J. Butora, V. Itier, J. Boulanger, and P. Bas. “DinoLizer: Learning from the Best for Generative Inpainting Localization”, en soumission (2025).
G. Evennou, V. Chappelier, and E. Kijak. “Fast, Secure, and High-Capacity Image Watermarking with Autoencoded Text Vectors”. arXiv preprint arXiv:2510.00799 (2025).
G. Evennou, V. Chappelier, E. Kijak, and T. Furon. “Swift: Semantic watermarking for image forgery thwarting”. 2024 IEEE International Workshop on Information Forensics and Security (WIFS). IEEE. 2024, pp. 1–6.
G. Evennou, A. Chaffin, V. Chappelier, and E. Kijak. “Reframing Image Difference Captioning with BLIP2IDC and Synthetic Augmentation”. 2025 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). IEEE. 2025, pp. 1392–1402.
I. Messadi, G. Cervia, and V. Itier. “Image selective encryption analysis using mutual information in CNN based embedding space”. 13th European Workshop on Visual Information
Processing (EUVIP). 2025.
A. Noirault, T. Pevny, J. Butora, V. Itier, and P. Bas. “ERROR REDUCTION FOR GEN-AI STEGANOGRAPHY BY ADJUSTMENTS IN THE LATENT SPACE”, en soumission (2025).
A. Noirault, J. Butora, V. Itier, and P. Bas. “Génération d’Images et Insertion d’un Message Caché dans l’Espace Latent de Glow”. Gresti. (2025).
J. L. Thai Ngoc Toan Truong and K. Wang. “Toward generalizable AI-generated Image detection with a new realistic dataset: Performance evaluation and improvement”. IEEE Multimedia. (2026).

La disponibilité d’outils de génération de deepfakes rend leur création et leur diffusion accessibles. De plus, la performance de ces modèles produit des résultats pouvant tromper l’humain. C’est dans ce contexte, que s’inscrit le projet Checking Image Integrity for Anticipating Influence Attacks (CI2(IA)) qui vise à vérifier quelle confiance accorder à de l’information visuelle provenant de journalistes, de réseaux sociaux ou d’influences étrangères. Ce projet s’attaque à la vérification d’intégrité des contenus, i.e la capacité à déterminer si un média est un deepfake ou non et s’il a un but malicieux.
Bien que des détecteurs performants basés sur des réseaux de neurones existent, ils ne sont que peu généralisables à des données issues de distributions différentes (par exemple, un générateur de deepfakes différent). Pour résoudre ce problème, les techniques d’adaptation de domaine seront employées dans ce projet.
Une autre approche active pour vérifier l’intégrité des deepfakes est de générer des deepfakes “éthiques” dans lesquels une marque est insérée comme tatouage pour indiquer leur provenance. Le but du projet est de proposer une méthode de tatouage robuste, ayant des garantis sur la qualité de l’image générée, tout en permettant à n’importe quel utilisateur de vérifier la provenance d’une image tatouée.
Les approches actives permettent également de vérifier l’intégrité d’images tatouées. En comparant l’image tatouée à des versions modifiées, le projet s’intéresse à comprendre, automatiquement, les buts et enjeux de changements sémantiques entre les images.
CI2(IA) propose d’adresser ces aspects complémentaires dans le but de permettre une lecture critique de l’information diffusée dans un contexte global de fake news.