Profilage et Détection des acteurs malveillants dans les réseaux sociaux en ligne à l'aide de l'intelligence artificielle – MARTINI

Nous avons proposé Bi-LORA (Harnessing the Power of Large Vision Language Models for Synthetic Image Detection), une nouvelle méthode basée sur les modèles de langage visuel (VLM).
o Bi-LORA exploite le pouvoir de généralisation des VLM, entraînés sur des données Internet à grande échelle, afin d'offrir de solides capacités d'extraction de caractéristiques à partir de zéro.

Ce travail a été accepté pour présentation à la conférence ICASSP 2024.
o Bi-LORA a démontré son potentiel pour améliorer de manière significative l'extraction de caractéristiques multimodales et la détection d'images générées par l'IA, en fournissant un cadre robuste pour l'extraction de caractéristiques généralisables.

Nous étendons nos travaux à l'élaboration d'un modèle multimodal capable de détecter les contenus manipulés dans les images, les vidéos et l'audio.
Le modèle vise à intégrer des caractéristiques multimodales afin d'améliorer la précision et la fiabilité tout en relevant des défis tels que la cohérence multimodale.

? Synthetic Image Detection Using Mixture of Knowledge Distillation from Vision-Language Models (Workshop on MultiMedia Forensics in the Wild, Kolkata, India, 2024.)
? FIDAVL: Fake Image Detection and Attribution Using Vision-Language Models (27th International Conference on Pattern Recognition, India, Kolkata, 2024.)
? On the Detection of AI-Generated Images and Videos (4th International Conference on Image Processing and Vision Engineering, 2024)
? Advances in AI-Generated Images and Videos (International Journal of Interactive Multimedia and Artificial Intelligence (IJIMAI), 2024)
? Bi-LORA: A Vision-Language Approach for Synthetic Image Detection (Expert Systems Journal, 2024)
? Generation and detection of manipulated multimodal audiovisual content: Advances, trends and open challenges (Information Fusion Journal, 2024)
? Harnessing the Power of Large Vision Language Models for Synthetic Image Detection (2024 IEEE International Conference on Acoustics, Speech, and Signal Processing, ICASSP, 2024)
? DeeCLIP: A Robust Transformer-Based Approach for AI-Generated Image Detection (IEEE/CVF Conference on Computer Vision and Pattern Recognition 2025), In process.
? On the Effectiveness of Vision Mamba for AI-Generated Image Detection (International Journal of Computer Vision, IJCV, 2024), In process.