Vers une analyse multimodale automatique de l'esthétique discursive filmique – TRACTIVE

TRACTIVE vise à établir un nouveau cadre pour l'analyse de la représentation du genre dans les médias visuels. Nous intégrons l'IA, la linguistique et les études sur les médias dans une approche
itérative qui permet à la fois d'identifier les motifs de discours multimodaux du genre dans les films et de révéler quantitativement leur prévalence. Nous déployons une approche multidisciplinaire pour la création des données. Nous concevons des modèles d’IA pour analyser la représentation multimodale des personnages. Nous concevons un nouveau cadre d'interprétation pour les études sur les médias et le genre qui intègre les capacités modernes de l'IA. Nos modèles, publiés par le biais d'un outil en ligne, engageront le grand public par le biais de la science participative afin de le sensibiliser aux questions de genre dans les médias dans une perspective multidisciplinaire.

Ces premiers 18 mois ont permis la mise en place des processus de création de données (délimitation de corpus, investigation des datasets existants, méthodes d’annotation, workflow de traitement), d’amorcer la création de données et l’analyse des données avec en particulier des modèles de deep learning.

Nous préparons des soumissions à conférences pour partager nos données novatrices (analyses expertes de la représentation du genre dans les vidéos) et nos premiers modèles deep learning de baseline, et permettre aux communautés IA et SIC d’aborder ces nouvelles questions.

1. H.-Y. Wu, L. Nguyen, Y. Tabei, and L. Sassatelli., 2022.04, “Evaluation of deep pose detectors for automatic analysis of film style”. 10th Eurographics Workshop on Intelligent Cinematography and Editing. Eurographics Digital Library. Reims, France.
2. Vanni L., Mahmoudi H., Longrée D., Mayaffre D. (à paraitre). Multi-channel Convolutional Transformer and intertextuality : a Latin case study. In Text Analytics. Advances and Challenges, Springer.
3. Guaresi M., Haris S., et Vanni L. 2023. Text Analysis Using Convolutional Neural Networks with Multi-Head Attention. 12th International Quantitative Linguistics Conference QUALICO 2023. Lausanne, Switzerland.
4. Vanni L., Guaresi M., Magri V. 2022. Convolution et marqueurs multidimensionnels. Description des représentations genrées dans un corpus de films français. 16th International Conference on Statistical Analysis of Textual Data ( JADTS 2022 ), Jul 2022, Naples, Italie.
5. Mayaffre D. et Vanni L. (2023 - sous presse), “Sémantique de corpus numérique et deep learning, Espaces linguistiques, n°6, 2023
6. L. Andolfi, 2023.06.15, “Communautés de fans en ligne et folklore numérique : Pour une anthropologie des publics”. XXIIIe congrès de la Sfsic : La numérisation des sociétés.
7. L. Andolfi, 2023.04.17, “A la recherche du genre perdu : la construction nostalgique de représentations du genre par le dispositif des films d'époque”. Ve atelier doctoral Philomel : La représentation du genre à l’écran.

Quantifier la présence des femmes dans les médias visuels est insuffisant pour appréhender la question de l'inégalité entre les sexes, la façon dont elles apparaissent étant essentielle. Le régime scopique genré (male et female gaze) a été récemment revisité. Pourtant, comment identifier des motifs discursifs visuels aussi complexes, subtils mais largement répandus, qui peuvent véhiculer une représentation biaisée, et quantifier l'étendue de leur utilisation respective ?

Grâce aux progrès de l'Intelligence Artificielle (IA) et de la linguistique computationnelle, nous sommes désormais en mesure de mener des analyses quantitatives pour identifier et extraire des motifs visuels et textuels récurrents à partir de contenus médiatiques. Cependant, une telle analyse nécessite une approche itérative, de concert avec des études qualitatives des médias, pour reconnaître ce qui est caractéristique d'un style de discours dans les médias visuels, et comment les résultats de l’analyse automatique s'intègrent dans le contexte narratif et socio-historique plus large pour lequel le contenu a été produit. Pour permettre un tel dialogue bidirectionnel, les modèles d'IA devront être suffisamment explicables et permettre une analyse et un raffinement par des expert·es.

L'objectif de TRACTIVE est de caractériser et de quantifier la représentation du genre et l'objectification des femmes dans les films et les médias visuels, en concevant une analyse basée IA du discours multimodal (visuel et textuel).

TRACTIVE vise à établir un nouveau cadre pour l'analyse de la représentation du genre dans les médias visuels. Nous intégrons l'IA, la linguistique et les études sur les médias dans une approche itérative qui permet à la fois d'identifier les motifs de discours multimodaux du genre dans les films et de révéler quantitativement leur prévalence. Nous concevons un nouveau cadre d'interprétation pour les études sur les médias et le genre qui intègre les capacités modernes de l'IA. Nos modèles, publiés par le biais d'un outil en ligne, engageront le grand public par le biais de la science participative afin de le sensibiliser aux questions de genre dans les médias dans une perspective multidisciplinaire.