Vision artificielle et analyse Historique de la circulation de l'illustration Scientifique – VHS

Le projet VHS propose une approche nouvelle pour l’étude historique de la circulation des savoirs scientifiques fondée sur de nouvelles méthodes d’analyse de l’illustration. Grâce aux derniers développements de l’IA et de la vision artificielle, l’objectif est de concevoir un instrument d’analyse inédit fondé sur l’étude des modalités d’évolution et de transformation des images dans des corpus scientifiques illustrés du Moyen-A^ge et de la pe´riode moderne. Nous développerons pour ce faire des me´thodes d’apprentissage non ou faiblement supervise´es permettant d’effectuer des recherches automatiques d’envergure adaptées à ces corpus, fondées sur la détection de similarités iconographiques (entre les images, afin de repérer les processus de copie et d’emprunt notamment) et textuelles (entre les images et les légendes ou les textes associés, pour repérer par exemple des images différentes décrivant des contenus textuels similaires). Ces méthodes fourniront aux historiens de nouvelles associations d’illustrations et relations possibles (intericoniques et/ou intertextuelles) dont l’analyse apportera de nouvelles réponses sur plusieurs questions essentielles des études sur les modalités de circulation des savoirs scientifiques illustrés, à commencer par la place et le rôle de l’image dans la transmission de ces savoirs.
Le travail est conduit sur deux corpus manuscrits médiévaux et deux corpus imprimés de l'époque moderne, couvrant trois domaines de savoirs, l’histoire naturelle, les mathématiques, la pharmacologie. Le projet prévoit :
- la constitution de ces quatre corpus, leur indexation et l’extraction automatique de leurs illustrations dans une base de données d’images au format IIIF, dotée d’une interface numérique de consultation et d’annotation partagée,
- le développement des méthodes de détection de similarités, l’analyse conjointe des tests effectués sur les illustrations extraites des quatre corpus, et l’organisation des travaux d’annotation nécessaires à l’amélioration des algorithmes de détection,
- l’étude historique des résultats obtenus et une analyse interdisciplinaire des enjeux méthodologiques associés,
- la diffusion académique des résultats (publications, conférences, préparation d’un ouvrage collectif) dans toutes les disciplines impliquées (histoire des sciences, humanités numériques, vision artificielle), et leur valorisation pédagogique.

L'approche adoptée, combinant étroitement sciences humaines et sciences des données, place le projet résolument dans le domaine des Humanités Numériques, où VHS fournira un résultat concret et important pour les historiens des sciences, des technologies, de l'art et pour la communauté des études visuelles : la mise à disposition des méthodes développées sous la forme d'une API IIIF, conçue comme un environnement de recherche pour l'analyse de la circulation de la connaissance scientifique à travers les images. Ces mêmes méthodes constitueront également des contributions originales dans le domaine de l'IA, sur plusieurs défis importants, tels que l'apprentissage faiblement supervisé de représentations d'images à grain fin (y compris des données textuelles faiblement alignées) et l'apprentissage faiblement supervisé du style des images. Les résultats du projet feront l'objet d'une diffusion académique (publications, conférences, préparation d'un ouvrage collectif) dans toutes les disciplines impliquées. Ils seront également valorisés pédagogiquement grâce au développement de matériel pédagogique pour les enseignants du primaire et du secondaire et la mise en place d'une unité d'enseignement de master en humanités numériques.

VHS propose des méthodes d'analyse automatique innovantes et une méthodologie d'étude capable de prendre en compte les caractéristiques cruciales des modes de circulation historiques de l'illustration scientifique, y compris leurs dimensions intericoniques et intertextuelles.
En histoire des sciences, réussir à rassembler et à comparer un très grand nombre d'images, dont certaines n'auraient jamais été détectées sans l'apport de la vision artificielle, et étudier leurs relations permettra de mieux comprendre la place, le rôle et le statut épistémologique des illustrations et de l'information visuelle dans la circulation du savoir scientifique, questions jusqu'à présent difficiles à appréhender par les historiens médiévaux et modernes. Plus largement, les résultats de VHS interrogeront l'existence dans les sciences de cultures visuelles communes au Moyen Âge et à l'époque moderne.
Dans le domaine de la vision artificielle et de l'apprentissage automatique, ce projet sera l'occasion de relever des défis fondamentaux, tels que la classification non supervisée à grain fin et l'apprentissage à partir de données textuelles faiblement alignées. Nous pensons que le contexte précis de ce travail et la nature spécifique des corpus étudiés seront l'occasion d'élaborer et de démontrer des solutions originales à ces défis. Les nouvelles tâches définies et les algorithmes développés seront d'un grand intérêt et conduiront à des progrès significatifs dans la communauté de la vision.
Les tests que nous aurons effectués sur quatre corpus couvrant une large période et trois domaines de connaissance distincts garantiront la robustesse des méthodes d'analyse, permettant de les développer et de les mettre à disposition sous la forme d'une API, constituant ainsi un autre résultat, destiné à la communauté des Digital Humanities, aux équipes travaillant sur des corpus illustrés, et même au-delà.

Les résultats du projet VHS incluent
- l'ensemble des publications et des présentations dans des conférences et des congrès par les membres de l'équipe dans les différentes disciplines impliquées,
- la préparation d'un ouvrage collectif synthétisant les réflexions historiques menées sur la circulation des connaissances scientifiques à travers l'illustration sur la base des résultats obtenus.
- une interface de consultation de la base de données iconographiques constituée à partir des quatre corpus du projet et des réseaux et circulations détectés
- l'implémentation des méthodes d'apprentissage développées sous la forme d'une API compatible avec le format IIIF. Cette API sera librement accessible afin que la communauté puisse l'utiliser et la tester sur d'autres corpus illustrés. Elle sera développée sous la forme d'un environnement de recherche permettant de charger un corpus, de lui appliquer les fonctionnalités d'analyse développées, de visualiser et d'annoter les résultats. Une attention particulière sera accordée à la conception des fonctionnalités de visualisation, de manipulation et d'annotation des résultats, afin de garantir leur pertinence pour les historiens.
- un ensemble de matériel pédagogique pour les enseignants du primaire et du secondaire, développé pour leur permettre de concevoir facilement des leçons et des activités pédagogiques axées sur le rôle de l'image dans le développement historique de la connaissance scientifique
- une unité d'enseignement en Humanités numériques au niveau Master mise en place en lien direct avec les recherches menées dans le cadre du projet, pour être déployée dans au moins une formation (à Sorbonne Université).
- l'organisation d'une conférence de clôture pluridisciplinaire pour présenter les principaux résultats du projet, notamment les méthodes d'analyse développées, l'API VHS, et la synthèse historique des travaux menés.

Le projet VHS propose une approche nouvelle pour l’étude historique de la circulation des savoirs scientifiques fondée sur de nouvelles méthodes d’analyse de l’illustration. Grâce aux derniers développements de l’IA et de la vision artificielle, l’objectif est de concevoir un instrument d’analyse inédit fondé sur l’étude des modalités d’évolution et de transformation des images dans des corpus scientifiques illustrés du Moyen-A^ge et de la pe´riode moderne. Nous développerons pour ce faire des me´thodes d’apprentissage non ou faiblement supervise´es permettant d’effectuer des recherches automatiques d’envergure adaptées à ces corpus, fondées sur la détection de similarités iconographiques (entre les images, afin de repérer les processus de copie et d’emprunt notamment) et textuelles (entre les images et les légendes ou les textes associés, pour repérer par exemple des images différentes décrivant des contenus textuels similaires). Ces méthodes fourniront aux historiens de nouvelles associations d’illustrations et relations possibles (intericoniques et/ou intertextuelles) dont l’analyse apportera de nouvelles réponses sur plusieurs questions essentielles des études sur les modalités de circulation des savoirs scientifiques illustrés, à commencer par la place et le rôle de l’image dans la transmission de ces savoirs.
Le projet associe pour ce faire trois partenaires reconnus (l’équipe Humanités numériques de l’Institut des Sciences du Calcul et des Données de Sorbonne Université ; l’équipe Monde Byzantin du laboratoire Orient & Méditerranée (UMR 8167) ; l’équipe Imagine du Laboratoire d'Informatique Gaspard Monge de l’École des Ponts ParisTech (ENPC)) qui rassemblent des spécialistes de l’histoire des sciences, de l’illustration scientifique, de la vision artificielle et de l’apprentissage profond.
L’équipe VHS est animée par une démarche fortement interdisciplinaire qui se structurera sur les quatre ans du projet autour notamment d’ateliers internes réguliers, permettant de croiser les compétences, les approches et d’organiser le travail, et d’un séminaire public mensuel dédié aux études sur la circulation de l’illustration scientifique. Le travail sera conduit sur quatre corpus illustrés, deux corpus manuscrits médiévaux et deux corpus imprimés de l'époque moderne, couvrant trois domaines de savoirs, l’histoire naturelle, les mathématiques, la pharmacologie. Ces corpus seront indexés et leurs illustrations automatiquement extraites dans une base de données IIIF dotée d’une interface de consultation et d’annotation dont la mise en place constituera la première phase du projet. Le consortium travaillera ensuite parallèlement au développement des méthodes de détection de similarités, à l’analyse conjointe des tests effectués, ainsi qu’à l’étude historique des résultats obtenus et aux enjeux méthodologiques associés.
L’approche adoptée, mêlant étroitement sciences humaines et sciences des données, inscrit résolument le projet dans le domaine des humanités numériques, où VHS apportera un résultat concret et important à destination des historiens des sciences, des techniques, de l’art et de la communauté des visual studies : la mise à disposition de ses méthodes sous la forme d’une API IIIF, conçue comme un environnement de recherche pour l’analyse de la circulation du savoir scientifique par le biais de l’image. Ces méthodes constitueront aussi des apports originaux dans le domaine de l’IA, sur plusieurs problèmes importants, tels que l’apprentissage faiblement supervisé sur des représentations fines d’images incluant des données textuelles faiblement alignées. Les résultats seront diffusés académiquement (publications, conférences, préparation d’un ouvrage collectif) dans toutes les disciplines impliquées. Ils seront aussi pédagogiquement valorisés grâce à la mise au point de matériaux éducatifs pour les enseignants du primaire et du secondaire, ainsi que la mise en place d’une UE de Master en humanités numériques.