Authentifier des ornements par la vision par ordinateur : le cas Marc Michel Rey – ROIi

Il s'agit de constituer une base de données d’ornements extraits d’ouvrages édités au XVIIIe siècle par Marc Michel Rey et d’élaborer conjointement une analyse d’images utile à l’authentification des livres de cet éditeur connu pour son rôle dans la diffusion de la pensée des Lumières.
Les images ont été collectées par extraction automatique au sein d'ouvrages numérisés, catégorisées puis vérifiées manuellement. La base de données a été créée avec Heurist et les métadonnées sont intégrées (données bibliographiques et données de description). Un système opérationnel de navigation dans la base est mis en place.
Le moteur de recherche d'images VISE a été implanté et permet de premières comparaisons d'images. VISE est doté d’un module de comparaison image-requête versus image retrouvée avec affichage de correspondances. Il est également pourvu d’un module de visualisation réduit à l’affichage alternée des deux images. Un travail sur les regroupements d'images, notamment pour les ornements composés, est en cours.
Pour la partie computer vision : Développement d’un modèle à base d’autoencodeur pour la détection d’anomalies, plus précisément des différences de design entre une requête et les occurrences d’un motif similaire dans la base) et création d’un mode de visualisation de telles différences par transparence, intégrable au module de visualisation.

Les modèles ainsi développés sont destinés à être implantés au sein d’un démonstrateur comprenant une visionneuse dédiée à la perception des détails issus de la détection automatique.

Création d’une base de données de ces ornements avec Heurist Huma-num ; version bêta).
Implantation du moteur de recherche d’images VISE (VGG Oxford) sur la machine virtuelle .
Développement d’un modèle à base d’autoencodeur pour la détection d’anomalies
Organisation d’un atelier et d’une journée d’études interdisciplinaires et internationale : Enjeux et méthodes d’analyses des ornements anciens avec le soutien du GDR CNRS APPAMAT. 15-16 juin 2022 : disponibles en ligne :
www.youtube.com/watch
Communication au Congrès DH2022

La base de données des ornements utilisés par Marc Michel Rey sera publiée en open access, sur un site hébergé par la TGIR Huma-Num. Avec les publications scientifiques afférentes au projet, elle permettra de faire avancer les connaissances sur les pratiques et politiques du livre en régime de censure. Par ailleurs, tous nos résultats (méthodologie, thésaurus) seront publiés sous un régime de licence (CC-BY) autorisant leur partage et leur réutilisation.
Outre la publication d’une collection inédite d’ornements utilisés par le. libraire Marc Michel Rey, l’enjeu du projet est de porter les outils conçus pour la détection des anomalies sur des bases de données plus importantes.

1. Novelty detection and visualization in old ornaments, S. Steinlin, F. Vial-Bonacci, S. Chaki, C. Bahier-Porte ,and T. Fournel in CCIW June 9, 2022 (on line ; gdr-appamat.cnrs.fr/evenements-passes/9-10-june-2022-computation-color-imaging-workshop-2022/)
2. Computer Vision for the Study of Printers' Ornaments and Illustrations in European Hand-Press Books by Bahier-Porte, Christelle; Bergel, Giles; Dutta, Abhishek; Fournel, Thierry; Thomas, Drew; Vial-Bonacci, Fabienne; Wilkinson, Hazel; Andrew, Zisserman; Loïc, Denis; Emonet, Rémi; Habrard, Amaury; Ventresque, Vincent; Gautrais, Thomas in Digital Humanities Conference 2022, Pannel 3-01, July 27, 2022
3. Khan M. S., Emonet R. et Fournel T., Vignette detection and reconstruction of composed ornaments with a strengthened autoencoder, hal.archives-ouvertes.fr/hal-03409930, 2021

Le projet ROIi (Rey’s Ornament Image investigation) associe des chercheurs dans les domaines d’une part de l’histoire des idées, de la littérature et de l’histoire du livre (Ihrim) et d’autre part de la vision par ordinateur et de l’apprentissage automatique (Laboratoire Hubert Curien). L’objectif de ce projet collaboratif et interdisciplinaire est de concevoir un outil d’aide à l’authentification des livres publie´s sous des noms ou adresses fictifs ou contrefaits au XVIIIe sie`cle, par l’analyse des ornements. Il s’appuie sur la conception d’une base de donne´es des ornements utilise´s par le libraire Marc Michel Rey (1720-1780). Les pratiques éditoriales et commerciales de ce libraire francophone installé à Amsterdam sont en effet particulièrement représentatives tant des usages typographiques de l’ornement que des stratégies de contournement de la censure. L’étude de ces stratégies éditoriales est éclairante pour comprendre le système de la librairie et la manière dont s’est pratiquée, alors qu’il commence à se défendre philosophiquement, le partage des savoirs et des idées à l’échelle européenne. Elles rendent particulièrement difficiles l’attribution d’un ouvrage à un éditeur et la distinction entre les ouvrages authentiques et les contrefaçons. L’investigation des ornements constitue alors un indice supplémentaire d’identification des ouvrages, au sein d’un faisceau d’indices concordants. La base de données sera ainsi associe´e a` une ta^che de détection d’anomalies, couplant vision par ordinateur et apprentissage automatique. L’objectif est de concevoir un outil d’aide à la décision susceptible de révéler des différences de formes au niveau des ornements sur bois et de la marque de l’éditeur, des différences de style typographique au niveau des ornements composés, en se fondant sur le contenu des données de la base. Détection par patch et auto-encodage seront développés pour être confrontés ou combinés, dans le but de délivrer sur requête des éléments visuels tangibles, l’analyse par patch se rapprochant des mécanismes mis en œuvre lors d’une comparaison visuelle d’images en regard, les auto-encodeurs produisant une représentation efficace des données en mode non supervisé. Cet outil sera testé en aveugle sur des collections d’images d’ornements attribués à Marc Michel Rey mais aussi sur des faux reconnus par les experts, avant d’être expérimenté en ligne et en libre accès puis, à terme, transféré du fonds de Marc Michel Rey à d’autres fonds patrimoniaux.