CE38 - La Révolution numérique : rapports au savoir et à la culture

Sémantisation Et Spatialisation d’Artefacts patrimoniaux Multi-Echelles : annotation 3D, Sonification et formalisation du raisonnement – SESAMES

SESAMES

Sémantisation Et Spatialisation d’Artefacts patrimoniaux Multi-Echelles : annotation 3D, Sonification et formalisation du raisonnement

La question de l’esprit de synthèse, de la comparabilité, de la reproductibilité face au risque de dispersion et aux enjeux des données massives et de la pluridisciplinarité.

Le projet SESAMES est né du constat que la façon dont on peut observer, documenter, analyser et faire comprendre un fait bâti patrimonial est aujourd’hui questionnée, à l’ère du numérique, notamment par notre capacité grandissante à produire des « masses » d’observations, voire à les traiter et croiser. Mais s’il y a rupture, il n’y a pas forcément opportunité: le risque existe d’aller vers une forme de collectionnite numérique produisant plus d’entropie que de compréhension, et résultant de deux facteurs clés : dispersions (outils, méthodes, spécialités) et volatilité (des résultats, mais surtout des processus ayant conduit à ces résultats). <br />La question posée est donc : comment dégager une compréhension globale de l’objet observé (esprit de synthèse), et la transmettre (enjeu de reproductibilité, de traçabilité). Le projet ne prétend pas apporter une réponse globale mais passe par l’expérimentation concrète, appliquée, en combinant trois objectifs:<br />1. Mener un effort de caractérisation de faits bâtis multi-échelles, et dans trois dimensions (spatiale, sonore, ontologique) : Production et traitement de données 3D, visuelles et métriques, extraction de motifs informationnels (architecturaux), corpus sonore, élicitation des connaissances.<br />2. Renouveler la façon dont nous pouvons faire un travail de mise en relation, de lecture comparative, de caractérisation par différentiation : Volet exploratoire « visualisation et sonification » : visualisation de données sonores, sonification de données architecturales, mise en corrélation, et in fine mise en évidence des apports respectifs de la visualisation et de la sonification. <br />3. Expliciter et mettre en évidence des modalités de raisonnement, favoriser la traçabilité : Explorer comment associer aux actions mobilisées dans le passage observé > restitué des procédures concrètes et applicables de mémorisation des inférences (cas des restitutions 3D).

Le projet SESAMES propose une démarche originale combinant collecte et multi-exploitations d’empreintes sonores et de contenus 3D, visualisation (extraction et mise en comparaison de motifs informationnels abstraits) et sonification (représentations basées sur la perception du rythme et de séquences sonores), formalisation d’inférences exemplifié dans le passage observé > restitué (i.e. passage indices et données > informations > interprétations > restitution).

Effort de caractérisation : le projet a permis de mettre au point un protocole d’acquisition de données combiné espace + son, dont les résultats permettent en phase d’analyse et d’exploitation de rapprocher deux dimensions essentielles de la définition et de la perception d’un lieu architectural. Le projet s’attache aussi à interroger la capacité des ontologies à exprimer complètement les particularités du domaine d’application en mettant en avant l‘idée de caractériser la distance entre objet théorique et objet observé.
Enfin le projet interroge l’intersection d’échelles de lecture souvent parallèles : celle, au niveau prescriptif ; de l’architecte et celle, au niveau descriptif, de l’archéologue.

Lecture comparative : le projet explore (i) des solutions de visualisations de données sonores (2D/3D) (ii) des solutions de sonification de données architecturales (mapping sonore de caractéristiques morphologiques) et (iii) une combinaison les deux approches pour en évaluer les apports respectifs.
Reproductibilité et traçabilité : travail sur deux pistes complémentaires - expérimentation concrète d’un SI (Système d’Informations en ligne) dédié à la formalisation du raisonnement et des protocoles d’études, exploité sur le passage observé > restitué puis au- delà, et à un grain plus fin que via la description d’« activités» formant « protocole d’étude », tentative d’associer les différents composants restitués dans une maquette 3D à une série de choix (inférences).

Effort de caractérisation : le projet a permis de développer et d’expérimenter un protocole original d’acquisition de données visuelles / métriques / sonores, ajusté des situations « patrimoine mineur, édifices isolés », moyen par lequel des jeux de données riches et cohérents ont été produits. Ces données font l’objet de post-traitements et de développements spécifiques (au sens outils ou au sens modèles interprétatifs). Une première phase de test a permis d’interroger les plus-values de l’annotation de nuage de point 3D et débouche sur de nouveaux scénarii d’exploitation de données 3D à l’intersection des dimensions prescriptives et descriptives.
Lecture comparative : le projet a permis de monter des expériences exploratoires exploitant les données acquises sur un corpus de 15 chapelles rurales : visualisation et spatialisation (2D/3D) d’indicateurs acoustiques, sonification de traits architecturaux (contours), exploitation conjointe des données sonores et visuelles (panoramas en ligne).
Reproductibilité et traçabilité : un travail d’implémentation du SI permettant une captation et une formalisation des protocoles mobilisés dans le passage observé > restitué a été mené, et le SI a été expérimenté sur le cas d’étude prévu au projet (restitutions 3D, abbaye de Marmoutier). Également à citer : travail d’élicitation de connaissances entre équipes pour raffiner le modèle de description d’activités, création d’une matrice de justifieurs et construction d’un modèle conceptuel de l’enregistrement des données de fouille.
Enfin a émergé au fil de la mise en pratique du projet un objectif complémentaire : inclure une dimension « historique » (analyse diachronique basée sur la caractérisation d’états et de transitions) à l’effort de caractérisation, dimension pour laquelle un travail d’implémentation est lancé.

Le projet SESAMES se traduit à ce stade par la production d’une « matière première » conséquente – que l’on parle de données brutes ou post-traitées (nuages de points 3D, indicateurs acoustiques, description de chaînes d’activités, etc.) ou que l’on parle de modèles, ou biais d’analyse (motifs informationnels architecturaux, stratégies de sonification, matrice de justifieurs d’inférences, etc.). Cette masse ouvre plusieurs chantiers scientifiques potentiels entre partenaires, qui relèvent pour l’essentiel de l’exploration méthodologique, dont en particulier :
o Sonification / visualisation : mise en œuvre d’un « corrélateur interactif en ligne », appli web devant permettre à un analyste d’opérer une sélection de variables architecturales, visuelles, métriques et sonores et d’en étudier les relations.
o Analyse perceptive : Réalisations d’expérimentations auprès de panels de participants qui reportent leur perception des sons liés au corpus chapelles rurales. Les expérimentations sont à des stades d’avancements variés (expérimentations réalisées ou protocoles en cours d’élaboration).
o Fouille de nuages de points 3D (vu comme «données massives») : solution de recherche de motifs sur la base de fichiers PLY – format 3D ascii.
o Scénario d’annotation de corpus à deux voix permettant de questionner les ontologies et le travail de mise en cohérence inter-corpus - articulation exploratoire du Modèle générique archéologie (MGA) et de l’Ontologie de l’architecture patrimoniale (OAP).
o Expérience « preuve de concept » pour spatialiser les chaines d’inférences et les matrices de justifieurs (accès depuis les maquettes 3D reconverties).
o Visualisation d’informations deux développements portant sur le projet dans son ensemble : chronographies interactives (volet caractérisation), et visualisation comparative des protocoles d’étude (volet raisonnement et traçabilité).

I.Dudek, J.Y Blaise Diachrograms – a theoretical framework for the modelling and analysis of a heritage artefact’s diachronic evolution
Doc. ouvert ANR SESAMES
halshs.archives-ouvertes.fr/halshs-03070375

J.Y Blaise, I.Dudek, A.Pamart, L.Bergerot, A.Vidal, S.Fargeot, M.Aramaki, S.Ystad, R.Kronland-Martinet, Space & sound characterisation of small-scale architectural heritage: an interdisciplinary, lightweight workflow, International Conference on Metrology for Archaeology and Cultural Heritage 2020 , Trento, Italy
halshs.archives-ouvertes.fr/halshs-02981084

I.Dudek, J.Y Blaise Enabling the comparability of research workflows: a case study, CAA 2019 Computer applications and quantitative methods in archaeology, Krakow, Poland.
halshs.archives-ouvertes.fr/halshs-0292763

J.Y Blaise, I.Dudek, G.Saygi Proportions vs dimensions: shedding a different light on the analysis of 3D datasets, CAA 2019 Computer applications and quantitative methods in archaeology Krakow, Poland.
halshs.archives-ouvertes.fr/halshs-02928189

A. Giacometti, B. Markhoff, A. Soulet : Mining Significant Maximum Cardinalities in Knowledge Bases, International Semantic Web Conference (ISWC 2019), October 2019, Auckland, New Zealand.

A. Giacometti, B. Markhoff, A. Soulet : Comparison Table Generation from Knowledge Bases, Extended Semantic Web Conference (ESWC 2021), June 2021, Hersonissos, Greece.

A. Giacometti, B. Markhoff, A. Soulet : Découverte de cardinalités maximales significatives dans des bases de connaissances, Revue ouverte d'intelligence artificielle (roia.centre-mersenne.org/), à paraître en 2021.

A. Giacometti, B. Markhoff, A. Soulet : VERSUS : Générateur de tableaux comparatifs à partir de bases de connaissances. Extraction et Gestion des Connaissances EGC’21, Jan 2021, Montpellier, France.

L’étude de l’artefact patrimonial est aujourd'hui interrogée par un renouvellement de notre capacité à produire des masses d’observations, à croiser des jeux de données conséquents. Dans les sciences patrimoniales, où se substitue à une ambition d’explicitation de règles générales celle d’analyse objectivée d’histoires particulières, comment traduire ce "plus" en "gain de sens" ?
En réponse, Le projet vise à exemplifier et mettre en partage des démarches de caractérisation sémantique de faits, et de formaliser, de mémoriser à fins de reproductibilité, le raisonnement sur ces faits, et notamment les inférences du passage fait archéologique observé > fait architectural restitué.
Il est construit sur un jeu entre définition en intension / en extension de corpus, observés dans leurs dimensions sonores, spatiales et ontologiques, exploité pour la caractérisation d’individus puis pour l’analyse comparative (caractérisation par différentiation), phase pour laquelle est introduite une démarche exploratoire de sonification de données multidimensionnelles.

Le projet articule en deux volets des compétences complémentaires, relevant des STIC et par leur champ applicatif des SHS, correspondant pour le premier aux passages de la donnée vers ses exploitations, et pour le second à la nécessité de mémoriser et de mettre en partage les modalités de ces passages.

Volet 1) Outils et protocoles de caractérisation du fait bâti dans ses dimensions sonore, spatiale et ontologique.
(i) Dimension spatiale : acquisition de données métriques, sémantisation et extraction de motifs morphologiques . Cette action porte sur le protocole de relevé (génération automatisée de nuages de points 3D par corrélation dense) mais surtout sur l’extraction de signatures morphologiques dans les données résultantes.
(ii) Dimension sonore. Cette action s'articule suivant 3 phases : définition des protocoles de captations d'empreintes sonores, caractérisation acoustique, et caractérisation perceptive des empreintes. Cette dernière phase fera l'objet de tests d'écoutes en environnement 3D reconstitué en laboratoire (cave ambisonique) afin de projeter les empreintes sonores au sein d'espaces acoustique et perceptif.
(iii) Dimension ontologique et exigence de validation. Il s’agira ici, appuyé sur les cas d’étude, de développer une structure ontologique représentant les faits et leurs interrelations comme les inférences et éléments de raisonnement, et d’examiner les questions de lisibilité, et de transférabilité d’une telle structure. En filigrane cette démarche réflexive porte donc un questionnement sur la notion d’ontologie face aux réalités du champ d’application.
(iv) Visualisation et sonification. Cette action transversale et conclusive, au caractère exploratoire affirmé, porte une dimension abstraite, orientée lecture de collections. Elle a pour objectif de mieux comprendre comment des modalités alternatives de construction de sens (visualisation et sonification) peuvent se complémenter pour faciliter la recherche de convergences et d’anomalies dans les réponses sonores, en lien avec les déterminants spatiaux.

Volet 2) Formalisation du raisonnement, traçabilité des processus. Ce volet est mis en place et exemplifié sur les actions de caractérisation du volet 1 dans une optique de reproductibilité et de traçabilité :
(i) Formalisation des protocoles d’acquisition, d’analyse et d’interprétation de données. Cette action répond à une forte attente au sein de la communauté scientifique concernée: mieux mémoriser les étapes de production d’un extrant digital.
(ii) Formalisation du passage observé > restitué. Ce problème est particulièrement présent dans l’exploitation scientifique ou à fins de valorisation de la donnée archéologique. La phase de restitution impose de « dérouler » des jeux de connaissances et d’inférences à formaliser comme tels.

La stratégie de transfert du projet s'appuie sur les implications existantes des partenaires, notamment dans le TGIR Huma-Num.

Coordination du projet

Jean-Yves BLAISE (Modèles et simulations pour l'Architecture et le Patrimoine)

L'auteur de ce résumé est le coordinateur du projet, qui est responsable du contenu de ce résumé. L'ANR décline par conséquent toute responsabilité quant à son contenu.

Partenaire

LIFAT Laboratoire d'Informatique Fondamentale et Appliquée de Tours
CITERES Cités, Territoires, Environnement et Sociétés
CNRS DR12_PRISM Perception, Représentations, Image, Son, Musique
CNRS DR12_MAP Modèles et simulations pour l'Architecture et le Patrimoine

Aide de l'ANR 476 711 euros
Début et durée du projet scientifique : février 2019 - 36 Mois

Liens utiles

Explorez notre base de projets financés

 

 

L’ANR met à disposition ses jeux de données sur les projets, cliquez ici pour en savoir plus.

Inscrivez-vous à notre newsletter
pour recevoir nos actualités
S'inscrire à notre newsletter