Analyse de l'oeuvre augmenté : Logiciel d'interpretation assistée des images artistiques – AAA

Le projet vise à produire un outil pour l’interprétation assistée d’images artistiques. Sous forme de prototype adapté à trois musées (le Musée des Beaux-Arts de Lyon, le Palais des Beaux-Arts de Lille et le MNHA du Luxembourg), le dispositif permettra l’étude des différents niveaux d’organisation d’une œuvre d’art en articulant son observation in situ et son insertion dans un corpus d’images en accès libre, afin d’élucider des généalogies et des dialogues intertextuels. Deux concepts – l’œuvre d’art augmentée et le musée complémentaire – sont à la base d’un instrument novateur pour des visites guidées, des réunions pédagogiques et la recherche. Compétences, connaissances et objectifs de l’usager constituent des paramètres pour le développement et l’exploitabilité de l’outil. Le défi scientifique consiste à combiner (i) des avancées récentes dans les études visuelles, (ii) des affordances de réalité augmentée et (iii) des méthodes de détection et de reconnaissance d’objets basées sur le «deep learning » afin de produire une nouvelle conception sémiotique d’une histoire des formes artistiques. La portée pédagogique du projet réside dans une expérience d’analyse personnelle guidée : on vise à combler des lacunes dans l’enseignement primaire et secondaire, dont le curriculum est presque dépourvu de programmes consacrés à la culture visuelle. Du point de vue de l’informatique, l’idée est de jeter un pont entre l’intention et la sémantique dans l’extraction d’images (la distance entre ce que l’usager recherche et ce qu’il trouve) par similarité plastique, par exploitation des caractéristiques de haut et de bas niveau via l’apprentissage du dispositif, par interaction directe qui permet de guider le système vers le résultat désiré. Pour l’histoire de l’art numérique, le projet d’une histoire des formes est lié à la tradition établie par Henri Focillon. Ce dernier a conçu les formes comme (i) les germes d’une dynamique structurale à l’intérieur d’une oeuvre d’art et (ii) les origines d’une famille de transformations qui traverse les œuvres d’art. Ce programme de recherche n’a pas été exploité sur une large échelle, malgré des prédécesseurs importants et des reprises. Ceci est dû à deux obstacles techniques : prendre en charge de grands corpus d’images et détecter des patterns significatifs qui traversent des corpus hétérogènes. L’étude des changements diachroniques dans les formes (plastiques ou figuratives) et leurs ramifications généalogiques sont contraintes par les médias (matériaux et formats) ou par les genres (motifs). Cette hétérogénéité doit être croisée avec une pluralité d’outils herméneutiques : internes (aspects métavisuels) et externes (paratextes). Ainsi, un dispositif numérique fournira une représentation homogène où pouvoir (i) observer si des images structurent leur propre signification en attirant l’attention du spectateur sur la manière dont elles sont construites et dont elles demandent â être vues ; (ii) vérifier si le processus herméneutique peut exploiter d’autres sources (littéraires, musicales, théâtrales) ; (iii) évaluer si l’explication des images doit passer par leur dimension sensorielle / perceptive / expérientielle. Enfin, le projet AAA vise à comprendre toute image donnée simultanément à des niveaux (1) intratextuel et (2) intertextuel. Le traitement automatique est nécessaire aux deux niveaux, spécialement pour la consultation des archives. L’aspect le plus novateur est l’expérience qu’une image peut être expliquée par une multitude d’autres images et non par un discours verbal intégratif et réducteur. Le projet AAA est très éloigné d’une réalité augmentée construite sur un savoir encyclopédique existant. La lecture des images ne peut pas être réduite à l’extraction d’informations ; ainsi, le projet AAA articule la lecture rapprochée d’une collection muséale avec la lecture distante de quelques bases de données visuelles en accès libre.