Reproduction de textures d'objets d'art ancien à base de micro-géométrie – MATERIAL

The Museum of Ethnography in Bordeaux University has many cultural artifacts; some are so fragile that exposing them to bright light would damage them. Most of them are cloths, such as jackets, dresses or coats, of great importance for ethnological studies of the corresponding cultures. The Museum would like to make these collections available to the public without exposing the originals. They need replicas of their collections, either digital or physical. The problem is more difficult than for books or statues reproduction, because of the nature of the material: what is important is the micro-geometry of the material, both for the visual appearance and for ethnological studies.
At the other end, Océ Print Logic Technologies is developing a 2.5D color printer. This technology is already functional. Working in 2.5D, they overcome many limitations of 3D printers: they have high spatial accuracy and a large color gamut defined in a per-pixel basis and comparable to standard 2D color printers. Hardware and software parts are still active research topics.
Our goal is to bring together the needs for cultural heritage preservation of the Museum and the capacity for cultural heritage reproduction by Océ, creatins physical replicas of cultural artifacts, including subtle texture effects. The problem is more challenging than it appears, and the two research teams in Computer Graphics (Manao and Maverick) will have to solve difficult research issues such as:
• Developing a compact, portable acquisition device.
• Compact representations for acquired data.
• Predicting material appearance for 2.5D printing.

We subdivide the work into three work packages:
• WP1: from the material to the digital representation: our first goal is to acquire the local micro- geometry and appearance of the objects. Then, to convert this dataset into other representations, suitable for interactive display or physical reproduction.
• WP2: from the digital representation to the material: we first want to predict the appearance of a printed material depending on the local distribution of micro-facets. Then, use this knowledge to predict whether a material can be reproduced or not, and suggest a perceptually similar replacement in the event of having a constraint in the reproduction stage.
• WP3: a practical application challenge: exhibition at the Museum of Ethnography: we plan to combine the technologies developed in the first two work packages in a Museum exhibition, making fragile cultural artifacts available to the public. This will prove the robustness and applicability of our technologies, on one of the most challenging cases.

This project will have at least three major societal impacts:
• First, preservation and reproduction of cultural heritage artifacts. With the technology we will develop, museums will be able to make accurate reproductions of cultural heritage artifacts for public display while keeping the originals for preservation. Some reproductions may be even available for handling, for example for children, disabled visitors and exhibitions.
• Second, the research problems we will have to solve during the project will also have a greater impact for 2.5D printer manufacturers. We will have to address the issue of predicting whether the printer is able to reproduce a given material (including color and reflectance properties), and if not, to suggest the material that can be printed that is as close as possible for human visual perception. This problem is equivalent to the issue of color fidelity in 2D printers, but much more complex due to micro-geometry effects. The tools we will develop will help the industry of 2.5D printers, and give Océ Print Logic Technologies a strong advantage over competitors.
• Third, the problematic of material acquisition is not limited to museums and cultural heritage. It is also an issue for designers and artists trying to reproduce a specific object, for example leather seats in the virtual prototype of a car, or fabrics for designing clothes or virtual characters. Material acquisition tools developed for this project will have applications for these users as well.

1 international journal:
- A Two-Scale Microfacet Reflectance Model Combining Reflection and Diffraction, N. Holzschuch, R. Pacanowski, ACM Transactions on Graphics, 2017, 36 (4). DOI: 10.1145/3072959.3073621, hal.inria.fr/hal-01515948/

4 international conferences:
- The Effects of Digital Cameras Optics and Electronics for Material Acquisition, N. Holzschuch, R. Pacanowski, EG Workshop on Material Appearance Modeling, Helsinki, Finland. 2017, hal.inria.fr/hal-01576742/

- Isotropic BRDF Measurements with Quantified Uncertainties, R. Hegedus, A. Lucat, J. Redon, R. Pacanowski, EG Workshop on Material Appearance Modeling, Dublin, Ireland. 2016, hal.inria.fr/hal-01342568

- Estimating Local Beckmann Roughness for Complex BSDFs, N. Holzschuch, A. Kaplanyan, J. Hanika, C. Dachsbacher, ACM Siggraph talks, Jul 2016, DOI : 10.1145/2897839.2927416, hal.inria.fr/hal-01312227/

- Capturing Spatially Varying Anisotropic Reflectance Parameters using Fourier Analysis, A. Fichet, I. Sato, N. Holzschuch, Graphics Interface, 2016, hal.inria.fr/hal-01302120

Les musées sont soumis à des impératifs contradictoires : d'une part préserver les objets dont ils ont la garde (peintures, artefacts culturels, spécimens botaniques), d'autre part les mettre à la disposition du public et des chercheurs. Certains de ces objets, souvent ethnographiques, sont si fragiles que le simple fait de les exposer à la lumière les abime. Récemment, on utilise des scanners 3D et des techniques de visualisation ou d'impression 3D pour permettre l'étude et la préservation de sculptures, ainsi que scanners à plat pour la préservation de livres et d'estampes. Ces deux approches ont permis une nouvelle préservation et étude du patrimoine culturel. Elles ont cependant leurs limites : elles ne peuvent pas acquérir les propriétés de réflectance des matériaux au delà de la couleur. Et les imprimantes 3D sont aussi limitées dans les couleurs et des matériaux qu'elles peuvent représenter.

Plusieurs objets, comme la soie, le satin ou les peintures à l'huile, ont une apparence globale complexe: leur aspect, leur brillance, change en fonction de la direction de la lumière et de la position de l'observateur. Ces effets de réflectance (spéculaires, anisotropes...) ne sont pas à la portée des scanners actuels, et ne peuvent pas non plus être reproduits par les imprimantes actuelles, qu'elles soient 2D ou 3D.

Notre objectif dans ce projet est de traiter toute la chaine d'acquisition et de reproduction de matériaux complexes, en passant par leur géométrie à l'échelle microscopique. Notre ambition est de pouvoir scanner des artefacts ethnographiques, par exemple des habits, de capturer tout le comportement de leurs matériaux, et de traiter cette information pour reproduire ces objets pour le public et les chercheurs en ethnographie. La reproduction peut être soit virtuelle, par visualisation ou réelle, en passant par par de l'impression en relief.

Cette vision ambitieuse est rendue possible par l'expertise des partenaires de ce projet :
- Manao, équipe de recherche de l'Institut d'Optique Graduate School in Bordeaux, a une expertise forte sur l'acquisition de propriétés de réflectance et la micro-géométrie des objets, ainsi que sur la représentation de matériaux
- Maverick, équipe de recherche de l'Inria Grenoble, maitrise le rendu photoréaliset, les modèles de matériaux et la perception de matériaux,
- le Musée Ethnographique de l'Université de Bordeaux (MEB), a une collection de tissus ethnographiques fragiles. Il apporte une expertise sur la valorisation, la protection et l'étude du patrimoine culturel.
- Océ Print Logic Technologies est un laboratoire de recherche et développement de Océ/Canon, à Créteil. Ils développent un prototype d'imprimante 2,5 dimensions, avec une grande résolution spatiale et un très large domaine de couleurs.

Ce projet s'inscrit dans l'axe 3 du défi 7 de l'appel à projets générique 2015, “Le numérique au service des arts, du patrimoine, des industries culturelles et éditoriales”.