ANR-DFG - Appel à projets générique 2018 - DFG

Super-résolution d'images multi-échelles en sciences des matériaux avec des attributs géométriques – SUPREMATIM

SUPREMATIM

SUPerREsolution of 3d MATerials IMages

3D image superresolution

Recent and ongoing developments in imaging techniques and computational analysis deeply modify the way materials sciences and engineering consider their objects of research. Our project will contribute to this direction of research by developing new super-resolution methods guided by high-resolution local sub-images of 3D materials data.

The mathematical methods of choice will be based on local and global Generalized Gaussian Mixture Models as well as Student-t Mixture Models in conjunction with variational methods. Appropriate geometrical features related to the engineering topics have to be established to provide an evaluation platform for the super-resolution images, and to be directly involved into the Bayesian and variational models. The mathematical models will be developed, analyzed and appropriate efficient algorithms will be derived, including an examination of their convergence behavior.
The models will be extended to multimodal images, where due to the size of the structures of interest, the high resolution image are taken by serial sectioning (FIB-SEM) tomography and the low resolution images by micro computed tomography. This requires to take the special acquisition of FIB-SEM tomographic images, in particular curtaining effects and the anisotropy with respect to the third dimension into account.
A numerical evaluation of the relevance and the benefit of the developed super-resolution methods will be performed by comparing the effective properties computed for reactive flow in porous media.

The main one is Publication #8 which is a joint publication by almost all the participants of the project. It corresponds to the first main point of the project: using GMM based models for image super-resolution for 3D images. To cope with the large dimension of the data, the model incorporates a PCA step which enables us to deal with the curse of dimension. The results obtained both on synthetic and real data are promising.
The other publications are related either to image super-resolution, or to estimation problems related to super-resolution.

The next steps are now to extend the approach of Publication #8 to more general distributions than GMM, and to introduce in the modeling a measure based on the specificity of the data.
The consortium of the project has the required expertise to do so.

1. F. Laus, G. Steidl, Multivariate myriad filters based on parameter estimation of Student-t distributions, SIAM Journal on Imaging Sciences, 2019.
2. M. Hasanasab, J. Hertrich, F. Laus and G. Steidl. Alternatives of the EM algorithm for estimating the parameters of the Student-t distribution, Numerical algorithms, 2020.
3. M. Hasanasab, J. Hertrich, F. Laus and G. Steidl, Parseval proximal neuralnetworks, The Journal of Fourier Analysis, 2020.
4. A. Gastineau, J-F. Aujol, Y. Berthoumieu, and C. Germain, A residual dense generative adversarial network for pansharpening with geometrical constraints, ICIP 2020.
5. J. Hertrich, G. Steidl, Inertial Stochastic PALM and its Application for Learning Student-t Mixture Models, 2020.
6. J. Hertrich, Superresolution via Student-t Mixture Models, SIAM Conference on Imaging Science 2020.
7. A. Gastineau, J-F. Aujol, Y. Berthoumieu, and C. Germain, Multi-Discriminator with Spectral and Spatial Constraints Adversarial Network for Pansharpening, 2020, in IEEE Transaction on Geoscience and Remote Sensing (TGRS).
8. J. Hertrich, L. Nguyen, J-F. Aujol, D. Bernard, Y. Berthoumieu, A. Saadaldin and G. Steidl, PCA Reduced Gaussian Mixture Models with Applications in Superresolution, 2020, in Inverse Problem.
9. Y. Traonmilin, J-F. Aujol, and A. Leclaire, The basins of attraction of the global minimizers of non-convex inverse problems with low-dimensional models in infinite dimension

Le développement des techniques d'imagerie et de calcul a profondément changé la manière dont les sciences des matériaux et l'ingénierie considèrent leur objet d'intérêt. Les contributions de notre projet s'inscrivent dans cette direction de recherche, en développant de nouvelles méthodes de super-résolution guidées par des imagettes locales à haute résolution de matériau 3D.

Les méthodes mathématiques seront avant tout basées sur des modèles locaux et globaux de mélange de gaussiennes généralisées, ainsi que de mélanges de modèles Student-t. Ces modèles seront intégrés dans des approches variationnelles. Afin de pouvoir évaluer les résultats de super-résolution, il faudra établir des attributs géométriques appropriés en lien avec les problèmes d'ingénierie. Ces attributs seront aussi directement intégrés dans les modèles bayésiens et variationnels. On analysera les modèles mathématiques développés, et on proposera des algorithmes efficaces pour les résoudre numériquement. On s'intéressera en particulier la convergence de ces algorithmes.

On étendra les modèles au cas des images multi-modales. En effet, à cause de la taille des zones d'intérêt, les images HR sont acquises par de la tomographie FIB-SEM, et les images LR par de la tomographie RX. Cela implique la prise en compte des propriétés spécifiques de la tomographie FIB-SEM, comme l'effet de draperie et l'anisotropie des voxels par rapport à la troisième dimension. On effectuera une évaluation numérique des avantages apportés par les méthodes de super-résolution. Pour cela, on comparera les propriétés effectives calculées pour des flux réactifs dans des milieux poreux en utilisant d'une part ces nouvelles méthodes et d'autre part les approches classiques par affinement de maillage.

Coordinateur du projet

Monsieur Jean-François Aujol (Institut de mathématiques de Bordeaux)

L'auteur de ce résumé est le coordinateur du projet, qui est responsable du contenu de ce résumé. L'ANR décline par conséquent toute responsabilité quant à son contenu.

Partenaire

IMS Laboratoire d'intégration du matériau au système
ICMCB INSTITUT DE CHIMIE DE LA MATIERE CONDENSEE DE BORDEAUX
Technische Universität Kaiserslautern
IMB Institut de mathématiques de Bordeaux

Aide de l'ANR 184 680 euros
Début et durée du projet scientifique : février 2019 - 36 Mois

Liens utiles

Inscrivez-vous à notre newsletter
pour recevoir nos actualités
S'inscrire à notre newsletter