Apprentissage automatique pour la reconstruction d'images médicales multimodales – MultiRecon

MultiRecon repose principalement sur les modèles génératifs, c’est à dire des techniques d’apprentissage automatique capables d’apprendre la structure des images médicales et de générer des exemples réalistes même à partir de données incomplètes ou bruitées.

Trois types de modèles ont été étudiés :

— Autoencodeurs variationnels (VAE) : ces modèles apprennent à encoder les images dans un espace latent partagé avant de les décoder. Ils sont idéaux pour la reconstruction conjointe, en utilisant un seul code latent pour représenter plusieurs modalités. Ainsi, la TEP et la TDM (ou IRM) peuvent se renforcer mutuellement.

— Réseaux antagonistes génératifs (GAN) : ils s’appuient sur un générateur et un discriminateur en compétition pour produire des images réalistes. Leur instabilité et leur manque de structure les rendent cependant moins adaptés à la reconstruction.

— Modèles de diffusion (DM) : ces modèles génèrent les images en inversant un processus progressif d’ajout de bruit. Ils offrent d’excellents résultats, notamment dans des contextes de faible dose ou d’échantillonnage parcellaire.

Pour rendre ces modèles utilisables en clinique, nous avons intégré la décomposition

en ondelettes pour réduire le coût en mémoire.

Des approches complémentaires ont également été explorées : débruiteurs basés sur des réseaux convolutifs (CNN), apprentissage de dictionnaires (DiL), et méthodes plug-and-play adaptées à la multimodalité TEP-IRM et à la TDM spectrale. En particulier, l’objectif du travail sur les méthodes plug-and-play (PnP) était de proposer des approches de reconstruction itératives hybrides (utilisant l’IA et un modèle physique de l’acquisition) qui soient numériquement

efficaces (passant la mise à l’échelle requise dans l’utilisation de données de grande dimension), plus frugales pour tenir compte de la faible taille des bases de données dans les protocoles de recherche en TEP, avec une garantie de convergence du schéma itératif vers un point fixe pour plus de robustesse et de fiabilité dans ces approches hybrides. L’apprentissage d’un opérateur de régularisation adapté à la reconstruction en utilisant les conditions de point-fixe a également permis d’obtenir des meilleurs performances de reconstruction.

Toutes ces techniques ont été conçues pour la reconstruction simultanée multicanal, en exploitant un espace latent partagé qui permet aux modalités d’« interagir » pendant la reconstruction.

MultiRecon a démontré que les modèles génératifs et les méthodes PnP permettent de reconstruire des images médicales de qualité à partir de données d’acquisition fortement réduites. Le projet a porté sur la TEP/TDM, la TEP/IRM et sur la TDM spectrale, en mettant l’accent sur la reconstruction simultanée multimodale.

Principaux résultats :

— Réduction du bruit : les VAE et DM ont amélioré la netteté des images, en particulier dans des conditions de faible dose ou de vues parcimonieuses. Les DM ont surpassé les méthodes classiques dans la préservation des détails.

— Synergie intermodale : reconstruire les images simultanément (ex. TEP et TDM) a permis une meilleure qualité que la reconstruction individuelle, l’anatomie guidant l’imagerie fonctionnelle.

— Représentation partagée : l’utilisation d’un code latent commun permet

aux images de se « parler » et de s’enrichir mutuellement.

— Robustesse : les modèles ont montré une bonne adaptation aux variations de bruit et aux différents types de scanners, sans nécessiter de réentraı̂nement.

— Extension à la 3-D : en fin de projet, nous avons pu appliquer ces méthodes à des volumes entiers en 3-D grâce à des optimisations mémoire et calcul.

— Intégration dans la plateforme de reconstruction open-source CASToR : une méthode alternating direction method of multipliers (ADMM) PnP utilisant des réseaux de neurones profonds a été implémentée et sera disponible à la communauté dans une prochaine version du code.

Bien que la reconstruction paramétrique et la compensation de mouvement n’aient pas été réalisées dans ce projet, les résultats obtenus montrent que ces applications sont désormais envisageables. La capacité à reconstruire des images à partir de données très bruitées est un prérequis essentiel.

Les mesures quantitatives ont confirmé les gains de qualité, et les évaluations visuelles ont montré des images plus nettes et exploitables cliniquement.

Ces résultats valident l’hypothèse centrale de MultiRecon : reconstruire ensemble, c’est reconstruire mieux.

La grande innovation de MultiRecon réside dans l’utilisation de modèles génératifs conjoints et d’opérateurs de régularisation PnP appris pour satisfaire les conditions de convergence du schéma itératif, permettant de reconstruire plusieurs modalités d’imagerie en même temps. Plutôt que de traiter chaque modalité séparément, notre approche exploite un espace latent commun qui permet aux images de « dialoguer » entre elles, en combinant leurs forces respectives.

Cette stratégie de reconstruction simultanée apporte :

— Une robustesse accrue : en cas de bruit ou de données manquantes, l’information partagée compense les défauts.

— Une réduction de dose et de temps d’acquisition, tout en maintenant la qualité diagnostique.

— Une généralisation aux différents niveaux de bruit et types d’appareils, facilitant une adoption clinique large.

Même si la compensation du mouvement et l’imagerie paramétrique n’ont pas été réalisées pendant le projet, les fondations sont désormais posées. En particulier :

— Les modèles génératifs ou régulariseurs PnP pourraient être entraı̂nés sur des images paramétriques pour reconstruire directement des cartes physiologiques dynamiques à partir de courtes acquisitions TEP.

— En imagerie cardiaque ou respiratoire, les reconstructions à partir de données très bruitées (comme les données « gated ») deviennent possibles.

MultiRecon ouvre la voie à une imagerie plus intelligente et centrée sur le patient, où les compromis habituels entre qualité, dose et rapidité sont dépassés grâce à l’IA.

L'imagerie médicale multimodale (ex : TEP/TDM ou TEP/TRM) joue un rôle important pour les diagnostiques et la recherche. L’apprentissage machine pour l’imagerie multimodale (AMM) vise à développer des méthodes capables de traiter les informations d’images multimodales, permettant ainsi « d’apprendre » les dépendances entre les modalités. La reconstruction d’image par AMM exploite les dépendances entre les images, ce qui permet de réduire le bruit et de réduire la dose administrée au patient tout en conservant la même qualité d’image. Cependant, les approches traditionnelles par apprentissage de dictionnaire sont coûteuse en mémoire et sont difficilement utilisables en reconstruction d’images multimodales. Les objectifs du projet MultiRecon sont : (i) le développement de techniques mathématiques d’apprentissage de dictionnaires de convolution multidimensionnels, moins coûteux en mémoire, pour la reconstruction jointe d’images multimodales en TEP/TDM et TEP/IRM, (ii) de généraliser ces méthodes pour l’imagerie dynamique (estimation/compensation du mouvement et l’imagerie cinétique), et (iii) de disséminer cette recherche par l’implémentation de ces nouvelles méthodes sur la plateforme open source CASToR.