Science reproductible avec VIP – ReproVIP

Il y a aujourd’hui une prise de conscience croissante des problèmes de reproductibilité dans de nombreux domaines scientifiques. Dans une étude récente, l'analyse d'un même jeu de données en neuro-imagerie par 70 équipes indépendantes révèle une variabilité substantielle entre les résultats rapportés. Malgré la prise de conscience croissante et un nombre relativement important de projets s'attaquant à ces soucis de reproductibilité, les chercheurs n’ont toujours pas accès à une solution intégrée de bout en bout, offrant un bon niveau de reproductibilité sans demander un effort substantiel.

Dans ce contexte, ReproVIP vise à évaluer et améliorer la reproductibilité des résultats scientifiques obtenus avec la plateforme d’imagerie virtuelle VIP dans le domaine de l'imagerie médicale. Nous nous concentrerons sur un niveau de reproductibilité garantissant que le code produit le même résultat lorsqu'il est exécuté avec le même ensemble d'entrées et qu'un reviewer est capable de reproduire les résultats publiés. Nous étudierons la reproductibilité à trois niveaux : (L1) le code lui-même, et en particulier les différentes versions du même code, (L2) l'environnement d'exécution, comme le système d'exploitation et les dépendances de code, les exécutions parallèles et l'utilisation d'infrastructures distribuées et (L3) le processus d'exploration, depuis le début de l'étude et jusqu'aux résultats finaux publiés.

Au laboratoire Creatis, nous avons développé et déployé VIP, un portail web pour la simulation et l'analyse des images médicales. En exploitant efficacement les ressources informatiques et de stockage de la fédération EGI, VIP offre à ses utilisateurs des services de haut niveau leur permettant d'exécuter facilement des applications d'imagerie médicale sur une infrastructure informatique à grande échelle. En 2021, VIP compte plus de 1200 utilisateurs enregistrés et une vingtaine d'applications. Au cours des dernières années, VIP a abordé les problèmes d'interopérabilité et de reproductibilité, dans le cadre plus large d'une approche FAIR (Findable, Accessible, Interoperable, Reusable) pour l'analyse des données scientifiques. En implémentant l'API CARMIN et en utilisant le framework Boutiques pour l’intégration des applications, VIP assure l'interopérabilité avec les plateformes existantes, ce qui contribue à la reproductibilité. VIP nous offre une expérience solide et un ensemble d'utilisateurs et d'applications sur la base desquels nous nous attaquerons au manque de reproductibilité L1, L2 et L3 décrit ci-dessus.

Afin de reconstruire et d'analyser des images médicales, les chercheurs utilisent de nombreux algorithmes de traitement d'images. Chaque étape de traitement, de l'image brute à la décision finale, a ses paramètres spécifiques et peut provenir d'un grand nombre de logiciels et de dépendances différents. Par conséquent, les utilisateurs non experts doivent franchir une barrière d’entrée qui peut conduire à des pipelines de traitement assemblés rapidement qui ne sont pas reproductibles. Notre objectif final est de fournir une solution intégrée de bout en bout, permettant aux chercheurs de lancer des exécutions reproductibles de manière transparente. Les solutions proposées pour évaluer et améliorer la reproductibilité seront intégrées dans VIP et démontrées sur deux cas d'utilisation scientifiques partageant un ensemble commun d'outils de traitement pour le traitement d'images IRM et répondant à deux défis différents : (i) l’optimisation du protocole d'acquisition IRM en fonction du rapport signal sur bruit et (ii) l’optimisation d’un pipeline de traitement pour la prédiction des accidents vasculaires cérébraux.