Microscopie intelligente autonome – SAMic

Les différentes briques sont:
- développer le module smartCam LEAD. La principale innovation réside dans le portage d'une segmentation sémantique convolutive (réseau de neurones) vers un microprocesseur dédié basé sur ARM dans la perspective d'atteindre le temps réel, en s'appuyant sur nos réalisations actuelles en matière de classification d'images par apprentissage automatique. Nous le connecterons au module de pilotage du microscope pour réaliser des expériences autonomes.
- développer le prototype. Nous visons ici à aller au-delà d'un dispositif de développement répondant uniquement à nos deux questions biologiques. Profitant de l'expérience du coordinateur et du partenaire industriel dans le transfert de développement technologique vers les plateformes d'imagerie et le marché, nous apporterons notre configuration à un prototype approprié pour la diffusion par le partenaire industriel. Il s'agit notamment de la conception des IHM propres par le partenaire industriel et du transfert du prototype sur la plateforme de microscopie de Rennes (MRic).
- Faire preuve de concept. Les questions biologiques étudiées sont issues de nos laboratoires : le rôle d'AurkA dans les mitochondries affectant la dynamique mitochondriale et la robustesse mécanique de la division cellulaire dans les cellules humaines.

A ce jour, sur l’objectif applicatif, (i) nous avons à disposition une base de données solide d’images annotées (soit issues de bases de données web soit acquises pour le projet) pour le développement d’algorithmes d’IA pour la classification de cellules en mitose ; (ii) nous avons en place les lignées cellulaires et les marquages pour les deux applications preuve de concept (robustesse de la division et étude du réseau mitochondrial) ; (iii) nous commençons à démontrer la potentialité du prototype pour la classification temps réel des différents stades de la mitose (Roboscope v1).
Sur l’objectif technologique, nous avons maintenant des algorithmes de deep learning fonctionnels en éxécution embraqué temps réel avec des méthodes de transfer learning et de fine tuning pour les rendre efficients et génériques sur de petits jeux de données et sur de nombreuses applications. Il nous reste à explorer les algorithmes permettant la localisation simultanément à la classification des objets d’intérêt dans les images, de sorte à pouvoir mettre en place les expériences de photoperturbation.
Au niveau du prototype, tous les modules de l’automatisme embarqué sont maintenant fonctionnels et communiquent entre eux. La preuve de concept de l’analyse temps réel et du retro contrôle est faite. Il s’agit maintenant de passer à (i) l’étape de développement de l’interface utilisateur et (ii) l’étape d’industrialisation du prototype.

Nous sommes convaincus de pouvoir faire preuve de concept d’une application biologique pour le suivi et le choix de cellules en division temps réel associé à une acquisition de précision dans les prochains mois. Nous prévoyons de soumettre deux publications, une sur les développements d’algorithmes (petit jeux de données, transfer learning, fine tuning, temps réel), une sur la preuve de concept applicative. Nous pourrons alors nous concentrer pour la fin du projet sur les aspects d’expériences de photoperturbation avec notre prototype ce qui devrait nous permettre de viser une publication applicative à très fort impact.

Le consortium a déposé un brevet en février 2020 issu des travaux de thèse de Mael Balluet (CIFRE Inscoper/IGDR) juste avant le démarrage de l’ANR. Ce brevet est une étape initiale très importante en lien avec le projet SAMic.
Demande de brevet français n° FR2001798 déposée le 24 février 2020 et intitulée : «Procédé de gestion de blocs de commandes destinés à un système d’imagerie en microscopie, programme d’ordinateur, moyen de stockage et dispositif correspondants«.

Le consortium a publié une première méthode numérique de classification d’images de mitose sur architecture ARM pour faire preuve de concept de l’analyse temps-réel, résultat essentiel pour construire le module smartCam-LEAD.
Neural network fast-classifies biological images through features selecting to power automated microscopy.
Balluet M, Sizaire F, El Habouz Y, Walter T, Pont J, Giroux B, Bouchareb O, Tramier M, Pecreaux J.
J Microsc. 2021 Oct 8. doi: 10.1111/jmi.13062. Online ahead of print.

La microscopie optique est une approche incomparable pour étudier le vivant. Au-delà de la simple acquisition d'un instantané, elle est utilisée pour obtenir une vue dynamique des processus biologiques à une cadence élevée (plusieurs dizaines d'images par seconde). En plus de cela, elle peut utiliser la lumière comme perturbation, soit pour photo-convertir localement des protéines marquées, soit pour créer au laser une nano-ablation subcellulaire et pour observer comment le système biologique y fait face. Dans les applications industrielles, le criblage à haut contenu est souvent limité à l'observation simple, car aucun système générique ne peut appliquer de manière autonome les méthodologies de photo-perturbation. Ces approches nécessitent une acquisition experte supervisée; leur automatisation n'est pas encore effective, signifiant qu'elles ne sont pas utilisables en routine. Le projet de microscopie autonome intelligente (SAMic) vise à ouvrir cette perspective. Nous affirmons que la segmentation sémantique utilisant un réseau entièrement convolutionnel (FCN) en tant que traitement d'image personnalisable par l'utilisateur, intégrée dans une électronique dédiée basée sur ARM, permettra au traitement de détecter le bon moment et le bon endroit de la photo-perturbation, notre module de contrôle Inscoper permettant alors un pilotage en temps réel du microscope.
Pour relever ces défis, nous poursuivrons trois objectifs: (i) Applicatif, en développant deux approches de biologie expérimentale pour lesquelles le SAMic est obligatoire. Les questions biologiques étudiées sont courantes dans nos laboratoires: le rôle d’AurkA au niveau des mitochondries affectant la dynamique mitochondriale et la robustesse mécanique de la division cellulaire dans les cellules humaines. (ii) Technologique, en concevant le module smartCam-LEAD. L'innovation principale réside dans le portage d'une segmentation sémantique par FCN sur un microprocesseur dédié basé sur ARM afin de la réaliser en temps réel. Nous allons le alors connecter au module de pilotage du microscope pour réaliser des expériences autonomes. (iii) Prototype pour démontrer le pouvoir de SAMic. Nous visons ici à aller au-delà d’une configuration de développement qui ne pourrait traiter que de nos deux questions biologiques. Tirant parti de notre expérience en matière de transfert technologique, nous configurerons un prototype approprié permettant la diffusion par le partenaire industriel. Cela implique notamment la conception par le partenaire industriel des IHM appropriées et le transfert du prototype sur la plateforme de microscopie MRic.
Les partenaires du projet SAMic, deux laboratoires universitaires de l’IGDR et la société Inscoper, possèdent une vaste expertise allant des mathématiques pour l'analyse d'images à la microscopie appliquée à la biologie en passant par l'informatique, l'électronique et le développement instrumental. Trait distinctif de notre consortium, ces compétences interdisciplinaires sont un atout majeur pour la réussite du projet.
Le projet SAMic se veut une avancée majeure sur le plan technique et méthodologique en microscopie à fluorescence pour étudier les mécanismes du vivant en obtenant un grand nombre d’expériences de photo-perturbation non supervisées. L'intelligence artificielle appliquée à la microscopie de fluorescence doit aider les chercheurs à mieux observer et comprendre ce qui se passe dans leurs échantillons vivants. Le partenaire industriel Inscoper a pour finalité de proposer au marché une solution interopérable et optimisée pour le contrôle de tout appareil de microscopie et la réalisation de toutes les modalités d'acquisition d'images. L'ajout des capacités d'intelligence artificielle et de rétroaction doit positionner SAMic en tant que véritable innovation sur le marché. La création d'un microscope intelligent est l'un des prochains grands défis pour les sciences de la vie. Le projet SAMic contribuera à le rendre réel.