DS0704 -

Apprentissage Profond à partir de Vidéos Chirurgicales Multi-vues et Multimodales pour Faciliter la Gestion du Bloc Opératoire – DeepSurg

Résumé de soumission

Le bloc opératoire est l’un des endroits les plus riches en information au sein de l’hôpital. Dans cet environnement, la présence d’équipements médicaux digitaux et de caméras permet l’enregistrement de grandes masses de données concernant les activités opératoires. L’objectif de DeepSurg est d’utiliser la vision et l’apprentissage par ordinateur pour analyser, contrôler et améliorer le déroulement des activités opératoires de façon non intrusive.

La salle opératoire étant un environnement compliqué pour la vision par ordinateur, à cause, par exemple, des contraintes sur le positionnement des caméras, des forts changements d’illumination, et des occlusions, nous allons capturer les activités chirurgicales à partir de plusieurs caméras RGB-D afin de bénéficier de la complémentarité existant entre les cartes de couleurs et celles de profondeur. Nous avons récemment équipé deux salles opératoires du service de radiologie interventionnelle de l’hôpital de Strasbourg, partenaire clinique du projet, avec de tels systèmes multi-caméras. Dans DeepSurg, nous proposons de développer des méthodes dédiées à cet environnement pour détecter les personnes présentes dans la salle, identifier leurs rôles et reconnaître les activités opératoires. Comme il est particulièrement difficile de construire à la main des caractéristiques visuelles pour des données multi-vues et multi-modalités, nous développerons de nouvelles méthodes reposant sur l’apprentissage profond pour réaliser les tâches de détection et de reconnaissance mentionnées ci-dessus. Nous le ferons à partir d’un grand jeu de vidéos multi-vues et RGB-D enregistrées au cours de procédures chirurgicales.

Pour démontrer l’intérêt de notre approche, nous répondrons à un besoin clinique non satisfait, notamment l’analyse objective de l’exposition des cliniciens et du personnel opératoire aux radiations. Diverses études, telle que celle réalisée par le consortium européen ORAMED, ont montré la nécessité d’une meilleure compréhension de l’exposition aux radiations pendant les procédures guidées sous rayons X, afin d’améliorer les processus opératoires, de développer de meilleures mesures de radioprotection et, par voie de conséquence, de réduire les risques pour la santé du personnel. Pour ce faire, nous utiliserons de l’information de dose enregistrée de manière synchronisée avec les vidéos à partir de dosimètres temps-réels portés par les cliniciens et situés à certains points clés de la salle. Ce travail permettra d’annoter les vidéos chirurgicales avec des informations d’exposition reliées au positionnement du personnel et aux étapes chirurgicales. Grâce aux annotations, nous développerons une interface intuitive pour que le personnel clinique puisse facilement parcourir les vidéos à des fins d’inspection post-opératoire. Une telle inspection permettra au personnel et aux personnes compétentes en radioprotection d’analyser le processus chirurgical et de l’améliorer pour réduire les doses reçues. De plus, pour la première fois, DeepSurg permettra le calcul de statistiques corrélant les mesures de doses avec les activités opératoires sous-jacentes, permettant ainsi la conception de processus opératoires plus sûrs.

Le jeune chercheur responsable de ce projet a monté une collaboration clinique avec des partenaires locaux, qui a conduit à l’installation pérenne d’un système d’enregistrement multi-caméras RGB-D dans plusieurs salles opératoires. La disponibilité de telles installations dans un environnement clinique est une opportunité rare. L’objectif de cette demande de financement ANR jeune chercheur est de lui donner les moyens de bâtir sur ses recherches antérieures et de s’appuyer sur l’infrastructure clinique qu’il a mise en place afin d’en démontrer les bénéfices pour l’analyse automatisée des processus chirurgicaux.

Coordinateur du projet

Monsieur Nicolas Padoy (Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie - Université de Strasbourg)

L'auteur de ce résumé est le coordinateur du projet, qui est responsable du contenu de ce résumé. L'ANR décline par conséquent toute responsabilité quant à son contenu.

Partenaire

ICube - Unistra Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie - Université de Strasbourg

Aide de l'ANR 277 560 euros
Début et durée du projet scientifique : janvier 2017 - 42 Mois

Liens utiles

Inscrivez-vous à notre newsletter
pour recevoir nos actualités
S'inscrire à notre newsletter