Apprentissage profond robuste pour la robotique chirurgicale – RODEO

Le projet RODEO traite de la chirurgie du rachis assistée par robotique. Le système perçoit son environnement à travers différents capteurs, des images RBD-D (profondeur) ainsi que des images scanner per-opératoires, et déplace les bras articulés pour effectuer l'opération. RODEO vise à significativement accroître l’automatisation du processus, notamment pour libérer la charge mentale du chirurgien des tâches de manipulation et concentrer son attention sur l’opération chirurgicale. Pour cela, le projet propose de nouvelles générations d’Intelligence Artificielle (IA) plus robustes pour l’assistance au geste chirurgicale. Nous proposons de nouvelles méthodes de planification exploitant les dernières avancées des modèles de langage (e.g. GPT) et multimodaux (e.g. CLIP), compatibles avec des contraintes temps réel (calcul, mémoire, annotations), et capables d’ancrer les instructions dans les représentations internes du robot. Nous développerons également des contrôleurs robotiques hybrides, où une connaissance physique partielle est exploitée, et le terme résiduel inconnu appris. Nous étudierons finement la décomposition de la dynamique, la possibilité de prendre en compte des observations partielles, et proposerons des contrôleurs à la fois précis et efficaces. Pour accroitre la fiabilité des décisions et l’acceptabilité de l’IA par les chirurgiens et les patients, nous proposons des méthodes de quantification d’incertitude (QI) unifiant différents facteurs de l’état de l’art, et capable de traiter des problèmes structurés comme la segmentation sémantique d’images. Nous exploiterons ces QI pour lever des ambiguïtés dans les interactions humain/robot, et pour rendre l’exploration plus efficace en apprentissage par renforcement. Un démonstrateur médical sera mis en place pour intégrer les avancés méthodologiques en IA, permettant d’évaluer les performances de co-manipulation et d’avoir une appréciation de la plus-value du système par les chirurgiens de l’équipe.