Apprentissage de saisie d'objets par un retour visuel et haptique – Learn2grasp

La dextérité humaine est jusqu'à présent inégalée par les préhenseurs robotisés.
L'objectif du projet proposé est d'apprendre à saisir des objets dans conteneurs encombrés avec une main anthropomorphique souple et très sensible. Les politiques de préhension seront basées non seulement sur le retour d'information de capteurs RGB-D, mais aussi sur des mesures de force et couple dans le poignet, des mesures de force dans les doigts et des mesures tactiles sur la surface de la main.
Les stratégies de préhension apprises seront interactives et comprendront donc des actions de manipulation non préhensibles, comme pousser, réarranger et singulariser des objets, et des plans en plusieurs étapes comme la réorientation des objets dans la main pendant la préhension et la re-saisie pour la prise en main.
Afin de tirer un le maximum des données à partir d'une expérience limitée, nous développerons une approche structurée pour l'analyse, la prédiction et le suivi d'une scène, qui sera basée sur des mesures visuelles et haptiques. Les stratégies de saisie interactives seront apprises à l'aide de méthodes d'apprentissage par renforcement profond dans une simulation basée sur la physique et avec le système main-bras réel. La saisie est une tâche difficile pour l'apprentissage car il s'agit d'un système de récompense rares : la plupart des tentatives échoueront complètement et ne généreront aucune récompense. Pour résoudre ce problème, deux approches seront combinées : un bootstrap à partir de démonstrations de préhension par un humain avec une interface de téléopération immersive et une exploration des comportements améliorée par des algorithmes de qualité-diversité. Cette combinaison innovante devrait permettre d'obtenir des performances sans précédent sur le contrôle d'une main robotique dextre, l'un des principaux freins pour rendre les robots plus habiles et résoudre des problèmes importants dans plusieurs domaines prioritaires, de la santé à l'industrie en passant par l'écologie. Outre cet impact, ce projet vise à créer une relation à long terme entre les universités de Bonn et de la Sorbonne qui ont des compétences complémentaires en robotique humanoïde et cognitive.