Simulation, Conception de préhenseurs agiles et l'apprentissage robotique basés sur l'IA pour des systèmes robotiques adaptatifs et généralistes manipulant des objets délicats et déformables – Proteus

Le Projet Proteus vise à exploiter les dernières avancées en intelligence artificielle (IA) pour faire progresser la manipulation robotique assistée par IA d’objets délicats et déformables, avec une application phare dans la manipulation de fruits et légumes en logistique et automatisation agroalimentaire. Le projet intègre la simulation, des modèles hybrides d’IA, l’apprentissage multimodal de la robotique et la conception optimisée de préhenseurs, afin de développer un système robotique polyvalent capable de manipuler des objets fragiles et déformables avec précision, adaptabilité et efficacité.

Pour atteindre ces objectifs, Proteus réunit trois partenaires de pointe aux expertises complémentaires en IA, simulation et manipulation robotique dextre, et s’articule autour de quatre axes principaux : (1) une simulation avancée assistée par IA, modélisant les propriétés physiques des fruits, légumes et interactions tactiles pour créer des environnements d’apprentissage réalistes pour la robotique ; (2) une conception optimisée de préhenseurs hybrides assistés par IA, permettant une saisie délicate et adaptative ; (3) un contrôle multimodal basé d’une part sur des instructions en langage naturel avec des motifs de design, et d’autre part la perception vision et tactile, exploitant des modèles de vision-langage de pointe pour permettre une interaction intuitive entre l’humain et le robot ; et (4) l’intégration et la démonstration en conditions réelles, validant les technologies développées à travers des jalons progressifs, depuis la manipulation robotique de base jusqu’à une gestion autonome des fruits et légumes.
Les résultats attendus incluent une plateforme de simulation robotique générative dynamique, des modèles de fondation IA spécialisé pour le toucher, une méthodologie de synthèse par l’IA d’architectures de préhenseurs robotiques pluridigitaux dextres dont le design est orienté par la tâche, ainsi que des jeux de données de référence, contribuant aux avancées scientifiques et aux applications industrielles, e.g., logistique agroalimentaire, agriculture intelligente, automatisation de la manipulation d’objets fragiles.