Apprentissage de politiques de manipulation robotique généralisables basées sur la 3D – 3D-GEM

La manipulation robotique dans des environnements non structurés est un objectif à long terme, avec un potentiel d'impacts sociétaux et économiques significatifs, notamment dans la fabrication et les soins de santé. Cependant, les approches actuelles souffrent de limitations importantes en matière de généralisation à de nouveaux environnements, objets et tâches, ce qui est essentiel pour les applications du monde réel. La plupart des méthodes basées sur l'apprentissage sont entraînées et évaluées sur un éventail limité de tâches – typiquement des compétences de base de prise et de pose – et se concentrent sur des images 2D, manquant d'une compréhension 3D cruciale. Le projet 3D-GEM vise à développer des systèmes de manipulation robotique de pointe en tirant parti des récentes avancées en intelligence artificielle, en particulier les grands modèles de langage et les modèles de fondation de vision, afin de construire des modèles de fondation de manipulation robotique basés sur la 3D. Cette initiative établira un cadre modulaire pour s'attaquer aux défis critiques, notamment la rareté des données, la généralisation, la dextérité et l'efficacité. Le projet comprend trois axes principaux: (1) l'amélioration significative de l'échelle et de la qualité des ensembles de données robotiques; (2) l'avancement de la perception incarnée 3D et de la planification de tâches pour la compréhension de scènes 3D complexes et la génération de plans de haut niveau ancrés; (3) l'apprentissage de politiques de planification de mouvement 3D généralistes utilisant des capteurs multimodaux et le contrôle prédictif par modèle. Ces modules de haut et de bas niveau fonctionneront dans un système en boucle fermée pour permettre une exécution efficace des tâches dans divers scénarios, améliorant ainsi la polyvalence et l'efficacité des systèmes robotiques.