Programmation en Langage Naturel pour Co-bots Conversationnels – COCOBOTS

- SDRT : théorie de la structure et des relations du discours (correction, questions/réponses, explications, ...). Il s'agit d'une théorie développée au cours des 30 dernières années. Elle a été largement utilisée pour récupérer la structure du discours dans les textes et, plus récemment, pour situer les chats dans le contexte d'un jeu en ligne.
- Modèles de langage pour analyser automatiquement les conversations afin d'en extraire la structure du discours. Nous étendrons les travaux plus anciens sur l'analyse syntaxique du discours afin d'exploiter les modèles de langage neuronaux plus récents.
- Constructeur/constructeur/robot simulé. Nous utilisons un constructeur neuronal existant pour tester nos analyses du corpus Minecraft. Nous avons développé un environnement simulé dans WeBots pour l'ensemble de données spécifique à COCOBOTS. Nous avons également créé un simulateur pour collecter de nouvelles données.
- Bras robotiques UR3/UR5. Potsdam et Synergeticon disposent tous deux de bras UR que nous utiliserons pour tester le transfert de l'environnement simulé vers le monde réel.

Jusqu'à présent, nous avons presque entièrement annoté un corpus existant basé sur les interactions entre un architecte et un constructeur dans un monde simplifié de Minecraft. Nous avons également commencé à collecter des données pour un corpus dérivé plus spécifiquement conçu pour COCOBOTS.

Nous avons également entraîné un analyseur de discours pour trouver des relations discursives dans les données de Minecraft et publié des travaux sur les concepts logiques compris par de grands modèles de langage et sur le grounding sémantique.

Nous espérons que les ensembles de données qui en résulteront seront utiles aux futurs chercheurs.

Le modèle de conversation située sera le premier pour le type de dialogues collaboratifs que l'on peut imaginer entre un humain et un robot collaboratif.

Nous serons également les premiers à relier ce type d'analyse du discours à des constructeurs automatiques/neuraux.

3 article à des conférences/workshops internationaux (avec d'autres soumis ou en cours de rédaction)

L'objectif du projet COCOBOTS est de développer des assistants conversationnels et des cobots capables d'interagir avec des collègues humains de manière sophistiquée. L'un des moyens essentiels est de concevoir une boîte à outils de programmation en langage naturel qui permettra aux utilisateurs humains d'enseigner de nouvelles actions à des cobots conversationnels et de co-construire des actions avec eux par le biais d'une conversation naturelle et interactive. La programmation par la conversation permettra à un utilisateur humain, sans compétences avancées de programmation ou sans accès à des quantités massives de données d'entrainement et sans intervention d'un programmeur expert, de programmer un assistant ou un cobot de la même manière que nous apprenons à d'autres humains. Une telle boîte à outils ouvrira un large éventail de nouveaux marchés pour les entreprises spécialisées dans le développement d'assistants conversationnels ou de cobots. Cela aidera grandement les entreprises qui cherchent à augmenter leur production manufacturière en ajoutant des cobots aux chaînes de montage ou aux tâches de maintenance. En effet, pour l'instant l'utilité des assistants conversationnels ou des cobots se limite à l'exécution de commandes et d'actions prédéfinies par une programmation préalable ou, dans le cas des robots, apprises par démonstration ou manipulation manuelle. Une boîte à outils de programmation en langage naturel donnera à un utilisateur sans expertise en programmation la capacité d'adapter son assistant à ses besoins via une formation sur le coup.

Pour démontrer l'efficacité de notre boîte à outils, COCOBOTS développera un prototype comprenant un cobot d'assemblage simulé capable d'apprendre de nouveaux concepts associés à la fabrication et de nouvelles actions en enchaînant des actions atomiques selon les instructions d'un utilisateur humain. Pour tester notre approche, il sera crucial de combiner des modèles de conversation avec des cobots capables d'interagir physiquement avec leur environnement, car nous pensons que la capacité à comprendre une conversation située (et en fait, n'importe quelle conversation) est grandement améliorée par l'interaction physique avec le monde extérieur. L'observation de l'interaction d'un robot avec des objets dans un environnement physique, ou de sa capacité à enchaîner des actions primitives basées sur des instructions conversationnelles multimodales, fournira également des critères clairs pour évaluer notre approche, et montrer que de suivre un programme spécifié en langage naturel est plus efficace que le codage en dur, la démonstration ou la manipulation manuelle d'un robot.

Pour développer le modèle de dialogue multimodal requis pour rendre les cobots véritablement conversationnels, nous nous appuierons sur une solide base d'expertise des membres de COCOBOTS en matière d'ancrage (grounding) sémantique (ANITI/CerCo, Airbus), de modèles de dialogue (Potsdam, LINAGORA, ANITI/IRIT), d'assistants conversationnels (LINAGORA) et de robotique (ANITI/LAAS, Airbus). La nouveauté de notre approche consistera à combiner des travaux sur les ancrages sémantique et conversationnel, qui sont généralement menés par des communautés distinctes, afin de développer une approche hybride qui exploite la manière dont ces processus s'influencent mutuellement. Notre approche nous obligera à relever trois grands défis. (1) Nous devrons faire en sorte que la composition de la signification référentielle s'applique à l'ancrage sémantique des expressions complexes en utilisant une approche d'IA hybride ; (2) Nous devrons tenir compte des différentes façons dont l'environnement non linguistique peut ancrer et contribuer à la signification du discours ; (3) Nous devrons élaborer un modèle de discours situé qui fournisse un squelette symbolique que nous pourrons ensuite étoffer en associant de manière sub-symbolique le contenu non linguistique aux expressions linguistiques.