Programmation en Langage Naturel pour Co-bots Conversationnels – COCOBOTS

L'objectif du projet COCOBOTS est de développer des assistants conversationnels et des cobots capables d'interagir avec des collègues humains de manière sophistiquée. L'un des moyens essentiels est de concevoir une boîte à outils de programmation en langage naturel qui permettra aux utilisateurs humains d'enseigner de nouvelles actions à des cobots conversationnels et de co-construire des actions avec eux par le biais d'une conversation naturelle et interactive. La programmation par la conversation permettra à un utilisateur humain, sans compétences avancées de programmation ou sans accès à des quantités massives de données d'entrainement et sans intervention d'un programmeur expert, de programmer un assistant ou un cobot de la même manière que nous apprenons à d'autres humains. Une telle boîte à outils ouvrira un large éventail de nouveaux marchés pour les entreprises spécialisées dans le développement d'assistants conversationnels ou de cobots. Cela aidera grandement les entreprises qui cherchent à augmenter leur production manufacturière en ajoutant des cobots aux chaînes de montage ou aux tâches de maintenance. En effet, pour l'instant l'utilité des assistants conversationnels ou des cobots se limite à l'exécution de commandes et d'actions prédéfinies par une programmation préalable ou, dans le cas des robots, apprises par démonstration ou manipulation manuelle. Une boîte à outils de programmation en langage naturel donnera à un utilisateur sans expertise en programmation la capacité d'adapter son assistant à ses besoins via une formation sur le coup.

Pour démontrer l'efficacité de notre boîte à outils, COCOBOTS développera un prototype comprenant un cobot d'assemblage simulé capable d'apprendre de nouveaux concepts associés à la fabrication et de nouvelles actions en enchaînant des actions atomiques selon les instructions d'un utilisateur humain. Pour tester notre approche, il sera crucial de combiner des modèles de conversation avec des cobots capables d'interagir physiquement avec leur environnement, car nous pensons que la capacité à comprendre une conversation située (et en fait, n'importe quelle conversation) est grandement améliorée par l'interaction physique avec le monde extérieur. L'observation de l'interaction d'un robot avec des objets dans un environnement physique, ou de sa capacité à enchaîner des actions primitives basées sur des instructions conversationnelles multimodales, fournira également des critères clairs pour évaluer notre approche, et montrer que de suivre un programme spécifié en langage naturel est plus efficace que le codage en dur, la démonstration ou la manipulation manuelle d'un robot.

Pour développer le modèle de dialogue multimodal requis pour rendre les cobots véritablement conversationnels, nous nous appuierons sur une solide base d'expertise des membres de COCOBOTS en matière d'ancrage (grounding) sémantique (ANITI/CerCo, Airbus), de modèles de dialogue (Potsdam, LINAGORA, ANITI/IRIT), d'assistants conversationnels (LINAGORA) et de robotique (ANITI/LAAS, Airbus). La nouveauté de notre approche consistera à combiner des travaux sur les ancrages sémantique et conversationnel, qui sont généralement menés par des communautés distinctes, afin de développer une approche hybride qui exploite la manière dont ces processus s'influencent mutuellement. Notre approche nous obligera à relever trois grands défis. (1) Nous devrons faire en sorte que la composition de la signification référentielle s'applique à l'ancrage sémantique des expressions complexes en utilisant une approche d'IA hybride ; (2) Nous devrons tenir compte des différentes façons dont l'environnement non linguistique peut ancrer et contribuer à la signification du discours ; (3) Nous devrons élaborer un modèle de discours situé qui fournisse un squelette symbolique que nous pourrons ensuite étoffer en associant de manière sub-symbolique le contenu non linguistique aux expressions linguistiques.