Systèmes conversationnels de recherche d'information – SESAMS

L'objectif du projet SESAMS est de proposer des méthodes d'apprentissage machine (ML) guidées par l'interaction et appliquées aux systèmes de recherche conversationnelle, permettant de renforcer l'«humain dans la boucle« dans le cadre des approches d'apprentissage machine

Nous avons ensuite proposé un modèle visant à traduire les informations des utilisateurs exprimées en langage naturel en requêtes basées sur des mots-clés. Ce modèle est basé sur deux composantes : un modèle de traduction amélioré par des techniques d'apprentissage de renforcement guidées par l'objectif final (la tâche de RI). Ce modèle a été conçu lors d'un stage d'été en 2018 (après la soumission du projet et avant son début).
Au début du projet, nous sommes revenus à ce modèle avec un autre stagiaire d'été (2019) pour mieux analyser les composantes du modèle et proposer des méthodes alternatives. Entre autres, nous avons analysé le modèle d'encodage sémantique, réduit l'excès de confiance de la composante d'apprentissage du renforcement. Les expériences ont montré, comme prévu, que l'encodage de l'auto-attention peut améliorer l'efficacité du modèle.

De plus, Laure a participé en novembre 2019 au séminaire de Dagstuhl sur la recherche conversationnelle (https://www.dagstuhl.de/en/program/calendar/semhp/?semnr=19461). Elle a participé à plusieurs groupes de travail.

Elle étudie les domaines émergents qui pourraient servir de base au projet :
- L'apprentissage continu avec un travail en cours de soumission à une conférence internationale.
- Génération linguistique conditionnée/contrôlée avec un travail accepté à INLG 2020. Ce travail vise à contrôler la génération de langues par le biais de modèles d'apprentissage par renforcement. La génération de langues naturelles est la base des systèmes conversationnels et est conditionnée au contexte de recherche.
- Elle a également initié un état de l'art des prototypes de systèmes conversationnels pour favoriser les expériences futures et le développement d'un prototype est en discussion (stage de master en 2020).
- Nous avions prévu une période de recherche pour Jian-Yun Nie à Paris pour le printemps 2020 qui a malheureusement été reporté en 2021 pour des raisons sanitaires

- Nous avons recruté un autre doctorant qui, nous l'espérons, commencera en janvier 2021 (le processus administratif est en cours). Il se concentrera sur le renforcement des modèles d'apprentissage pour la RI conversationnelle (axe 2) et contribuera à l'axe 3 par l'évaluation des modèles proposés.
- Nous avons recruté un postdoc qui commencera en janvier 2021. Il poursuivra le travail en cours de l'axe 1 et intégrera les stratégies d'apprentissage tout au long de la vie. Il contribuera également à l'axe 3 (évaluation de l'axe 1).

Sharon L. Oviatt, Laure Soulier: Conversational Search for Learning Technologies. CoRR abs/2001.02912 (2020)

Clément Rebuffel, Laure Soulier, Geoffrey Scoutheeten, Patrick Gallinari: PARENTing via Model-Agnostic Reinforcement Learning to Correct Pathological Behaviors in Data-to-Text Generation. INLG (2020)

Les progrès récents de l'intelligence artificielle (IA) et plus particulièrement de l'"apprentissage profond" ont ouvert de nouvelles perspectives en recherche, et notamment celle de la conception de systèmes intelligents permettant une conversation naturelle entre l'humain et la machine. Dans le cadre des moteurs de recherche, et plus généralement du domaine de la Recherche d'Information (RI), l'accès à l'information s'effectue aujourd'hui à travers l'utilisation de requêtes sous la forme de mots-clefs. C'est un cadre restrictif ne permettant pas à l'utilisateur un accès simple et pertinent à la sémantique.

Le projet SESAMS aborde un nouveau paradigme de RI ayant pour objectif d'optimiser le processus de recherche en permettant à l'utilisateur d'interagir en langage naturel avec le moteur de recherche au moyen d'un système conversationnel. Ce domaine de recherche émergent est appelé Recherche d'Information Conversationnelle et ouvre de nombreux verrous scientifiques: 1) la compréhension du besoin en information de l'utilisateur exprimé en langage naturel tout considérant le contexte de la session de recherche déduit des clics utilisateurs et des interactions précédentes; 2) la conception d'un système proactif qui anticipe les actions des utilisateurs et interagit avec eux afin d'affiner leur intention de recherche; et 3) l'évaluation de ce nouveau paradigme nécessitant la formalisation d'un cadre d'évaluation théorique adapté ainsi que la constitution de jeux de données à large échelle permettant d'apprendre et d'évaluer les modèles proposés.

Sur le plan méthodologique, le projet SESAMS se concentre sur les méthodes d'apprentissage profond qui ont démontré leur efficacité sur des applications sémantiques, et plus particulièrement sur des modèles d'apprentissage par renforcement profond permettant la prise en compte des interactions utilisateurs. Cependant, la mise en application de cette famille de modèles au problème décrit n'est pas triviale, l'entraînement des modèles d'apprentissage profond nécessitant par exemple une grande quantité de données. Or, dans le contexte de sessions de recherche, il est difficile de collecter de grands jeux de données retraçant les différentes interactions des utilisateurs. Ainsi, un problème important que nous aborderons dans le projet est l'apprentissage à faible supervision. En résumé, le projet introduira à la fois un nouveau paradigme de recherche d'information mais aussi de nouvelles méthodes basées sur l'apprentissage profond renforcées par les interactions utilisateurs.

Le projet SESAMS sera mené au LIP6 sous la supervision de Laure Soulier (MCF), spécialiste en recherche d'information (en particulier, la recherche d'information interactive) et en apprentissage de représentation. Elle collaborera avec des chercheurs aux compétences complémentaires: Ludovic Denoyer du LIP6 (apprentissage par renforcement et réseaux de neurones), Vincent Guigue du LIP6 (apprentissage de représentation et traitement du langage naturel), Philippe Preux de CRIStAL/Inria Lille (apprentissage par renforcement et réseaux de neurones), et Jian-Yun Nie du DIRO/Université de Montréal (recherche d'information et apprentissage profond).

Nous prévoyons de recruter un doctorant et un post-doctorant afin d'aborder les axes de recherche présentés, ainsi que deux étudiants en master pour travailler sur des aspects exploratoires (modèles "end-to-end") ou une plateforme d'évaluation open-source pour permettre la réplicabilité des résultats et la réutilisation des modèles proposés.