Apprentissage automatique par les graphes pour la prédiction de structures linguistiques – GRASP

Au cours des deux dernières décennies, le domaine du TAL a fait des progrès spectaculaires en raison principalement de l'utilisation intensive des méthodes d'apprentissage automatique supervisé, telles la prédiction de sorties structurées. Mais le TAL est maintenant en proie à de nouveaux défis qui découlent de l'évolution constante du Web et de l'arrivée du Big Data. Ainsi, la croissance du Web et l'émergence continue de nouveaux moyens de communication (forums, micro-blogging) ont amené à une diversité beaucoup plus grande des textes en termes de domaines, de langues et de styles. Cette diversité est un sous-produit de la quantité toujours croissante des données textuelles désormais présentes sur le Web. Alors que le "Big Text Data" ne cesse de croître, nos besoins en termes de fouille, navigation, et résumé de ces données se font plus urgents, et avec eux la nécessité d'analyses linguistiques plus profondes. En particulier, nous avons besoin d'outils plus précis pour des tâches sémantiques et pragrmatiques, comme la résolution de la coréférence, la prédiction des relations temporelles, et l'analyse rhétorique du discours. Malheureusement, ces problèmes n'ont que fort peu bénéficié des progrès récents en apprentissage automatique, et la plupart des systèmes se fondent toujours sur des heuristiques linguistiques et beaucoup de ``feature engineering''.


L'objectif principal de recherche du projet GRASP est de développer une nouvelle génération de systèmes de TAL mieux équipés pour répondre à ces nouveaux défis. Ces nouveaux systèmes incarnent deux glissements importants. D'une part, ces systèmes se basent davantage sur des algorithmes d'apprentissage qui nécessitent moins de données annotées et sont en mesure d'exploiter efficacement les grandes quantités de données de texte non étiquetés. Ce projet entend donc se concentrer sur différents scénarios d'apprentissage comprenant peu ou pas de supervision humaine, tels que l'apprentissage non supervisé et semi-supervisé ainsi que l'apprentissage par transfert entre domaines et langues. D'autre part, nous avons besoin de formulations d'apprentissage plus adéquates pour les tâches sémantiques et pragmatiques, à même de traiter de la très grande dimension de leur espace d'entrée (et de sortie) et de contourner le manque de couverture des bases de données et ontologies existantes via l'utilisation de gros volumes de textes non étiquetés.

Ces glissements sont envisagés au sein du cadre unificateur de l'apprentissage par graphes, un cadre récent qui marie théorie des graphes, algèbre linéaire, et apprentissage automatique, mais mais qui reste fort peu utilisé par la communauté TAL. Nous identifions deux limitations actuelles de ce cadre pour le TAL, dont découlent nos deux volets de recherche principaux: (i) l'intégration des méthodes de propagation et de régularisation basées sur les graphes avec des modèles de prédiction de structures, et (ii) le développement d'algorithmes de construction de graphe qui tiennent compte de l'objectif d'apprentissage. Ces deux extensions sont fortement complémentaires, correspondant à deux étapes distinctes de l'apprentissage basé sur les graphes: l'inférence des étiquettes et la construction du graphe, respectivement. En poursuivant ces deux objectifs, nous allons jeter des ponts entre trois domaines importants de l'apprentissage automatiques considérés jusqu'à présent été comme distincts et assez autonomes: l'apprentissage à base de graphe, l'apprentissage de sorties structurés, et l'apprentissage de métrique.

Grâce à ces nouveaux croisements entre TAL et techniques d'apprentissage, nous prévoyons que ce projet fournira une avancée significative de l'état de l'art en TAL statistique. Il ouvrira la voie au développement de systèmes d'analyses plus profonds, plus performants, plus polyvalents, et donc plus en phase avec les besoins actuels de la société de l'information.