Jeux de données adaptatifs pour l'amélioration indéfinie raisonnement des modèles de langue – Adada

Les grands modèles de langage (LLM) ont redéfini le domaine du traitement du langage naturel, mais leurs capacités en matière de raisonnement complexe restent limitées. Pour résoudre les problèmes de raisonnement implicite qui surviennent dans des situations quotidiennes, comme l'interprétation de règles dans des textes, l'analyse de spécifcation techniques ou la détection de contradiction, les LLM doivent aller au-delà de la simple maîtrise linguistique et gagner capacité logique, et de résolution de problèmes en plusieurs étapes.

Le projet Adada propose un cadre nouveau pour distiller les techniques modernes de raisonnement symbolique dans les LLM grâce à des jeux de données synthétiques évolutifs. En générant des tâches annotées automatiquement (MAT) adaptées à des applications spécifiques, Adada vise à améliorer continuellement les LLM pour des cas d'utilisation nécessitant un raisonnement poussé, tels que la compréhension de la documentation technique, le raisonnement de sens commun et l'analyse juridique.

Adada développera une plateforme modulaire et évolutive pour la génération de problèmes guidée par la syntaxe et la pertinence. Cette plateforme intégrera diverses MAT, notamment des logiques non classiques, l'induction, la planification et la satisfaction de contraintes, en représentant chaque tâche avec une grammaire formelle, un solveur et une verbalisation en langage naturel. Une méthodologie itérative générera des jeux de données mettant en évidence les limites des capacités de raisonnement des LLM, en privilégiant des problèmes concis, diversifiés et stimulants.

Le projet étudiera le transfert d'apprentissage entre les MAT et les tâches annotées par l'humain (HAT), offrant ainsi un éclairage sur les relations entre les différents formalismes de raisonnement et leur impact sur la compréhension du langage naturel. Adada évaluera les LLM résultants sur un ensemble de HAT prééexistantes nécessitant un raisonnement poussé, couvrant des domaines tels que le raisonnement juridique, les questions-réponses médicales et la détection des contradictions.