Apprentissage et raisonnement pour la décision optimale selon des informations numériques et symboliques – LARDONS

Le projet aborde ses objectifs avec une approche de modélisation et d'algorithmique. Nous cherchons avant tout des modèles formels permettant de prendre en compte tous les aspects des problèmes traités : incertain, connaissances symboliques, objectifs des agents, etc. Nous proposons des algorithmes pour les problèmes de décision, d'apprentissage et de raisonnement dans de tels modèles.
Les algorithmes recherchés doivent être efficaces, tels qu'évalués par la théorie, mais également en pratique, tels qu'évalués par des expérimentations.

Une application concrète, à un problème de cartographie spatiale d'espèces adventices dans des parcelles cultivées, est également mise en oeuvre dans le cadre du projet. Cette application offre un terrain d'expérimentation pour les méthodes comme pour l'adéquation des modèles à un problème réel.

Nous avons proposé un nouveau langage de représentation des plans d'actions (à suivre par un agent exécutant une tâche). Dans cette représentation, les connaissances de l'agent à un moment donné sont explicitées, ce qui rend les plans à la fois plus compacts et plus lisibles. La lisibilité facilite la vérification et la validation de tels plans par l'être humain, et la compacité facilite, par exemple, l'envoi de tels plans à un satellite depuis une base située sur Terre.

Nous avons également proposé des modèles et approches pour les problèmes de décision dans l'incertain, lorsque les récompenses (renforcements) accessibles sont de nature qualitative (ordinale). Nous permettons ainsi, par exemple à un utilisateur humain, de «punir« ou de «récompenser« un agent à son service de manière qualitative plutôt que par une note, dont l'échelle est toujours délicate à interpréter. On peut ainsi envisager un système automatisé d'aide au diagnostic médical apprenant à mieux diagnostiquer à partir de retours des médecins tels que «ce diagnostic était bon«, «ce diagnostic était moins bon que le précédent«, etc.

Nous projetons d'étendre la représentation de plans à base de connaissances à des politiques d'actions de systèmes multi-agents, donc à des politiques décentralisées. Les enjeux sont importants lorsque, par exemple, des unités d'engins autonomes, plutôt que des engins isolés, sont concernés par une mission.

Nous souhaitons également utiliser les résultats obtenus pour l'apprentissage à partir de renforcements qualitatifs sur une application concrète, à l'amélioration d'un processus automatisé d'extraction d'information, dans le cadre d'une thèse CIFRE.

Une librairie Java fournissant les méthodes et algorithmes développés dans le projet est actuellement en cours de développement. L'objectif est également d'intégrer à cette librairie un vaste ensemble de techniques standard de l'intelligence artificielle et de la diffuser sous licence libre, afin de permettre l'utilisation, au sein de la communauté scientifique, mais aussi dans des projets industriels, des techniques et des outils.

A l'international, le projet a donné lieu à des publications scientifiques dans des conférences et revues importantes :

* 5 publications multipartenaires en conférences internationales, dont 2 de rang A et 2 de rang A* (classement australien CORE)
* 2 publications dans des journaux internationaux de rang A
* 7 publications dans des conférences internationales (4 de rang A*, 2 de rang A, dont 2 avec des partenaires extérieurs au projet)
* 4 publications dans des ateliers internationaux

Ce projet s'intéresse à la prise de décision pour des agents autonomes munis de connaissances. Dans les applications, de tels agents doivent relever de nombreux défis pour prendre des décisions optimales : l'environnement est typiquement dynamique, incertain, et partiellement observable ; il est décrit sur un très grand nombre d'attributs ; la décision doit être très rapide.

Pour traiter ces problèmes, la communauté d'intelligence artificielle a développé des approches complémentaires, en particulier des formalismes symboliques (logiques) et numériques. Les formalismes numériques (notamment les réseaux de Markov, les réseaux bayésiens, les processus décisionnels de Markov et leurs dérivés) sont adaptés pour représenter les effets stochastiques des actions et l'évolution stochastique de l'environnement ; de plus, ils peuvent être appris et résolus avec diverses techniques. D'autre part, les formalismes logiques (p.ex. attribut-valeur, relationnels, épistémiques) sont adaptés pour exprimer des contraintes dures, des normes, des connaissances épistémiques, des buts, etc. En particulier, la logique est par essence plus déclarative, et ainsi plus facile à manipuler pour l'être humain. A nouveau, il existe diverses techniques pour apprendre et raisonner avec ces formalismes.

Notre proposition part du constat qu'un agent placé dans un environnement réel a typiquement accès à de l'information via des modèles numériques, et à de l'information sous forme logique. La rationalité demande alors naturellement que ses décisions prennent toute cette information en compte. Typiquement, un robot footballeur a besoin d'un modèle numérique de ses effecteurs (obtenu par simulation ou entraînement), mais aussi d'un modèle logique des règles du jeu. Une autre situation typique est en médecine, où il faut à la fois des estimations numériques de l'efficacité des traitements ou de l'incertitude des analyses, et un savoir expert logique.

Le problème que nous étudierons peut donc être formulé ainsi : construire des approches pour prendre des décisions rationnelles lorsqu'une partie de l'information sur l'environnement, les actions et les récompenses est donnée sous forme numérique, et une autre partie sous forme logique.

Une approche complète doit prendre en compte au moins les trois sous-problèmes suivants: la représentation du problème ; le calcul d'une politique optimale ; l'apprentissage par renforcement.

Nous attaquerons ces problèmes selon l'angle de la complexité et de l'algorithmique, en identifiant la complexité des problèmes, en exhibant des restrictions traitables et en élaborant des algorithmes efficaces (en complexité et en pratique). Ceci est justifié par le fait que la plupart des problèmes sont déjà prouvés difficiles (au sens de la complexité), même lorsque les informations numériques et logiques ne sont pas considérées en même temps (par exemple, dans les processus décisionnels de Markov partiellement observables – POMDP). Nous nous appuierons pour cela sur des représentations factorisées existantes pour les (PO)MDP, en particulier celles par réseaux bayésiens dynamiques et par opérateurs STRIPS probabilistes, qui sont basées sur des attributs propositionnels. Cet accent sur la logique propositionnelle plutôt que des formalismes relationnels plus expressifs assure la décidabilité de la plupart des problèmes, des complexités raisonnables, et la possibilité de réutiliser des logiciels très efficaces, par exemple pour le problème de satisfaisabilité.

Les représentations et algorithmes proposés seront illustrés sur deux applications à grande échelle. La première est la construction de cartes d'occurrence de processus spatiaux, les décisions à prendre étant les lieux à visiter pour récupérer des informations sur l'occurrence du processus. Une application réelle est étudiée à l'Inra, sur la prolifération des mauvaises herbes. La seconde application concerne les personnages non-joueurs dans les jeux video.