Hiérarchisation et Apprentissage par Renforcement Relationnel – HARRI

L'apprentissage par renforcement (AR) considère des systèmes informatiques engagés dans une boucle sensori-motrice (typiquement : un système robotique percevant son environnement par l'intermédiaire de capteurs, et doté de moyens d'action au moyen d'effecteurs). Plutôt que de programmer « à la main » les réactions du système dans chaque situation possible, on cherche à le voir acquérir automatiquement – par apprentissage – un comportement adéquat. Les techniques d'AR habituelles exploitent des représentations des états par attributs/valeurs comme par exemple un vecteur de distances aux objets les plus proches. La plupart des travaux en AR visent ainsi à découvrir des algorithmes d'apprentissage efficaces exploitant ces représentations propositionnelles. Dans le cadre du projet HARRI, nous entendons développer une activité en AR en ciblant nos recherches sur la question de la représentation des états et des actions. Avec des représentations utilisant des restrictions de la logique d'ordre un plutôt que des langages propositionnels, les situations sont représentées par des prédicats exprimant des relations entre objets dans l'environnement plutôt que par des vecteurs de valeurs numériques. Ce changement de paradigme offre de nouvelles possibilités d'apprentissage, notamment des possibilités de généralisation et de passage à l'échelle des solutions apprises qui sont hors de portée systèmes opérant dans des langages propositionnels. L'apprentissage par renforcement relationnel (ARR) mobilise ainsi des compétences complémentaires en : - Apprentissage par renforcement (AR) pour découvrir de nouveaux algorithmes adaptés à de nouvelles représentations. - Programmation logique inductive (PLI), un champ de l'apprentissage symbolique dédié à l'apprentissage de concepts ou de régularités exprimés en logique d'ordre un, pour découvrir de nouveaux algorithmes d'apprentissage relationnel adaptés au problème de l'apprentissage par renforcement (incrémentalité, stabilité). L'équipe proposée pour le projet a ceci de particulier qu'elle dispose de jeunes spécialistes dans les deux domaines au sein du même laboratoire, ce qui est singulier en France. L'objectif scientifique du projet HARRI est d'investir rapidement un domaine émergent grâce à la complémentarité des participants. La part applicative prendra aussi une part importante des travaux engagés, avec des applications à des problèmes réels issus du domaine des jeux vidéo.