REPUBLIC: Vers l'IA responsable avec l'apprentissage par renforcement sous contraintes – REPUBLIC

Le développement d'une IA responsable requiert l'intégration de 3 éléments fondamentaux : la robustesse, le respect de la vie privée (privacy) et l'absence de biais (fairness). Dans le projet REPUBLIC, nous proposons d'étudier ces 3 aspects dans le cadre de l'apprentissage par renforcement (AR) sous contraintes. Le programme de recherche comprend 3 phases.
1) Nous proposerons un cadre unifié pour ces 3 notions telles qu'elles sont décrites dans la littérature. Nous les formaliserons comme des problèmes d'AR sous contraintes. Dans ce cadre unifié, nous formulerons ce problème comme un jeu à deux joueurs. Dans ce jeu, l'un des joueurs essaie de violer les contraintes tandis que le second essaie de maximiser son utilité.
2) Nous réaliserons une étude de l'AR sous différents types de contraintes : statiques ou dynamiques, linéaires ou non, déterministes ou non. L'analyse des contextes les plus simples de l'AR sous contraintes linéaires et dynamiques montre les limites de techniques d'optimisme pour qu'elles restent efficaces. Un équilibre entre l'optimisme de l'exploration et le pessimisme dû aux contraintes doit être trouvé. Nous étudierons les limites fondamentales de l'AR sous les différents types de contraintes. Ensuite, nous concevrons des algorithmes d'AR optimaux pour ces différents types de contraintes, optimaux d'un point de vue statistique et d'un point de vue calcul.
3) Nous appliquerons ces travaux à deux applications réelles : la conception de médicaments et la prise de décision en situation d'aléas climatiques. Le premier problème nécessite le déploiement d'algorithmes distribués proposés dans les phases précédentes du projet. Le second problème nécessite de faire passer à l'échelle ces déploiements, la prise en compte de prédicteurs imparfait, la quantification de l'incertitude due au non déterminisme qui est inhérent à la dynamique du système et à l'imperfection des modèles.