IA explicable à base de compilation de connaissances – EXPEKCTATION

Le projet EXPEKCTATION concerne le développement d’approches pour un apprentissage automatique interprétable et robuste, en utilisant la compilation de connaissances : nous recherchons des techniques de prétraitement capables d'associer à un prédicteur boîte noire une boîte blanche, pouvant être utilisée pour fournir diverses formes d’explication et répondre à des requêtes de vérification sur la boîte noire. Nous prévoyons de nous concentrer sur le problème de l’interprétabilité post-hoc : on examinera des modèles d’apprentissage qui ne sont pas interprétables intrinsèquement et on analysera les modèles une fois appris. Nous nous concentrerons sur la question de l’interprétabilité globale (i.e., d’expliquer le comportement du modèle dans son ensemble).

Clairement, la traduction de la boîte noire en une boîte blanche peut être coûteuse en calcul. De plus, dériver des explications à partir d'un modèle boîte blanche peut se révéler également difficile (les problèmes d'abduction ont une complexité élevée). Toutefois, une fois le modèle boîte noire appris, il n’a pas à être modifié à chaque fois qu'une nouvelle entrée doit être prise en compte. Ainsi, la boîte blanche correspondante peut être prétraitée afin de faciliter la génération d'explications des prédictions, indépendamment des entrées associées. La compilation de connaissances apparaît comme une approche très prometteuse à cet égard.

L'objectif principal du projet est de tirer parti des techniques de compilation de connaissances, dont nous possédons une expertise importante, afin de traiter des problèmes fondamentaux pour l'IA explicable et robuste. Deux questions principales seront examinées :
- Quels langages de représentation admettent des algorithmes « efficaces » pour dériver des explications et prendre en charge des requêtes de
vérification ?
- Comment extraire une représentation traitable d'un prédicteur boîte noire ?

Pour le premier point, nous prévoyons d’étudier les tâches d’abduction et les requêtes de vérification pour plusieurs familles de représentations compilées, en particulier celles pour lesquelles il existe des compilateurs relativement « efficaces ». Nous examinerons de nouveaux concepts d’explication préférée, par exemple, une notion d’explication robuste, c’est-à-dire qui explique encore les observations quand elle est déformée par un bruit. Nous étudierons la complexité du calcul d’explications préférées, de les compter et les énumérer pour plusieurs familles de circuits compilés. Nous comptons développer et évaluer des algorithmes pour ces tâches. Nous souhaitons aussi étudier comment rendre les explications intelligibles en prenant en compte un modèle de l'utilisateur. Nous examinerons la notion d’explication contrefactuelle dans le cadre abductif pour traiter le cas où l’utilisateur est surpris par les explications rapportées.

Pour le deuxième point, marchant dans les traces de Shih et al. (2019), nous prévoyons d'utiliser le prédicteur boîte noire en guise d’oracle. Nous envisageons d’examiner des classes de réseaux de neurones et des classes de circuits arithmétiques plus générales que celles considérées jusque là. Nos algorithmes d'apprentissage utiliseront des requêtes d'appartenance et des requêtes statistiques plus puissantes lorsque le réseau neuronal est un prédicteur probabiliste. Nous prévoyons aussi d'atteindre l’objectif visé en suivant une approche en deux étapes, dans laquelle on extrait d'abord un modèle intermédiaire (e.g., un réseau bayésien), puis on le compile dans un circuit arithmétique. Bien que nous ayons un bagage solide sur la deuxième étape, de nombreuses questions liées à la première restent en suspens et seront abordées. En particulier, pouvons-nous traduire des réseaux neuronaux profonds en réseaux bayésiens profonds ? Quelles classes de réseaux de neurones sont représentables par des modèles graphiques probabilistes, qui peuvent à leur tour être efficacement compilés en circuits arithmétiques ?