Une Perspective PAC-Bayésienne de l'Apprentissage de Représentations – APRIORI

L'idée principale consiste à redéfinir ou reformuler des problématiques d'apprentissage de représentation sous l'angle de la théorie PAC-Bayésienne. À partir d'une telle redéfinition, nous pouvons étudier théoriquement la problématique pour dériver des bornes en généralisation. Ces bornes nous guide ensuite vers le développement d'algorithmes d'apprentissage.

À noter que nous entretenons des échanges très réguliers entre les partenaires.

Plusieurs résultats ont été publiés dans des conférences internationales en apprentissage automatique.

Nous souhaitons continuer le déroulement du projet avec le même rythme soutenu.
De plus, nous avons pour objectif d'organiser un workshop sur la thématique liée au projet dans une conférence internationale dans le domaine (ICML, NeurIPS ou ICLR).

- Pseudo-Bayesian Learning with Kernel Fourier Transform as
Prior -Gaël Letarte ; Emilie Morvant ; Pascal Germain - International Conference on Artificial Intelligence and Statistics
(AISTATS), 2019
- Landmark-based Ensemble Learning with Random Fourier
Features and Gradient Boosting - Léo Gautheron ; Pascal
Germain ; Amaury Habrard ; Guillaume Metzler ; Emilie
Morvant ; Marc Sebban ; Valentina Zantedeschi - European
Conference on Machine Learning & Principles and Practice of
Knowledge Discovery in Databases (ECML-PKDD), 2020
- Dichotomize and Generalize: PAC-Bayesian Binary Activated
Deep Neural Networks - Gaël Letarte, Pascal Germain,
Benjamin Guedj, François Laviolette - Conference on Neural
Information Processing Systems (NeurIPS), 2019
- PAC-Bayesian Contrastive Unsupervised Representation
Learning - Kento Nozawa, Pascal Germain, Benjamin Guedj -
Conference on Uncertainty in Artificial Intelligence (UAI), 2020
- Improved PAC-Bayesian Bounds for Linear Regression - Vera
Shalaeva, Alireza Fakhrizadeh Esfahani, Pascal Germain, Mihaly
Petreczky - Conference on Artificial Intelligence (AAAI), 2020
- A primer on PAC-Bayesian Learning - Benjamin Guedj - Journal
of Société Mathématiques de france, 2019
- Tutoriel à ICML 2019 - A primer on PAC-Bayesian Learning -
Benjamin Guedj and John Shawe-Taylor
- Présentation invitée aux JDS 2019 - PAC-Bayesian Learning
and Neural Networks - Pascal Germain
- Présentation invitée aux JDS 2019 - When PAC-Bayesian
Majority Votes meets Domain Adaptation - Emilie Morvant
- 4 Communications à CAp (conférence nationale en apprentissage automatique)

Une étape clé qui détermine le succès de toute tâche en science des données est la construction d'une représentation des données pour en faciliter leur traitement. En effet, si la représentation des données n'est pas assez informative pour la tâche étudiée, on ne peut pas s'attendre à résoudre cette tâche efficacement. Jusqu'à récemment, l'étape cruciale de construction d'une représentation était réalisée via un prétraitement manuel des données. Depuis, des méthodes d'apprentissage automatique capables de construire automatique une représentation spécifique à une tâche ont fait leur apparition. Ces méthodes à fort succès sont connues sous le nom d'apprentissage de représentation.

L'apprentissage automatique regroupe de nombreuses méthodes permettant à un programme informatique d'apprendre des modèles à partir de données. Concrètement, l'objectif est d'apprendre une relation entre l'espace d'entrée (c.-à-d. la représentation originale) et l'espace de sortie (par exemple, un ensemble d'étiquettes pour des tâches de prédiction). Cette relation "entrée-sortie" s'exprime sous la forme d'une fonction, souvent appelée hypothèse, que l'on espère performante sur de nouvelles données. Notons que pour étudier théoriquement la performance d'une hypothèse, différentes théories d'apprentissage statistique existent pour fournir des garanties sur l'hypothèse construite (par exemple, les théories basées sur la complexité VC ou de Rademacher). Pour apprendre une telle hypothèse, le paradigme d'apprentissage de représentation consiste à incorporer, dans le processus, la transformation de l'espace d'entrée en une nouvelle représentation informative, à partir de laquelle le modèle final sera appris (ces deux étapes peuvent être réalisées simultanément ou séquentiellement). En d'autres termes, apprendre une représentation revient à transformer l'espace d'entrée en un nouvel espace latent (implicitement ou explicitement) plus informatif sémantiquement.

Le défi, que nous voulons relever dans le cadre de ce projet, est de combler le fossé entre les pratiques d'apprentissage de représentation et la théorie, afin d'aider aux développements futurs dans ce domaine. Prenons l'exemple des méthodes d'apprentissage profond capables d'apprendre automatiquement des représentations significatives et qui ont récemment mené à des percées impressionnantes dans de nombreux domaines d'application, tels que la vision par ordinateur, le traitement du langage naturel, la bio-informatique, etc. Cependant, la compréhension théorique de la performance de ces méthodes reste loin derrière leurs résultats empiriques. L'apprentissage de représentation est également utilisé dans le contexte des fonctions de comparaisons par paires qui calculent la similarité ou la distance entre les points l'espace. Ce domaine est connu sous le nom d'apprentissage de métrique (qui regroupe la notion de distance, de similarité ou de noyau). Ces méthodes sont plus faciles à analyser théoriquement. Cependant, bien que leurs performances empiriques ne soient pas aussi impressionnantes que celles des méthodes d'apprentissage profond, nous pensons qu'elles méritent plus d'études théoriques puisqu'elles permettent d'apprendre à partir d'une quantité relativement faible de données (alors que les méthodes d'apprentissage profond sont efficaces principalement en présence d'une grande quantité de données).

Au lieu d'adopter une approche classique basée sur l'apprentissage d'une seule hypothèse, nous nous attaquerons au défi ci-dessus en exprimant l'apprentissage de la représentation comme l'apprentissage d'une combinaison de (sous-)hypothèses ou de (sous-)représentations. Cela nous permettra d'utiliser une théorie d'apprentissage automatique offrant des outils puissants pour étudier les combinaisons: la théorie PAC-Bayesienne. Le projet APRIORI se concentre donc principalement sur la compréhension des succès des techniques d'apprentissage de la représentation avec la théorie PAC-Bayesienne.