Encourager la diversité dans l'apprentissage avec peu d'exemples annotés – ENDIVE

De nombreuses applications nécessitent un échantillonnage aléatoire, où une première approche naturelle consiste à utiliser un échantillonnage i.i.d., supposant que tous les points/données ont une chance indépendante d'être sélectionnés. Cependant, dans de nombreux cas (systèmes de recommandation, résumé automatique...) on souhaite échantillonner des points divers pour fournir une gamme plus large de réponses à une requête.

Les Processus Ponctuels Déterminantaux (DPP) sont des modèles probabilistes qui représentent la distribution des points dans un espace via une matrice de noyau capturant leurs corrélations. Avec un DPP, on peut alors échantillonner des points aléatoires avec des garanties de diversité entre les échantillons. Ces modèles ont une application directe à de nombreux aspects de l'apprentissage automatique, et plus spécifiquement du "deep learning", par exemple pour la diversité des batchs, l'apprentissage actif...

Dans ce projet, nous souhaitons étudier les avantages de la diversité induite par les DPP pour le "Few-Shot Learning" (FSL). En FSL, les données se composent généralement de quelques échantillons annotés par classe (généralement de 1 à 5). Les données non annotées peuvent être indisponibles au départ (contexte inductif), ou abondantes mais coûteuses à étiqueter (contexte transductif). Des approches communes pour le FSL incluent le "meta-learning" et le "metric learning", mais les plus efficaces pour le FSL utilisent du "transfert learning", où un modèle (pris sur l'étagère ou adapté avec des régularisations spécifiques au FSL) est entraîné sur un jeu de données tiers, puis utilisé pour générer un espace latent pour les données.

Bien que les DPP soient étudiés à divers stades du deep learning, peu de travaux ont été réalisés pour le FSL. Quelques travaux analysent les DPPs pour du meta-learning, du transfert au sens large, ou des applications. Toutefois, il semble qu'aucun travail n'ait étudié les avantages de la diversité pour le FSL.