Apprentissage Multimodal Equitable – FAMOUS

Ce projet a pour objectif d'explorer les premières pistes de recherche quant aux apports de la multimodalité dans les jeux de données pour répondre aux exigences de l'apprentissage équitable. L'équité désigne ici les biais (dans les données et/ou induits), tout en s'intéressant à l'interprétabilité des modèles pour aider leur certification.
Chaque modalité porte ses propres caractéristiques statistiques et topologiques, ce qui nécessite en amont des recherches sur l'ajustement ds distributions lorsque biaisées, des métriques adaptées, etc. Par ailleurs, chacune étant elle-même un biais d'observation des données, ce sera pris en compte pour établir une distribution jointe (trans-modale) non biaisée sur toutes ces modalités.
Avec des recherches théoriques en apprentissage statistique trans-modal, nous étudierons des méthodes de réduction de quelques types de biais identifiés (non iid, déséquilibres, variables sensibles) dans le cas de données multimodales.
Deux niveaux de traitements sont privilégiés: (1) pré-traitements trans-modaux des biais dans les données, par apprentissage de métriques, de représentations neuronales, et par contraintes d'optimisation portant sur les pre-images de noyau; (2) algorithmes trans-modaux pour éliminer les biais lors des apprentissage de modèles: des algorithmes trans-modaux d'optimisation, ainsi que des approches par tranfert et transport optimal entre modalités pour débiaiser les concernées, reposant sur les résultats théoriques préalablement obtenus. La parcimonie sera envisagée pour passage à l'échelle et explicabilité.
Transversalement, nos travaux s'appuieront sur les problématiques issues de jeux de données réels en biologie et santé, multi-modaux et présentant divers types de biais, et sur des jeux de données jouets à générer. Ils ont des modalités où les données sont structurées en graphes: tous nos travaux fondamentaux seront déclinés pour prise en compte de cette spécificité impactant le traitement des biais considérés.