Inférence statistique, méthodes numériques et Intelligence Artificielle – SCAI

Le facteur clé du récent boom de l'IA est l'émergence de l'apprentissage profond (DL). Le succès de ces méthodes - en particulier pour l'apprentissage supervisé - est étonnant. Mais les limites et les inconvénients du DL sont connus. Les algorithmes DL actuels sont " gourmands en données ", la performance de DL est fortement influencée par la qualité des données recueillies, DL estime mal les incertitudes, etc.
On peut expliquer ces problèmes et les atténuer dans une certaine mesure. La recherche actuelle sur le DL est presque entièrement axée sur l'IA " guidée par les données " et " agnostique au modèle ". Le déluge de données alimenté par la baisse du prix du stockage des données, l'augmentation considérable de la puissance de calcul (avec GPU, TPU, parallélisation massive) et la découverte de nouvelles architectures de réseaux neuronaux (CNN, LSTM) ont permis de résoudre des problèmes qui semblaient hors de portée il y a dix ans. Mais les approches entièrement " guidées par les données " ont leurs limites : on estime aujourd'hui que si cette approche est parfaitement adaptée aux tâches prédictives, elle n'atteindra pas un niveau d'abstraction plus élevé si l'on ne combine pas efficacement les approches " guidées par les données " avec des approches plus " guidées par le modèle ". Par IA " pilotée par le modèle ", j'entends des approches qui capturent les connaissances antérieures et évitent de perdre du temps de calcul et (beaucoup) de données pour apprendre aveuglément des concepts qui sont déjà connus. Il existe bien sûr différents types de modèles. Mon penchant personnel va vers les modèles statistiques qui peuvent capturer des connaissances complexes tout en tenant compte des incertitudes et des différentes formes de "perturbations" dans les données. Je veux construire un système d'IA hybride composé de sous-systèmes : certains "centrés sur les données" et d'autres axés sur un modèle statistique. Le défi consiste à combiner ces sous-systèmes et à élaborer des méthodes d'inférence appropriées, ce qui est une tâche difficile.
La conception de ces modèles hybrides et la résolution des problèmes d'inférence associés à l'IA moderne à grande échelle posent des problèmes théoriques et informatiques très importants. Le défi le plus évident est de faire face aux dimensions du modèle (10^3-10^6 des variables) et à la taille des collections de données (10^6-10^9 des points de données ne sont pas rares). Mais il y a aussi d'autres difficultés. Dans certaines applications par exemple, le budget-temps estcontraint. Les données peuvent être distribuées à très grande échelle et les différents agents doivent apprendre de façon collaborative sans partager les données pour préserver la confidentialité.
Le domaine de l'apprentissage de modèles hybrides regorge de pistes de recherche théoriques et méthodologiques passionnantes. J'ai divisé le programme de la chaire en quatre grands défis interdépendants. Le Défi 1 porte sur les modèles bayésiens et leurs applications à la quantification de l'incertitude de la DNN et au crowdsourcing collaboratif pour l'étiquetage. Le Défi 2 porte sur les modèles génératifs profonds, qui relient directement DL et modèle probabiliste. Il s'agit d'un exemple de prototype où des réseaux neuronaux profonds "centrés sur les données" sont utilisés pour construire de nouveaux modèles statistiques pour des données à haute dimension. Le Défi 3 est l'optimisation et la simulation distribuées à grande échelle avec un accent sur la parallélisation massive, l'apprentissage fédéré sous contraintes de communication et de confidentialité. Ici, des modèles statistiques sont utilisés en haut de DL pour effectuer une agrégation appropriée de l'information partagée par les apprenants individuels. Le Défi 4 est une MC à grande échelle et couvre à la fois les questions théoriques (temps de mélange, dépendance aux dimensions, etc.) et algorithmiques.