Algorithmes, Approximations, Parcimonie et Plongements pour l’IA – AllegroAssai

Pour garantir à la fois l’utilité et la fiabilité des technologies d’IA, ainsi que leur sobriété en ressources, des fondements algorithmiques et mathématiques solides sont indispensables. L’exploitation de flux de donnés massifs nécessite ainsi de contrôler les compromis entre performance et ressources calculatoires. Par exemple, les flux générés par les capteurs équipant les prototypes de véhicules autonomes atteignent plusieurs téraoctets par jour par véhicule. Une autre contrainte est d’assurer le respect de la réglementation européenne concernant la vie privée (RGPD), par exemple lorsque ces flux incluent des vidéos avec des images de piétons ou de plaques minéralogiques. Les contraintes simultanées de confidentialité, de performance et de robustesse en situation adverse sont encore plus marquées en IA sur des données médicales sensibles.

L’objectif ultime d’AllegroAssai est de concevoir des techniques d’IA intrinsèquement munies de solides garanties statistiques solides pour assurer leur performance, équité, confidentialité, etc. Elles devront combiner sobriété en ressources (notamment mémoire et calcul, qui ont un fort impact sur les coûts énergétiques), fonctionnement sûr et robuste en conditions adverses, et capacité à exploiter des modèles et connaissances métiers spécifiques à certains domaines d’application.
Les deux ingrédients clés pour maîtriser ces compromis fondamentaux de l’IA sont la notion polymorphe de parcimonie et les projections aléatoires de type sketching.
Le premier axe du projet est consacré aux réseaux de neurones profonds à connections parcimonieuses. Il s’agit de comprendre comment les architectures de réseaux (ResNet, U-net, etc.) mènent à différents compromis entre capacité d’approximation et facilité d’entraînement avec des algorithmes à performance garantie. Une étape importante sera de concevoir des outils de régularisation favorisant à la fois la parcimonie des réseaux et leur robustesse en situation adverse.
La conception de chaînes complètes de sketching pour l’apprentissage compressif à grande échelle constitue le second axe du projet. Les techniques développées devront être à la fois flexibles, efficaces, et munies de garanties mathématiques. La complexité visée pourra dépendre de la structure latente des données et de la tâche visée, mais non du volume des données.
Pour aborder ces défis, AllegroAssai s’appuiera sur les avatars modernes de la notion de parcimonie, mais aussi sur l’analyse fonctionnelle en grande dimension, la géométrie de l’information, les techniques de sketching pour la réduction de dimension par plongement de distributions, et l’optimisation non-convexe. On combinera pour cela investigations théoriques et expérimentation heuristique sur quelques applications cibles. Les chaînes de traitement proposées feront l’objet de développement en mode agile, en s’appuyant sur du calcul optique pour réduire l’empreinte énergétique des calculs dans la mesure du possible. Des librairies logicielles assureront la large diffusion des résultats, depuis l’agrégation distribuée de sketches et l’apprentissage à partir de ceux-cis jusqu’à l’entraînement de réseaux parcimonieux.
Grâce à la performance et à la sobriété ressources des techniques de sketching et de réseaux de neurones parcimonieux développées, AllegroAssai contribuera à l’émergence d’une économie verte de l’IA, moins consommatrice d’énergie, favorisant la convergence avec la transition écologique. La compacité en mémoire et le respect de la vie privée rendront par ailleurs possible le partage et l’aggrégation de flux massifs de données massifs entre acteurs de l’industrie du transport, ouvrant ainsi la voie à la mise en place d’une politique des données offensive et ambitieuse pour le transport.