Repenser les outils d'apprentissage automatique modernes pour une nouvelle génération de systèmes de modélisation à grande échelle avec une faible consommation d'énergie – ECO-ML

Les technologies de l'information et de la communication (TIC) sont en progrès constant, ce qui se traduit en plusieurs changements sociétaux comme la croissance de l'économie, l'amélioration des conditions de vie et de l'accès à l'éducation, et l'augmentation du bien être et du divertissement. Cependant, l'utilisation répandue et croissante des TIC menace la durabilité de ces développements en raison de l'amplification incontrôlée de la consommation en énergie des composants de calcul actuels.

Parmi les TIC, le machine learning est actuellement un des domaines les plus grandissant grâce à son appropriation dans les villes intelligentes, les outils de recommandation, la finance, l'analyse des réseaux sociaux, les systèmes de télécommunication et les transports. En excluant les tentatives spécifiques à une application, la seule approche générale pour aborder l'aspect durable des calculs en machine learning est le processeur de tenseurs (TPU) de Google, dont l'accès est à la disposition du public depuis mi-février via une plateforme en ligne. Cette technologie, basée sur des transistors, est une direction intéressante et efficace pour répondre aux enjeux mentionnés précédemment en participant au machine learning durable, ce qui motive d'autres entreprises et start-ups à suivre cette tendance.

L'ambition d'ECO-ML est de changer radicalement cette donne en proposant un nouvel angle d'attaque pour rendre les calculs intensifs en machine learning plus durables. Le point de départ d'ECO-ML est de prendre conscience que les approches actuelles pour l'inférence et la prédiction par processus gaussien (PG) et processus gaussien profond (PGP) peuvent rivaliser avec les célèbres réseaux de neurones profonds, tout en proposant une flexibilité et une quantification d'incertitudes attrayantes. L'année dernière, nous avons pris connaissance du travail effectué par l'entreprise française LightOn sur la mise au point d'un processeur optique (OPU pour Optical Processing Unit). Ces OPU sont des composants qui réalisent directement une opération matricielle grâce aux propriétés de diffusion de la lumière, ce qui implique en pratique que l'opération s'effectue à la vitesse de la lumière. De plus la consommation des OPU est bien plus faible que celle des composants actuels, permettant de manipuler de grandes matrices aléatoires gaussiennes à des ordres de grandeur au dessus de ce qu'il se fait actuellement. Les modèles par PG et par PGP sont parfaitement appropriés pour bénéficier des principes régissant les OPU. Pourtant des progrès sur la construction et l'inférence de ces modèles sont nécessaires pour que cette avancée deviennent une réalité.

Nous prévoyons de créer et de publier la première implémentation de PG et PGP qui utilise des OPU. Nous voulons également montrer que cela conduit à une accélération considérable de l'apprentissage des modèles et de leurs prédictions par rapport aux méthodes de pointes, tout en réduisant la consommation. Nous prévoyons d'étendre l'état de l'art de la modélisation par PG et PGP et de leurs inférences en développant des nouvelles approximations de modèles dédiées au calcul par OPU, ce qui impliquera également des avancées théoriques pour l'approximation de PG et PGP. Nous prévoyons enfin une validation sur des cas d'application variés en sciences de la vie et de l’environnement, pour démontrer que notre approche peut rivaliser avec l'état de l'art tout en proposant de manière durable une quantification d'incertitude, un apprentissage et des prédictions rapides. De la même manière que les processeurs graphiques (GPU) ont révolutionnés l'apprentissage profond, nous envisageons que les OPU permettrons les PG et PGP à devenir la meilleure option pour modéliser et quantifier précisément les incertitudes à grande échelle.