Accelerateurs Approchés Auto-adaptatifs à l'Exécution pour l'Apprentissage Profond – REAxION

L'apprentissage profond (DL) a transformé la société humaine, influençant la vie quotidienne et le paysage socio-économique au sens large. Les systèmes basés sur le DL sont désormais omniprésents. Leur précision découle de longs et coûteux entraînements avec des 'datasets' massifs. En outre, lors de l'inference, les exigences en matière de calcul augmentent constamment. Il est intéressant de noter que la complexité des données varie au sein d'un dataset et que des modèles de DL ayant des couts de calcul différents peuvent effectuer des prédictions correctes sur la plupart des données.
Pour une informatique durable, nouvelles techniques pour réduire les couts de calcul sont necessaires. Les accélérateurs matériels spécialisés permettent ordres de grendeur de gains en efficacité.
Le calcul approximatif (AxC) est un paradigme de calcul alternatif qui peut améliorer l'efficacité des systèmes de calcul en reduisant leur précision. Les systèmes de DL sont souvent robustes aux petites imprecisions, ce qui permet d'appliquer l'AxC aux accélérateurs matériels pour obtenir des ordres de grendeur de gains en efficacité. L'erreur introduit par AxC dépend de l'application et de ses données, donc l'ajustement dynamique des degrés d'approximation permet d'améliorer la précision finale.
Par conséquent, (i) les modèles de DL n'ont pas les mêmes exigences de calcul pour toutes les entrées, et (ii) l'ajustement de l'approximation pendant les calculs entraîne des gains d'efficacité importants. Ainsi, en fonction des entrées courantes du système, la sélection du degré d'approximation des accélérateurs matériels pour le DL permettrait d'améliorer de manière significative l'efficacité globale tout en fournissant une grande précision. REAxION propose une méthodologie de co-conception pour réaliser une exploration de l'espace de conception d'accélérateurs matériels approximatifs auto-adaptatifs en cours d'exécution pour les tâches d'inférence DL, en fonction de la complexité de l'entrée.