Elagage efficace de réseaux de neurones – ProPruNN

Les réseaux de neurones profonds (DNN) sont devenus l'état de l'art dans les domaines de la classification d'images, de la détection d'objet et du traitement du langage naturel, entre autres. Cependant, cela se fait au prix d'une augmentation de la complexité : davantage de paramètres, calculs, consommation d'énergie. L'élagage des DNN est un moyen efficace de réduire cette complexité et de fournir des implémentations de DNN à haute performance et à faible consommation énergétique pour les systèmes embarqués. ProPruNN propose d'étudier précisément l'impact de l'élagage structuré. Cette exploration sera réalisée en co-concevant les architectures matérielles capables de tirer parti de cet élagage. Le premier objectif est d'identifier clairement le réel impact de l'élagage structuré sur les performances des réseaux implémentés sur FPGA. En effet, dans la littérature, cet impact est sous estimé car une partie seulement des paramètres élagables sont effectivement élagués. Le second est de concevoir des modèles prédictifs de cet impact, pour l'incorporer lors de l'entraînement des réseaux afin d'optimiser leurs débits, latence, et efficacité énergétique lors de l'entraînement, et non a posteriori.