Modélisation générative, queues lourdes, valeurs aberrantes, entraînement parcimonieux – GHOST

Les modèles d'intelligence artificielle générative (IAG) sont coûteux, leur entraînement et leur inférence nécessitent énormément d’énergie. Les modèles IAG étant de plus en plus adoptés pour résoudre des problèmes dans l'industrie, des changements importants dans la manière dont nous entraînons et utilisons ces modèles sont nécessaires, à la fois pour atteindre les objectifs d'émission de carbone et pour démocratiser l'accès aux modèles IAG et à la recherche. Les approches actuelles pour compresser les réseaux neuronaux sont d'une efficacité limitée lorsqu'elles sont utilisées avec des modèles IAG. Alors que dans la plupart des réseaux, 85-95 % des poids peuvent être élagués tout en maintenant les performances, les modèles de type IAG ne peuvent pas être élagué au-delà d'environ 70 % de parcimonie sans dégradation significative des performances. Il a été observé que les modèles IAG ont différentes dynamiques d'entraînement qui affectent probablement leur compressibilité : (a) les modèles IAG ont des poids prenant des valeurs aberrantes mais qui semblent importants, (b) les poids de plus faible magnitude ont plus d'importance dans les modèles IAG que dans d'autres modèles d'apprentissage profond. Ces deux observations empiriques sont actuellement mal comprises. Récemment, nous avons montré que de telles valeurs aberrantes peuvent apparaître en raison de « queues lourdes » (QL), et que les distributions à QL ont des liens étroits avec la compressibilité. Dans cette proposition, notre objectif est de développer un cadre algorithmique théoriquement solide pour concevoir des techniques de compression de pointe pour l’IAG. Nous explorerons d'abord les liens entre les distributions à QL et les valeurs aberrantes. Nous développerons ensuite des algorithmes efficaces qui réduiront considérablement la complexité de calcul. Nous produirons des logiciels open source et testerons leurs performances sur des applications de vision et de traitement audio/langage.