Recherche d'architecture neuronale tenant compte des biais – BANERA

Les réseaux neuronaux artificiels sont aujourd'hui l'un des algorithmes d'intelligence artificielle les plus étudiés et les plus utilisés pour résoudre une grande variété de tâches. Cependant, de nombreux modèles profonds présentent un inconvénient commun : leur complexité croissante remet en question la capacité de calcul des appareils embarqués et pose des problèmes de consommation d'énergie lorsqu'ils sont déployés sur le terrain. Neural Architecture Search vise la recherche automatique d'architectures de réseaux neuronaux, en optimisant des paramètres tels que la performance et la latence. Cependant, les approches NAS typiques ne tiennent pas compte de l'architecture matérielle cible, mais optimisent des mesures génériques telles que les FLOP et l'empreinte mémoire, et ne tiennent pas compte de la présence possible de biais algorithmiques. En effet, après la récente loi sur l'IA, l'IA neuronale sera également réglementée contre la présence de ces biais, qui trouvent leur meilleur terrain pour prospérer dans des architectures plus compactes.
BANERA propose de :
a) étudier la propagation des biais à l'intérieur des réseaux neuronaux à l'aide d'outils issus de la théorie de l'information, et de proposer un terme différentiable pour minimiser la propagation des biais ;
b) concevoir un terme de pénalité qui s'adapte aux architectures matérielles spécifiques (en tenant compte également d'autres paramètres tels que la mise en cache et les transferts de mémoire), afin d'obtenir un modèle profond "vert" et optimisé ;
c) rechercher des sous-structures de biais/débiaisage dans les modèles générés afin d'accélérer la conception de modèles d'IA efficaces qui sont également exempts de biais algorithmiques.