Intelligence Artificielle Digne de Confiance Par Propagation d'Ensembles – TRAITS

En général, il peut être difficile de garantir les performances de l'ensemble du système d'IA au moment de la conception.
Cependant, le fonctionnement sûr de ces systèmes complexes peut toujours être assuré par la supervision. Le superviseur
surveille les décisions de l'IA en temps réel et éloigne le système du danger. Dans un environnement dynamique, le
Dans un environnement dynamique, le superviseur doit prédire l'avenir sur un certain horizon temporel, afin de pouvoir intervenir à temps. Ces
Ces enveloppes de prédiction sont calculées en cours de fonctionnement, en temps réel, sur un horizon de prédiction juste assez long pour anticiper les conflits.
pour anticiper les conflits. Ce point est crucial, car pour un horizon de prédiction relativement petit, même des modèles simples et des prédictions approximatives peuvent donner des résultats satisfaisants.
et des prédictions approximatives peuvent fournir une précision satisfaisante. Nous utilisons les conflits potentiels détectés pour réentraîner l'IA.
l'IA. Le réentraînement est basé sur des trajectoires générées qui reflètent différentes issues potentielles de la situation dangereuse.
situation dangereuse. À partir d'un seul conflit potentiel, il est donc possible de générer de vastes ensembles de données d'entraînement. Pour rendre l'approche
Pour rendre l'approche accessible aux futures générations de systèmes, où il pourrait être de plus en plus difficile d'obtenir des modèles, nous
étudierons dans quelle mesure les approches basées sur les données peuvent être intégrées sans compromettre la sécurité et la performance.

La couche de sécurité permet non seulement de prévenir les accidents, mais aussi de réduire la durée totale de la formation, car les plans de sécurité et les plans de récupération sont déclenchés beaucoup moins souvent.
les plans de sécurité et les plans de récupération sont déclenchés beaucoup moins souvent. Dans nos résultats préliminaires, les contrôleurs formés avec une couche de sécurité obtiennent les mêmes performances et apprennent toujours à éviter les états dangereux.
avec une couche de sécurité atteignent les mêmes performances et apprennent toujours à éviter les états dangereux. Le résultat est une
rigoureusement sûre, qui anticipe les erreurs, les corrige à l'avance et apprend plus rapidement à les éviter.
plus rapidement pour les éviterplus rapidement pour les éviter.

Pour rendre l'approche accessible aux futures générations de systèmes, où il pourrait être de plus en plus difficile d'obtenir des modèles, nous
étudierons dans quelle mesure les approches basées sur les données peuvent être intégrées sans compromettre la sécurité et la performance.

H. Krasowski and M. Althoff, «CommonOcean: Composable Benchmarks for Motion Planning on Oceans,« 2022 IEEE 25th International Conference on Intelligent Transportation Systems (ITSC), Macau, China, 2022, pp. 1676-1682, doi: 10.1109/ITSC55140.2022.9921925.

Les progrès de l'intelligence artificielle ont conduit au développement d'agents autonomes (voitures, bateaux, drones) qui opèrent dans un environnement dynamique et ouvert. Comme l'ont montré des accidents médiatisés, assurer leur sûreté reste un défi majeur. Dans ce projet, nous proposons une couche de sûreté certifiable qui contrôle et corrige les décisions à l'avance. L'approche est basée sur des techniques mathématiques rigoureuses issues des méthodes formelles, une discipline de l'informatique qui est fermement établie dans l'industrie du logiciel et qui devient de plus en plus importante dans d'autres domaines, tels que les systèmes cyber-physiques. Cette surveillance permet non seulement d'éviter les accidents, mais aussi de réaliser des cycles d'entraînement plus rapides et plus sûrs, car elle peut générer des données d'entraînement supplémentaires à partir de familles de trajectoires critiques générées automatiquement. Les approches connexes utilisent des techniques d'optimisation qui peuvent ne pas fournir une solution valable en raison de problèmes de faisabilité, d'erreurs numériques ou de coûts de calcul élevés. En revanche, notre approche peut être mise en œuvre rigoureusement, tant mathématiquement que numériquement, avec des durées de fonctionnement prévisibles.
Nous comparons notre approche à des approches connexes de pointe du contrôle prédictif par modèle et de la prédiction basée sur des données en effectuant des tests statistiques rigoureux sur des systèmes réels - y compris deux types différents de voitures autonomes, un bateau et un bras manipulateur.
Pour rendre l'approche accessible aux générations futures de systèmes, où il est de plus en plus difficile d'obtenir des modèles, nous étudierons dans quelle mesure les approches basées sur les données peuvent être intégrées sans compromettre la sûreté et les performances.
Le programme triennal proposé permettra à l'ENSTA et à la TUM de partager leur expertise scientifique et leurs plateformes expérimentales, et de construire une collaboration à long terme basée sur une stratégie commune d'autonomie digne de confiance.