Trustworthy AI Through Propagating Sets – TRAITS

In general, it may be hard to guarantee the performance of the entire AI system at design time.
However, the safe operation of such complex systems can still be ensured through supervision. The supervisor
monitors AI decisions in real time and steers the system away from danger. In a dynamic environment, the
supervisor needs to predict the future over a certain time horizon, in order to be able to interfere in time. These
prediction envelopes are computed during operation, in real-time, over a prediction horizon that is just long enough
to anticipate conflicts. This point is crucial, since for a relatively small prediction horizon, even simple models
and approximative predictions can deliver satisfactory accuracy. We use the detected, potential, conflicts to retrain
the AI. The retraining is based on generated trajectories that reflect different potential outcomes of the dangerous
situation. From a single potential conflict, large sets of training data can therefore be generated.

The safety layer not only prevents accidents, but also reduces the overall training time since
failsafe plans and recovery plans are triggered much less often. In our preliminary results, controllers trained
with a safety layer achieve the same performance and still learn to avoid unsafe states. The result is a
rigorously safe AI control architecture, which anticipates mistakes, corrects them ahead of time, and learns
faster to avoid them.

To make the
approach accessible to future generations of systems, where it may be increasingly difficult to obtain models, we
will investigate how far data-based approaches can be integrated without compromising safety and performance.

H. Krasowski and M. Althoff, «CommonOcean: Composable Benchmarks for Motion Planning on Oceans,« 2022 IEEE 25th International Conference on Intelligent Transportation Systems (ITSC), Macau, China, 2022, pp. 1676-1682, doi: 10.1109/ITSC55140.2022.9921925.

Fortschritte in der künstlichen Intelligenz haben zur Entwicklung autonomer Agenten (Autos, Boote, Drohnen) geführt, die in einer dynamischen, offenen Umgebung agieren. Wie durch öffentlichkeits\-wirk\-same Unfälle deutlich wurde, bleibt es eine große Herausforderung, deren Sicherheit zu gewährleisten. In diesem Projekt schlagen wir eine zertifizierbare Sicherheitsebene vor, die Entscheidungen im Voraus überwacht und korrigiert. Der Ansatz basiert auf mathematisch rigorosen Techniken aus den formalen Methoden, einer Disziplin der Informatik, die in der Software-Industrie fest etabliert ist und auch in anderen Bereichen, wie z.B. bei cyber-physischen Systemen, immer mehr an Bedeutung gewinnt. Diese Überwachung verhindert nicht nur Unfälle, sondern führt auch zu schnelleren und sichereren Trainingszyklen, da sie zusätzliche Trainingsdaten aus automatisch generierten Familien von kritischen Trajektorien generieren kann. Verwandte Ansätze verwenden Optimierungsverfahren, die aufgrund von Erfüllbarkeitsproblemen, numerischen Fehlern oder hohen Rechenkosten möglicherweise keine gültige Lösung liefern. Im Gegensatz dazu kann unser Ansatz sowohl mathematisch als auch numerisch korrekt und mit vorhersagbaren, niedrigen Laufzeiten implementiert werden.
Wir vergleichen unseren Ansatz mit verwandten State-of-the-Art-Ansätzen aus der modellprädiktiven Steuerung und der datenbasierten Vorhersage, indem wir rigorose statistische Tests an realen Systemen durchführen - darunter zwei verschiedene Arten von autonomen Autos, ein Boot und ein Manipulator.
Um den Ansatz für zukünftige Generationen von Systemen zugänglich zu machen, bei denen es zunehmend schwieriger wird, Modelle zu erhalten, werden wir untersuchen, inwieweit datenbasierte Ansätze integriert werden können, ohne die Sicherheit und Leistung zu beeinträchtigen.
Das vorgeschlagene dreijährige Programm ermöglicht es ENSTA und TUM, ihre wissenschaftliche Expertise und experimentellen Plattformen zu teilen und eine langfristige Zusammenarbeit auf Basis einer gemeinsamen Strategie für vertrauenswürdige Autonomie aufzubauen.