Sirrel - Sicheres und Robustes Reinforcement Learning

Reinforcement Learning ist ein mächtiges Werkzeug, um komplexe Kontrollstrategien aus empirischen Daten zu erlernen. Für ein erfolgreiches Lernen sind Explorations- und Optimierungsprozess von entscheidender Bedeutung. Jedoch kann eine beliebige Exploration ohne weitere Einschränkungen in einer realen Umgebung zur Schädigung des Systems und dessen unmittelbarer Umwelt führen. Deshalb werden Reinforcement Learning Algorithmen bevorzugt in Simulationen trainiert. Nach dem Erlernen einer optimalen Verhaltensstrategie kann diese aus der Simulation anschließend auf ein physikalisches System übertragen werden. Ein Transfer gestaltet sich allerdings häufig als eine Herausforderung, da Ungenauigkeiten im Modell oder Toleranzen am realen System vorhanden sind. Eine derartige Diskrepanz zwischen dem Simulator und der physikalischen Welt kann zu einem Scheitern des Transfers führen.

Das Mikroprojekt “Sirrel” (Sicheres und Robustes Reinforcement Learning) verfolgt das Ziel Verhaltensstrategien von Reinforcement Learning Algorithmen sicherer und robuster zu gestalten. Dazu lassen sich die folgenden Forschungsfragen formulieren.

• Wie können sicherheitsrelevante Aspekte in ein Reinforcement Learning Problem eingebettet werden?
• Wie kann Robustheit in elektromechanischen Systemen gewährleistet werden?
• Mit welchen Methoden kann ein zuverlässiger Transfer von Kontrollstrategien aus einer Simulation auf die physikalische Welt realisiert werden?

Die Umsetzung des Mikroprojektes erfolgt im Rahmen des Software Campus Programms, welches vom Bundesministerium für Bildung und Forschung unterstützt wird. Als industrieller Ansprechpartner ist die IAV GmbH aus Berlin involviert.

 

Projektleitung: Sven Gronauer, M.Sc.