Reinforcement Learning (RL) ist ein vielseitiger Ansatz zur Lösung von Problemen der sequentiellen Entscheidungsfindung. Ein Agent interagiert mit seiner Umgebung und nutzt seine Erfahrung, um Entscheidungen zu treffen, welche zur Lösung des Problems beitragen. Reinforcement Learning hat sich in der Forschung und in verschiedenen Anwendungen wie der datengestützten Regelung in der Robotik, der Entwicklung von Strategien für bspw. Brettspiele, des Managements von Netzwerkverkehrs und der Computerintelligenz bewährt. Zu den jüngsten Erfolgen von RL zählen unter anderem die Programme ChatGPT oder AlphaGo.

Diese Vorlesung gibt einen Überblick über die grundlegenden Konzepte, verschiedene praktischen Techniken und die Programmierwerkzeuge, die beim Reinforcement Learning verwendet werden. Sie konzentriert sich zunächst auf die Anwendungsaspekte des Themas, wie z.B. die Herausforderungen bei der Realisierung in Computern und eine (ausreichend) performante Implementierungen. Zusätzlich wird aber auch Reinforcement Learning an sich vorgestellt und die Entwicklung von Algorithmen thematisiert.

Als Problemstellung für den Kurs dient die Steuerung eines Aufzugs. Diese stellt ein ausreichend kleines Entscheidungsproblem dar, welches im Rahmen der Vorlesung in kurzer Zeit lösbar ist. Dennoch ist solch eine Steuerung bereits an sich interessant und nicht mehr nur ein reines Spielzeugproblem. 

Die Veranstaltung ist so konzipiert, dass sie die Grundlagen für eine spätere theoretische Behandlung des Themas ermöglicht. Für einen tiefen Einstieg in das Themenfeld (mathematische Herleitungen, Konvergenzbeweise und
Herleitung von Fehlergrenzen) können interessierte Studentinnen und Studenten die Master-Vorlesung „Approximate Dynamic Programming and Reinforcement Learning“ im Wintersemester besuchen.

In dieser Vorlesung werden die folgenden Themen behandelt:

• Markov-Entscheidungsprozesse als Sprache zur Formulierung von Entscheidungsproblemen
• Implementierung des Simulators bzw. dynamischen Systems
• Verschiedenste Algorithmen zur Lösung:
  • Dynamische Programmierung (Value- und Policy-Iteration)
  • Monte-Carlo-Methoden
  • Temporal Difference Learning (SARSA und Q-Learning)
  • Lineare Funktionsapproximation