Proximal Policy Optimization (PPO) ist ein Algorithmus aus dem Bereich des bestärkenden Lernens (englisch Reinforcement Learning, RL), der 2017 von Forschern des US-amerikanischen Unternehmens OpenAI vorgestellt wurde. Das Verfahren gehört zur Familie der Policy-Gradient-Methoden und optimiert die Entscheidungsstrategie (Policy) eines Agenten schrittweise, indem es den Umfang einzelner Aktualisierungsschritte begrenzt.
Durch eine gekappte Surrogat-Zielfunktion (Clipped Surrogate Objective) erreicht PPO eine ähnliche Trainingsstabilität wie Vertrauensbereichs-Verfahren (Trust Region Policy Optimization, TRPO), benötigt jedoch lediglich Optimierungsmethoden erster Ordnung wie den stochastischen Gradientenabstieg (SGD). Aufgrund des geringeren Implementierungsaufwands wird PPO häufig im Deep Reinforcement Learning sowie beim Reinforcement Learning from Human Feedback (RLHF) zur Feinabstimmung großer Sprachmodelle eingesetzt.
Klassische Policy-Gradient-Algorithmen wie REINFORCE passen die Parameter einer stochastischen Policy direkt entlang des geschätzten Gradienten der erwarteten kumulierten Belohnung an:
Hierbei gibt der geschätzte Advantage an, um wie viel besser eine gewählte Aktion im Zustand im Vergleich zum durchschnittlichen Verhalten der Policy ausgefallen ist. In der praktischen Anwendung treten bei diesem Ansatz jedoch zwei Schwierigkeiten auf: Verrauschte Belohnungssignale führen zu einer hohen Varianz der Gradientenschätzungen, und zu große Aktualisierungsschritte können die Policy so stark verändern, dass die unter der vorherigen Policy gesammelten Trainingsdaten deren aktuelle Verteilung nicht mehr abbilden. Da es sich um ein On-Policy-Verfahren handelt, kann ein solcher Einbruch der Leistungsfähigkeit (Policy Collapse) ohne neue Datenerhebung kaum korrigiert werden.
Um destruktive Parameteränderungen zu verhindern, führte Trust Region Policy Optimization (TRPO, 2015) eine Nebenbedingung ein, welche die Abweichung zwischen alter und neuer Policy anhand der Kullback-Leibler-Divergenz (KL-Divergenz) auf einen festen Vertrauensbereich (Trust Region) beschränkt. Die Einhaltung dieser Nebenbedingung erfordert allerdings Optimierungsverfahren zweiter Ordnung wie konjugierte Gradienten und Fisher-Vektor-Produkte, die aufwendig zu implementieren sind und sich nur schwer mit Techniken wie Dropout oder gemeinsam genutzten Netzwerkparametern verbinden lassen.
PPO ersetzt diese Nebenbedingung durch eine Begrenzung (Clipping) direkt innerhalb der Zielfunktion. Dadurch lässt sich die Schrittweite der Policy-Änderung mit gewöhnlichen Gradientenverfahren erster Ordnung kontrollieren, und ein einmal erhobener Datenstapel kann über mehrere Optimierungsepochen hinweg wiederverwendet werden.
Eine Trainingsiteration von PPO gliedert sich in Datenerhebung und mehrstufige Optimierung. Zunächst interagiert die aktuelle Policy über eine festgelegte Anzahl von Zeitschritten, meist verteilt auf mehrere parallele Simulationsinstanzen, mit der Umgebung. Für jeden Schritt werden Zustand, gewählte Aktion, erhaltene Belohnung sowie die logarithmische Aktionswahrscheinlichkeit unter gespeichert.
Anschließend wird mithilfe der Generalized Advantage Estimation (GAE) auf Basis einer Wertfunktion (Critic) für jeden Zeitschritt der Advantage geschätzt. Der gesammelte Datenstapel wird danach in kleinere Teilmengen (Minibatches) aufgeteilt und über mehrere Epochen (üblicherweise drei bis zehn) mittels stochastischem Gradientenabstieg optimiert. Nach Abschluss dieser Epochen werden die Daten verworfen und neue Trajektorien (Rollouts) mit der aktualisierten Policy erzeugt.
Das Wahrscheinlichkeitsverhältnis beschreibt, wie stark sich die Wahrscheinlichkeit einer Aktion unter der aktualisierten Policy gegenüber der ursprünglichen Policy verändert hat:
Die Zielfunktion der Standardvariante PPO-Clip lautet:
Der Hyperparameter (im ursprünglichen Entwurf ) legt fest, wie weit das Verhältnis vom Ausgangswert abweichen darf, bevor der Zugewinn in der Zielfunktion begrenzt wird. Bei einer vorteilhaften Aktion () soll die Aktionswahrscheinlichkeit steigen (); überschreitet den Schwellenwert , wird der weitere Anstieg gekappt und der Gradient fällt auf null ab. Umgekehrt soll bei einer nachteiligen Aktion () die Wahrscheinlichkeit sinken (), wobei Werte unterhalb von keinen zusätzlichen Anreiz zur weiteren Absenkung liefern. Durch die Minimumbildung zwischen ungekapptem und gekapptem Term entsteht eine pessimistische untere Schranke, die eine übermäßige Policy-Änderung unterbindet, Korrekturgradienten bei Fehlentwicklungen aber weiterhin zulässt.
In Actor-Critic-Architekturen wird die gekappte Policy-Zielfunktion um den quadratischen Vorhersagefehler der Wertfunktion sowie einen Entropie-Bonus zur Aufrechterhaltung der Exploration ergänzt:
mit
Als Gewichtungsfaktoren werden häufig für den Wertfunktionsfehler und für den Entropie-Term gewählt.
Zur Schätzung von fasst PPO üblicherweise Temporal-Difference-Residuen als exponentiell gewichtete Summe zusammen:
Der Diskontfaktor (häufig ) bestimmt die Gewichtung zukünftiger Belohnungen, während (häufig ) zwischen einer geringen Varianz () und einer unverzerrten Monte-Carlo-Schätzung () abwägt.
Neben der verbreiteten Variante PPO-Clip wurde 2017 auch PPO-Penalty beschrieben. Dabei entfällt das Clipping; stattdessen wird ein adaptiv gewichteter KL-Strafterm direkt von der ungekappten Zielfunktion abgezogen:
Der Gewichtungsfaktor wird nach jedem Aktualisierungsschritt erhöht oder verringert, je nachdem, ob die gemessene KL-Divergenz ober- oder unterhalb eines vorgegebenen Zielwerts liegt. In empirischen Vergleichen schnitt PPO-Clip zumeist besser ab, doch wird ein expliziter KL-Strafterm gegenüber einem Referenzmodell bei der Feinabstimmung von Sprachmodellen weiterhin eingesetzt.
PPO wird für Bewegungssteuerungen in kontinuierlichen Aktionsräumen, etwa in der Robotik, sowie in Mehragenten- und Echtzeitstrategiesimulationen eingesetzt, da sich die Datenerhebung parallelisieren lässt. Bekannt wurde der Einsatz unter anderem durch das System OpenAI Five für das Computerspiel Dota 2.
Im Rahmen des Reinforcement Learning from Human Feedback (RLHF) wird PPO genutzt, um überwacht feinabgestimmte Sprachmodelle anhand eines Belohnungsmodells an menschliche Präferenzen anzupassen. Um ein starkes Abweichen vom Ausgangsmodell zu vermeiden, werden dabei häufig kleinere Clipping-Werte () mit einem zusätzlichen KL-Strafterm gegenüber dem eingefrorenen Referenzmodell kombiniert.
Für das Training von Sprachmodellen auf logische Schlussfolgerungen (Reasoning) wurde mit Group Relative Policy Optimization (GRPO) eine Abwandlung von PPO entwickelt, die ohne separates Wertfunktions-Netzwerk auskommt. Statt den Advantage über einen Critic zu schätzen, erzeugt GRPO zu jeder Eingabe eine Gruppe von vollständigen Antworten und normiert deren Belohnungswerte anhand von Mittelwert und Standardabweichung innerhalb der Gruppe:
Der so berechnete Advantage wird anschließend in die gekappte PPO-Zielfunktion eingesetzt, was den Speicherbedarf gegenüber dem klassischen RLHF-Aufbau reduziert.
| Merkmal | TRPO (2015) | PPO / PPO-Clip (2017) | GRPO (2024) |
|---|---|---|---|
| Optimierungsordnung | 2. Ordnung (konjugierte Gradienten) | 1. Ordnung (Minibatch-SGD) | 1. Ordnung (Minibatch-SGD) |
| Begrenzung der Policy-Änderung | Harte KL-Divergenz-Nebenbedingung | Gekapptes Wahrscheinlichkeitsverhältnis () | Gekapptes Verhältnis und KL-Term |
| Separates Critic-Netzwerk | Erforderlich | Erforderlich | Nicht erforderlich |
| Advantage-Schätzung | GAE über Wertfunktion | GAE über Wertfunktion | Gruppenrelative Normierung über Antworten |
| Hauptanwendungsbereich | Kontinuierliche Steuerung | Deep RL, Robotik, RLHF | Training von Reasoning-Sprachmodellen |