Proximal Policy Optimisation

Proximal Policy Optimization (PPO) ist ein Algorithmus aus dem Bereich des bestärkenden Lernens (englisch Reinforcement Learning, RL), der 2017 von Forschern des US-amerikanischen Unternehmens OpenAI vorgestellt wurde. Das Verfahren gehört zur Familie der Policy-Gradient-Methoden und optimiert die Entscheidungsstrategie (Policy) eines Agenten schrittweise, indem es den Umfang einzelner Aktualisierungsschritte begrenzt.

Durch eine gekappte Surrogat-Zielfunktion (Clipped Surrogate Objective) erreicht PPO eine ähnliche Trainingsstabilität wie Vertrauensbereichs-Verfahren (Trust Region Policy Optimization, TRPO), benötigt jedoch lediglich Optimierungsmethoden erster Ordnung wie den stochastischen Gradientenabstieg (SGD). Aufgrund des geringeren Implementierungsaufwands wird PPO häufig im Deep Reinforcement Learning sowie beim Reinforcement Learning from Human Feedback (RLHF) zur Feinabstimmung großer Sprachmodelle eingesetzt.

Entwicklung

Ausgangslage bei Policy-Gradient-Verfahren

Klassische Policy-Gradient-Algorithmen wie REINFORCE passen die Parameter θ einer stochastischen Policy πθ(a∣s) direkt entlang des geschätzten Gradienten der erwarteten kumulierten Belohnung an:

∇θJ(θ)=𝔼t[∇θlog⁡πθ(at∣st)Ât]

Hierbei gibt der geschätzte Advantage Ât an, um wie viel besser eine gewählte Aktion at im Zustand st im Vergleich zum durchschnittlichen Verhalten der Policy ausgefallen ist. In der praktischen Anwendung treten bei diesem Ansatz jedoch zwei Schwierigkeiten auf: Verrauschte Belohnungssignale führen zu einer hohen Varianz der Gradientenschätzungen, und zu große Aktualisierungsschritte können die Policy so stark verändern, dass die unter der vorherigen Policy gesammelten Trainingsdaten deren aktuelle Verteilung nicht mehr abbilden. Da es sich um ein On-Policy-Verfahren handelt, kann ein solcher Einbruch der Leistungsfähigkeit (Policy Collapse) ohne neue Datenerhebung kaum korrigiert werden.

Übergang von TRPO zu PPO

Um destruktive Parameteränderungen zu verhindern, führte Trust Region Policy Optimization (TRPO, 2015) eine Nebenbedingung ein, welche die Abweichung zwischen alter und neuer Policy anhand der Kullback-Leibler-Divergenz (KL-Divergenz) auf einen festen Vertrauensbereich (Trust Region) beschränkt. Die Einhaltung dieser Nebenbedingung erfordert allerdings Optimierungsverfahren zweiter Ordnung wie konjugierte Gradienten und Fisher-Vektor-Produkte, die aufwendig zu implementieren sind und sich nur schwer mit Techniken wie Dropout oder gemeinsam genutzten Netzwerkparametern verbinden lassen.

PPO ersetzt diese Nebenbedingung durch eine Begrenzung (Clipping) direkt innerhalb der Zielfunktion. Dadurch lässt sich die Schrittweite der Policy-Änderung mit gewöhnlichen Gradientenverfahren erster Ordnung kontrollieren, und ein einmal erhobener Datenstapel kann über mehrere Optimierungsepochen hinweg wiederverwendet werden.

Funktionsweise

Trainingsablauf

Eine Trainingsiteration von PPO gliedert sich in Datenerhebung und mehrstufige Optimierung. Zunächst interagiert die aktuelle Policy πθold über eine festgelegte Anzahl von Zeitschritten, meist verteilt auf mehrere parallele Simulationsinstanzen, mit der Umgebung. Für jeden Schritt werden Zustand, gewählte Aktion, erhaltene Belohnung sowie die logarithmische Aktionswahrscheinlichkeit unter πθold gespeichert.

Anschließend wird mithilfe der Generalized Advantage Estimation (GAE) auf Basis einer Wertfunktion (Critic) V(st) für jeden Zeitschritt der Advantage Ât geschätzt. Der gesammelte Datenstapel wird danach in kleinere Teilmengen (Minibatches) aufgeteilt und über mehrere Epochen (üblicherweise drei bis zehn) mittels stochastischem Gradientenabstieg optimiert. Nach Abschluss dieser Epochen werden die Daten verworfen und neue Trajektorien (Rollouts) mit der aktualisierten Policy erzeugt.

Mathematische Formulierung

Gekappte Surrogat-Zielfunktion

Das Wahrscheinlichkeitsverhältnis rt(θ) beschreibt, wie stark sich die Wahrscheinlichkeit einer Aktion at unter der aktualisierten Policy πθ gegenüber der ursprünglichen Policy πθold verändert hat:

rt(θ)=πθ(at∣st)πθold(at∣st)

Die Zielfunktion der Standardvariante PPO-Clip lautet:

LCLIP(θ)=𝔼t[min⁡(rt(θ)Ât,clip⁡(rt(θ),1−ϵ,1+ϵ)Ât)]

Der Hyperparameter ϵ (im ursprünglichen Entwurf ϵ=0,2) legt fest, wie weit das Verhältnis rt(θ) vom Ausgangswert 1 abweichen darf, bevor der Zugewinn in der Zielfunktion begrenzt wird. Bei einer vorteilhaften Aktion (Ât>0) soll die Aktionswahrscheinlichkeit steigen (rt>1); überschreitet rt(θ) den Schwellenwert 1+ϵ, wird der weitere Anstieg gekappt und der Gradient fällt auf null ab. Umgekehrt soll bei einer nachteiligen Aktion (Ât<0) die Wahrscheinlichkeit sinken (rt<1), wobei Werte unterhalb von 1−ϵ keinen zusätzlichen Anreiz zur weiteren Absenkung liefern. Durch die Minimumbildung zwischen ungekapptem und gekapptem Term entsteht eine pessimistische untere Schranke, die eine übermäßige Policy-Änderung unterbindet, Korrekturgradienten bei Fehlentwicklungen aber weiterhin zulässt.

Gesamtzielfunktion

In Actor-Critic-Architekturen wird die gekappte Policy-Zielfunktion um den quadratischen Vorhersagefehler der Wertfunktion LtVF(θ) sowie einen Entropie-Bonus S[πθ](st) zur Aufrechterhaltung der Exploration ergänzt:

Lt(θ)=𝔼t[LtCLIP(θ)−c1LtVF(θ)+c2S[πθ](st)]

mit

LtVF(θ)=(Vθ(st)−Vttarget)2

Als Gewichtungsfaktoren werden häufig c1≈0,5 für den Wertfunktionsfehler und c2≈0,0 bis 0,01 für den Entropie-Term gewählt.

Generalized Advantage Estimation

Zur Schätzung von Ât fasst PPO üblicherweise Temporal-Difference-Residuen δt=rt+γV(st+1)−V(st) als exponentiell gewichtete Summe zusammen:

ÂtGAE=∑l=0∞(γλ)lδt+l

Der Diskontfaktor γ (häufig γ≈0,99) bestimmt die Gewichtung zukünftiger Belohnungen, während λ (häufig λ≈0,95) zwischen einer geringen Varianz (λ=0) und einer unverzerrten Monte-Carlo-Schätzung (λ=1) abwägt.

Varianten

Neben der verbreiteten Variante PPO-Clip wurde 2017 auch PPO-Penalty beschrieben. Dabei entfällt das Clipping; stattdessen wird ein adaptiv gewichteter KL-Strafterm direkt von der ungekappten Zielfunktion abgezogen:

LKLPEN(θ)=𝔼t[rt(θ)Ât−βKL[πθold‖πθ]]

Der Gewichtungsfaktor β wird nach jedem Aktualisierungsschritt erhöht oder verringert, je nachdem, ob die gemessene KL-Divergenz ober- oder unterhalb eines vorgegebenen Zielwerts liegt. In empirischen Vergleichen schnitt PPO-Clip zumeist besser ab, doch wird ein expliziter KL-Strafterm gegenüber einem Referenzmodell bei der Feinabstimmung von Sprachmodellen weiterhin eingesetzt.

Anwendungsgebiete

Robotik und Simulationen

PPO wird für Bewegungssteuerungen in kontinuierlichen Aktionsräumen, etwa in der Robotik, sowie in Mehragenten- und Echtzeitstrategiesimulationen eingesetzt, da sich die Datenerhebung parallelisieren lässt. Bekannt wurde der Einsatz unter anderem durch das System OpenAI Five für das Computerspiel Dota 2.

Sprachmodelle

Im Rahmen des Reinforcement Learning from Human Feedback (RLHF) wird PPO genutzt, um überwacht feinabgestimmte Sprachmodelle anhand eines Belohnungsmodells an menschliche Präferenzen anzupassen. Um ein starkes Abweichen vom Ausgangsmodell zu vermeiden, werden dabei häufig kleinere Clipping-Werte (ϵ≈0,1 bis 0,2) mit einem zusätzlichen KL-Strafterm gegenüber dem eingefrorenen Referenzmodell kombiniert.

Für das Training von Sprachmodellen auf logische Schlussfolgerungen (Reasoning) wurde mit Group Relative Policy Optimization (GRPO) eine Abwandlung von PPO entwickelt, die ohne separates Wertfunktions-Netzwerk auskommt. Statt den Advantage über einen Critic zu schätzen, erzeugt GRPO zu jeder Eingabe eine Gruppe von G vollständigen Antworten {o1,o2,…,oG} und normiert deren Belohnungswerte ri anhand von Mittelwert und Standardabweichung innerhalb der Gruppe:

Âi,t=ri−mean⁡(r1,…,rG)std⁡(r1,…,rG)

Der so berechnete Advantage wird anschließend in die gekappte PPO-Zielfunktion eingesetzt, was den Speicherbedarf gegenüber dem klassischen RLHF-Aufbau reduziert.

Vergleich verwandter Verfahren

MerkmalTRPO (2015)PPO / PPO-Clip (2017)GRPO (2024)
Optimierungsordnung2. Ordnung (konjugierte Gradienten)1. Ordnung (Minibatch-SGD)1. Ordnung (Minibatch-SGD)
Begrenzung der Policy-ÄnderungHarte KL-Divergenz-NebenbedingungGekapptes Wahrscheinlichkeitsverhältnis (1±ϵ)Gekapptes Verhältnis und KL-Term
Separates Critic-NetzwerkErforderlichErforderlichNicht erforderlich
Advantage-SchätzungGAE über Wertfunktion V(st)GAE über Wertfunktion V(st)Gruppenrelative Normierung über G Antworten
HauptanwendungsbereichKontinuierliche SteuerungDeep RL, Robotik, RLHFTraining von Reasoning-Sprachmodellen