On-Policy- und Off-Policy-Lernen sind zwei grundlegende Ansätze im Reinforcement Learning, die sich darin unterscheiden, wie Agenten Erfahrungen sammeln und nutzen. On-Policy-Methoden lernen aus den tatsächlich vom Agenten ausgeführten Aktionen, während Off-Policy-Methoden aus Daten lernen können, die durch andere Strategien oder vergangenes Verhalten gesammelt wurden.
Ein Ansatz des bestärkenden Lernens, bei dem der Agent aus Aktionen lernt, die er aktuell unter der gleichen, zu verbessernden Richtlinie ausführt.
Ein Ansatz des bestärkenden Lernens, bei dem der Agent aus Erfahrungen lernt, die durch eine andere Strategie als die zu optimierende generiert wurden.
| Funktion | Politikorientiertes Lernen | Off-Policy Learning |
|---|---|---|
| Datenquelle | Nur aus der aktuellen Politik | Jegliche Richtlinien oder historische Daten |
| Probeneffizienz | Niedriger, benötigt neue Daten | Höher, nutzt vergangene Erfahrungen wieder |
| Trainingsstabilität | Im Allgemeinen stabiler | Kann aufgrund von Verteilungsverschiebungen weniger stabil sein. |
| Erforschung | An die aktuelle Politik gebunden | Entkoppelt von der Verhaltensrichtlinie |
| Beispielalgorithmen | SARSA, PPO, A2C, VERSTÄRKEN | Q-Learning, DQN, DDPG, SAC, TD3 |
| Speicherbedarf | Niedrigere Stufe, kein Wiedergabepuffer erforderlich | Höher, erfordert große Wiedergabepuffer |
| Häufige Anwendungsfälle | Spiel-KI, Robotersimulation, Sprachmodelle | Robotik, Empfehlungssysteme, autonomes Fahren |
| Bias-Varianz-Kompromisse | Geringere Varianz, gewisse Verzerrung | Geringere Verzerrung, höhere Varianz |
Der grundlegende Unterschied liegt darin, welche Strategie die Trainingsdaten generiert. Beim On-Policy-Learning wird die exakte Strategie, die während der Exploration verfolgt wird, evaluiert und verbessert. Das bedeutet, dass jede Aktualisierung die Aktionen widerspiegelt, die der Agent tatsächlich ausführen würde. Beim Off-Policy-Learning werden diese Aspekte vollständig getrennt. Dadurch kann der Agent optimales Verhalten aus Daten lernen, die möglicherweise von einer älteren Version des Agenten, einer zufälligen Strategie oder sogar einem menschlichen Demonstrator gesammelt wurden.
Off-Policy-Methoden sind besonders effektiv, wenn Daten teuer oder knapp sind. Indem sie Übergänge in einem Replay-Puffer speichern und wiederholt daraus Daten abgreifen, können Algorithmen wie DQN und SAC den maximalen Lerneffekt aus jeder Interaktion mit der Umgebung erzielen. On-Policy-Methoden verwerfen Daten typischerweise nach einmaliger Verwendung. Dies funktioniert zwar gut in kostengünstigen Simulationsumgebungen, ist aber unpraktisch, wenn jede Interaktion Zeit oder Geld kostet, wie beispielsweise in der physikalischen Robotik.
On-Policy-Ansätze bieten im Allgemeinen eine besser vorhersagbare Konvergenz, da die optimierte Policy stets diejenige ist, die Daten generiert, wodurch Verteilungsabweichungen vermieden werden. Off-Policy-Methoden stehen vor der Herausforderung der Verteilungsverschiebung, bei der die Datenverteilung von derjenigen abweicht, die die aktuelle Policy erzeugen würde, was mitunter zu Instabilität oder Divergenz führt. Techniken wie Zielnetzwerke, Importance Sampling und Policy-Constraints tragen zwar zur Minderung dieser Probleme bei, erhöhen aber die Komplexität.
Beim On-Policy-Learning ist die Exploration eng mit der aktuellen Strategie verknüpft, was häufig durch stochastische Aktionsauswahl oder Entropieboni erreicht wird. Off-Policy-Learning entkoppelt Exploration und Lernen und ermöglicht so separate Verhaltensstrategien. Diese können breit explorieren, während die Zielstrategie lernt, bestehende Ressourcen auszunutzen. Diese Trennung ermöglicht ausgefeilte Explorationsstrategien wie Epsilon-Greedy mit abklingenden Belohnungsplänen oder neugiergetriebene Verhaltensstrategien.
On-Policy-Methoden dominieren in Bereichen, in denen Simulationen kostengünstig sind und Stabilität wichtig ist, wie beispielsweise beim Training von Spielagenten und beim Feinabstimmen großer Sprachmodelle mit RLHF. Off-Policy-Methoden zeichnen sich in der Robotik aus, wo die Erfassung realer Daten kostspielig ist, sowie in Empfehlungssystemen, wo umfangreiche Protokolle von Nutzerinteraktionen reichhaltige Trainingsdaten liefern. Die Wahl hängt oft davon ab, ob umfangreiche Simulationen oder wertvolle reale Daten zur Verfügung stehen.
Off-Policy-Learning ist immer besser, weil es Daten wiederverwendet.
Off-Policy-Methoden sind zwar stichprobeneffizienter, leiden aber häufig unter Trainingsinstabilität und erfordern eine sorgfältige Anpassung von Techniken wie Zielnetzwerken und Importance Sampling. On-Policy-Methoden können Off-Policy-Ansätze in Umgebungen übertreffen, in denen Simulation kostengünstig und Stabilität von höchster Bedeutung ist.
Für das Lernen im Rahmen der Politik können keine Daten aus der Vergangenheit verwendet werden.
On-Policy-Methoden können zwar technisch gesehen auf historische Daten zurückgreifen, dies erfordert jedoch Importance-Sampling-Korrekturen, die zu einer hohen Varianz führen. In der Praxis funktionieren sie am besten mit aktuellen Daten der geltenden Richtlinie. Aus diesem Grund erfassen Algorithmen wie PPO Rollouts, trainieren damit und verwerfen sie anschließend.
Q-Learning ist eine Off-Policy-Methode, da es den optimalen Aktionswert lernt.
Q-Learning wird als Off-Policy-Learning klassifiziert, da es zwar die optimale Strategie lernt, während es während der Exploration möglicherweise eine andere Verhaltensstrategie verfolgt. Das Ziel, von dem es ausgeht, basiert auf der Annahme einer gierigen Aktionsauswahl, die von den tatsächlich zur Datengenerierung durchgeführten Aktionen abweichen kann.
Alle Deep-Reinforcement-Learning-Algorithmen sind Off-Policy-Algorithmen.
Viele gängige Deep-RL-Algorithmen arbeiten nach dem On-Policy-Prinzip, darunter PPO, A2C und TRPO. Die Unterscheidung zwischen On-Policy- und Off-Policy-Verfahren besteht unabhängig davon, ob neuronale Netze verwendet werden, und für beide Kategorien existieren erfolgreiche Deep-Learning-Implementierungen.
Off-Policy-Lernen konvergiert stets schneller als On-Policy-Lernen.
Die Konvergenzgeschwindigkeit hängt von der Umgebung und der Implementierung ab. Off-Policy-Methoden benötigen möglicherweise weniger Interaktionen mit der Umgebung, erfordern aber häufig mehr Gradientenaktualisierungen und eine sorgfältige Hyperparameteroptimierung. Bei manchen Aufgaben erreichen On-Policy-Methoden trotz des höheren Stichprobenverbrauchs in der vorgegebenen Laufzeit schneller gute Strategien.
Wählen Sie On-Policy-Learning, wenn Sie Trainingsstabilität benötigen und Zugang zu kostengünstigen Simulationsumgebungen haben, insbesondere für Aufgaben wie Spiel-KI oder Policy-Gradient-Verfahren in Sprachmodellen. Entscheiden Sie sich für Off-Policy-Learning, wenn die Effizienz der Stichprobenentnahme entscheidend ist, die Datenerfassung teuer ist oder Sie aus vorhandenen Datensätzen wie Demonstrationen oder protokollierten Interaktionen lernen müssen.
A/B-Tests bei Content-Releases beinhalten die Ausrollung von Varianten an verschiedene Zielgruppensegmente und die Messung der Performance, während einmalige Content-Releases eine einzige Version gleichzeitig an alle ausliefern. Beide Ansätze eignen sich für unterschiedliche Ziele: A/B-Tests begünstigen datengetriebene Optimierung, während einmalige Releases Geschwindigkeit und Einfachheit priorisieren.
A/B-Tests im Modell-Serving-Verfahren leiten den Datenverkehr zwischen konkurrierenden Modellversionen, um die Leistung im realen Einsatz zu messen. Bei der Bereitstellung eines einzelnen Modells wird hingegen allen Nutzern dasselbe Modell ausgeliefert. Die Teams wählen die Methode basierend auf Risikotoleranz, Datenverkehrsaufkommen und dem Bedarf an statistischer Validierung vor der vollständigen Einführung.
Die Abfrageerweiterung reichert Suchanfragen dynamisch zur Laufzeit mit zusätzlichen Begriffen an, während feste Abfrageeinbettungen auf vorab berechneten, unveränderlichen Vektordarstellungen basieren. Beide Ansätze beheben das Problem der Vokabulardiskrepanz bei der Informationswiedergewinnung, unterscheiden sich jedoch deutlich in Flexibilität, Rechenaufwand und Anpassungsfähigkeit an neue Inhalte.
Latenzoptimiertes Arbeiten und reine Genauigkeitsoptimierung stellen zwei konkurrierende Ansätze im KI-Einsatz dar. Latenzoptimiertes Arbeiten priorisiert Geschwindigkeit und Benutzerfreundlichkeit, während reine Genauigkeitsoptimierung die höchstmögliche Modellleistung unabhängig von der Inferenzzeit anstrebt. Die Wahl zwischen diesen Ansätzen beeinflusst das Verhalten von KI-Systemen im Produktivbetrieb.
Actor-Critic-Methoden kombinieren Policy-Gradienten mit einer gelernten Wertfunktion, um die Varianz zu reduzieren und das Lernen zu beschleunigen, während reine Policy-Gradienten-Methoden ausschließlich auf der Policy und Monte-Carlo-Renditen basieren. Die Wahl zwischen den Methoden hängt davon ab, ob Stabilität und Stichprobeneffizienz oder Einfachheit und unverzerrte Schätzungen erforderlich sind.
