Policy-basierte und wertbasierte Methoden stellen zwei grundlegende Ansätze im Reinforcement Learning dar. Policy-basierte Methoden lernen direkt eine Strategie zur Aktionsauswahl, während wertbasierte Methoden die Qualität jeder Aktion einschätzen und daraus das Verhalten ableiten. Jeder Ansatz hat spezifische Stärken, die ihn für unterschiedliche Problemtypen geeignet machen.
Reinforcement-Learning-Ansätze, die die Aktionsauswahlstrategie des Agenten direkt optimieren, ohne eine Wertfunktion zu benötigen.
Reinforcement-Learning-Ansätze lernen, wie gut Zustände oder Zustands-Aktions-Paare sind, und leiten dann aus diesen Wertschätzungen eine Strategie ab.
| Funktion | Richtlinienbasierte Methoden | Wertorientierte Methoden |
|---|---|---|
| Kernansatz | Optimiert die Richtlinie direkt | Lernt eine Wertfunktion und handelt dann entsprechend. |
| Aktionsraum | Funktioniert gut bei kontinuierlichen und hochdimensionalen Aktionen | Am besten geeignet für diskrete, niedrigdimensionale Aktionen |
| Probeneffizienz | Im Allgemeinen weniger probeneffizient, benötigt oft mehr Daten | Üblicherweise sampleeffizienter, insbesondere mit Replay-Puffer. |
| Stabilität | Stabile Aktualisierungen, die jedoch zu lokalen Optima konvergieren können | Kann bei Funktionsapproximation instabil sein, erfordert Tricks. |
| Erforschung | Stochastische Strategien ermöglichen natürliche Exploration | Verwendet Heuristiken wie Epsilon-Greedy oder Rauscheinspeisung. |
| Gradientenvarianz | Hohe Varianzgradienten, Varianzreduktion erforderlich | Kein Policy-Gradient, daher auch kein Varianzproblem im gleichen Sinne. |
| Bemerkenswerte Algorithmen | VERSTÄRKEN, PPO, TRPO, A2C | Q-Learning, DQN, Double DQN, Dueling DQN |
| Konvergenzgarantie | Konvergiert unter Standardbedingungen zu einem lokalen Optimum. | Konvergiert in tabellarischen Darstellungen zu einer optimalen Strategie. |
Policy-basierte Methoden gehen einen direkteren Weg: Sie parametrisieren die Policy selbst, oft als neuronales Netzwerk, das Aktionswahrscheinlichkeiten ausgibt, und passen diese Parameter an, um Aktionen mit höheren Belohnungen zu bevorzugen. Wertbasierte Methoden wählen einen Umweg, indem sie zunächst den Wert jeder Aktion in jedem Zustand schätzen und dann die vermeintlich beste Option auswählen. Dieser grundlegende Unterschied prägt das gesamte praktische Verhalten beider Methodengruppen.
Bei kontinuierlichen Aktionsräumen, wie der Steuerung eines Roboterarms oder dem Lenken eines Autos, spielen richtlinienbasierte Methoden ihre Stärken aus, da sie eine Wahrscheinlichkeitsverteilung über einen kontinuierlichen Bereich ausgeben können. Wertbasierte Methoden stoßen hier an ihre Grenzen, da es unmöglich ist, alle möglichen Aktionen aufzuzählen, um das Maximum zu finden. Bei Problemen mit einer kleinen Menge diskreter Aktionen, wie dem Spielen von Atari oder Ja/Nein-Entscheidungen, sind wertbasierte Methoden oft einfacher und effektiver.
Wertbasierte Methoden wie DQN sind tendenziell dateneffizienter, da sie in Replay-Puffer gespeicherte Erfahrungen wiederverwenden und jeden Übergang mehrfach lernen. In Kombination mit tiefen neuronalen Netzen können sie jedoch instabil sein, weshalb Techniken wie Target Networks eingeführt wurden. Richtlinienbasierte Methoden aktualisieren sich gleichmäßiger, benötigen aber in der Regel mehr Trainingsdaten zur Konvergenz, und ihre Gradientenschätzungen können verrauscht sein.
Eine vorteilhafte Eigenschaft von richtlinienbasierten Methoden ist, dass die Richtlinie selbst stochastisch sein kann. Das bedeutet, dass der Agent auf natürliche Weise durch Stichproben aus seiner Aktionsverteilung exploriert. Wertbasierte Methoden benötigen explizite Explorationsstrategien, wobei Epsilon-Greedy die klassische Wahl darstellt. Es existieren jedoch auch komplexere Ansätze wie verrauschte Netze oder obere Konfidenzgrenzen. Dies macht richtlinienbasierte Methoden besonders attraktiv in Umgebungen, in denen die Exploration schwierig ist.
Die Grenze zwischen diesen beiden Familien ist nicht immer klar. Actor-Critic-Methoden, darunter PPO und A2C, vereinen beide Ansätze, indem sie eine Wertfunktion (den Kritiker) verwenden, um die Richtlinienaktualisierungen (den Akteur) zu steuern. Dieser hybride Ansatz vereint oft die Vorteile beider Methoden: geringere Varianz als reine Policy-Gradienten und eine bessere Handhabung kontinuierlicher Aktionen als rein wertbasierte Verfahren. Moderne, hochmoderne Algorithmen in vielen Bereichen sind Varianten von Actor-Critic-Methoden.
Richtlinienbasierte Methoden sind wertbasierten Methoden beim Deep Reinforcement Learning stets überlegen.
Keine der beiden Methodenfamilien ist generell überlegen. Wertbasierte Methoden wie DQN erzielten auf Atari bahnbrechende Ergebnisse, während richtlinienbasierte Methoden in der kontinuierlichen Steuerung glänzen. Die beste Wahl hängt vom Handlungsspielraum, der Umgebungsdynamik und der verfügbaren Datenmenge ab.
Wertbasierte Methoden sind bei kontinuierlichen Handlungsräumen nicht anwendbar.
Während das Standard-Q-Learning bei kontinuierlichen Aktionen Schwierigkeiten hat, erweitern Varianten wie Deep Deterministic Policy Gradient (DDPG) und Twin Delayed DDPG (TD3) wertbasierte Ansätze mithilfe von Actor-Critic-Architekturen auf kontinuierliche Bereiche. Die strikte Trennung zwischen den beiden Ansätzen ist eher eine didaktische Vereinfachung als eine feste Regel.
Policy-Gradienten konvergieren immer zur optimalen Policy.
Policy-Gradient-Verfahren konvergieren unter den üblichen Glattheitsannahmen garantiert zu einer lokal optimalen, nicht aber zu einer global optimalen Strategie. Die Optimierungslandschaft kann mehrere Maxima aufweisen, und der Algorithmus pendelt sich bei demjenigen ein, zu dem sein Startpunkt führt.
Wertbasierte Methoden benötigen keine politische Repräsentation.
Auch wertbasierte Methoden definieren implizit eine Strategie durch ihre Aktionsauswahlregel, wie beispielsweise Greedy- oder Epsilon-Greedy-Algorithmen. Der Unterschied besteht darin, dass die Strategie nicht direkt parametrisiert und gelernt wird; sie wird aus den Wertschätzungen abgeleitet.
Mehr Stichproben lösen das Stabilitätsproblem bei tiefen wertbasierten Methoden stets.
Die Instabilität beim Deep Q-Learning resultiert aus dem Problem des sich bewegenden Ziels, bei dem die Wertfunktion ihren eigenen Aktualisierungen hinterherjagt. Einfaches Hinzufügen weiterer Daten behebt dieses Problem nicht; Techniken wie Target Networks, Double Q-Learning und Priorized Replay sind erforderlich, um das Training zu stabilisieren.
Wählen Sie richtlinienbasierte Methoden, wenn Ihr Problem kontinuierliche Aktionen beinhaltet, eine natürliche stochastische Exploration erfordert oder wenn Sie stetige, stabile Richtlinienaktualisierungen wünschen. Wertbasierte Methoden eignen sich für Probleme mit diskreten Aktionen, bei denen die Effizienz der Stichprobennutzung wichtig ist und Sie Experience Replay nutzen können. Für viele reale Aufgaben bieten Actor-Critic-Hybride einen praktischen Mittelweg, der die Stärken beider Ansätze vereint.
A/B-Tests bei Content-Releases beinhalten die Ausrollung von Varianten an verschiedene Zielgruppensegmente und die Messung der Performance, während einmalige Content-Releases eine einzige Version gleichzeitig an alle ausliefern. Beide Ansätze eignen sich für unterschiedliche Ziele: A/B-Tests begünstigen datengetriebene Optimierung, während einmalige Releases Geschwindigkeit und Einfachheit priorisieren.
A/B-Tests im Modell-Serving-Verfahren leiten den Datenverkehr zwischen konkurrierenden Modellversionen, um die Leistung im realen Einsatz zu messen. Bei der Bereitstellung eines einzelnen Modells wird hingegen allen Nutzern dasselbe Modell ausgeliefert. Die Teams wählen die Methode basierend auf Risikotoleranz, Datenverkehrsaufkommen und dem Bedarf an statistischer Validierung vor der vollständigen Einführung.
Die Abfrageerweiterung reichert Suchanfragen dynamisch zur Laufzeit mit zusätzlichen Begriffen an, während feste Abfrageeinbettungen auf vorab berechneten, unveränderlichen Vektordarstellungen basieren. Beide Ansätze beheben das Problem der Vokabulardiskrepanz bei der Informationswiedergewinnung, unterscheiden sich jedoch deutlich in Flexibilität, Rechenaufwand und Anpassungsfähigkeit an neue Inhalte.
Latenzoptimiertes Arbeiten und reine Genauigkeitsoptimierung stellen zwei konkurrierende Ansätze im KI-Einsatz dar. Latenzoptimiertes Arbeiten priorisiert Geschwindigkeit und Benutzerfreundlichkeit, während reine Genauigkeitsoptimierung die höchstmögliche Modellleistung unabhängig von der Inferenzzeit anstrebt. Die Wahl zwischen diesen Ansätzen beeinflusst das Verhalten von KI-Systemen im Produktivbetrieb.
Actor-Critic-Methoden kombinieren Policy-Gradienten mit einer gelernten Wertfunktion, um die Varianz zu reduzieren und das Lernen zu beschleunigen, während reine Policy-Gradienten-Methoden ausschließlich auf der Policy und Monte-Carlo-Renditen basieren. Die Wahl zwischen den Methoden hängt davon ab, ob Stabilität und Stichprobeneffizienz oder Einfachheit und unverzerrte Schätzungen erforderlich sind.
