Beleidsgebaseerde en waardegebaseerde methoden vertegenwoordigen twee fundamentele benaderingen in reinforcement learning. Beleidsgebaseerde methoden leren direct een strategie voor actieselectie, terwijl waardegebaseerde methoden inschatten hoe goed elke actie is en gedrag afleiden uit die inschattingen. Beide methoden hebben specifieke sterke punten die geschikt zijn voor verschillende soorten problemen.
Reinforcement learning-benaderingen die het actieselectiebeleid van de agent direct optimaliseren zonder dat een waardefunctie nodig is.
Reinforcement learning-methoden leren hoe goed toestanden of toestand-actieparen zijn, en leiden vervolgens een beleid af uit die waardeschattingen.
| Functie | Beleidsgebaseerde methoden | Waardegebaseerde methoden |
|---|---|---|
| Kernbenadering | Optimaliseert het beleid direct. | Leert een waardefunctie kennen en handelt er vervolgens naar. |
| Actieruimte | Werkt goed met continue en hoogdimensionale acties. | Het meest geschikt voor discrete, laagdimensionale acties. |
| Efficiëntie van de steekproef | Over het algemeen minder efficiënt qua steekproefgrootte, vereist vaak meer gegevens. | Meestal efficiënter qua bemonstering, vooral met replay-buffers. |
| Stabiliteit | Stabiele updates, maar kunnen convergeren naar lokale optima. | Kan instabiel zijn bij functiebenadering, vereist trucs |
| Verkenning | Stochastische beleidsmaatregelen maken natuurlijke verkenning mogelijk. | Maakt gebruik van heuristieken zoals epsilon-greedy of ruisinjectie. |
| Gradiëntvariantie | Gradiënten met hoge variantie vereisen variantiereductie. | Geen beleidsgradiënt, dus geen variantieprobleem in dezelfde zin. |
| Opmerkelijke algoritmen | VERSTERKEN, PPO, TRPO, A2C | Q-learning, DQN, Double DQN, Dueling DQN |
| Convergentiegarantie | Convergeert naar een lokaal optimum onder standaardomstandigheden. | Convergeert naar het optimale beleid in tabelvorm. |
Beleidsgebaseerde methoden kiezen een directere route: ze parameteriseren het beleid zelf, vaak als een neuraal netwerk dat actiekansen genereert, en passen die parameters aan om acties te bevoordelen die tot hogere beloningen leiden. Waardegebaseerde methoden kiezen een omslachtigere route door eerst te schatten hoe waardevol elke actie in elke situatie is, en vervolgens simpelweg de meest veelbelovende optie te selecteren. Dit fundamentele verschil bepaalt alles wat de twee methoden in de praktijk doen.
Wanneer de actieruimte continu is, zoals bij het besturen van een robotarm of het besturen van een auto, blinken op beleid gebaseerde methoden uit omdat ze een kansverdeling over een continu bereik kunnen produceren. Waardegebaseerde methoden hebben hier moeite mee, omdat het onmogelijk is om elke mogelijke actie op te sommen om het maximum te vinden. Voor problemen met een kleine set discrete acties, zoals het spelen van Atari of het nemen van ja-nee-beslissingen, zijn waardegebaseerde methoden vaak eenvoudiger en effectiever.
Waardegebaseerde methoden zoals DQN zijn doorgaans efficiënter qua dataverbruik omdat ze eerdere ervaringen uit replay-buffers hergebruiken en meerdere keren van elke overgang leren. Ze kunnen echter instabiel zijn in combinatie met diepe neurale netwerken, vandaar dat technieken zoals target networks zijn geïntroduceerd. Beleidsgebaseerde methoden worden soepeler bijgewerkt, maar hebben meestal meer data nodig om te convergeren, en hun gradiëntschattingen kunnen ruis bevatten.
Een prettige eigenschap van op beleid gebaseerde methoden is dat het beleid zelf stochastisch kan zijn, wat betekent dat de agent op natuurlijke wijze verkent door te steekproeven uit zijn actieverdeling. Waardegebaseerde methoden vereisen expliciete verkenningsstrategieën, waarbij epsilon-greedy de klassieke keuze is, hoewel er ook meer geavanceerde benaderingen bestaan, zoals noisy nets of upper confidence bounds. Dit maakt op beleid gebaseerde methoden bijzonder aantrekkelijk in omgevingen waar verkenning lastig is.
De grens tussen deze twee families is niet altijd scherp. Actor-critic-methoden, waaronder PPO en A2C, combineren beide ideeën door een waardefunctie (de criticus) te gebruiken om updates van het beleid (de actor) te sturen. Deze hybride aanpak biedt vaak het beste van twee werelden: een lagere variantie dan pure beleidsgradiënten en een betere afhandeling van continue acties dan puur op waarden gebaseerde methoden. Moderne, geavanceerde algoritmen in veel domeinen zijn actor-critic-varianten.
Beleidsgebaseerde methoden presteren in diepgaand versterkingsleren altijd beter dan waardegebaseerde methoden.
Geen van beide families is universeel superieur. Waardegebaseerde methoden zoals DQN behaalden baanbrekende resultaten op Atari, terwijl beleidsgebaseerde methoden uitblinken in continue controle. De beste keuze hangt af van de actieruimte, de dynamiek van de omgeving en de hoeveelheid beschikbare data.
Waardegebaseerde methoden werken niet in continue actieruimtes.
Hoewel standaard Q-learning moeite heeft met continue acties, breiden varianten zoals Deep Deterministic Policy Gradient (DDPG) en Twin Delayed DDPG (TD3) waardegebaseerde ideeën uit naar continue domeinen door gebruik te maken van actor-critic-architecturen. De strikte scheiding tussen de twee families is meer een vereenvoudiging voor het onderwijs dan een harde regel.
Beleidsgradiënten convergeren altijd naar het optimale beleid.
Beleidsgradiëntmethoden convergeren gegarandeerd naar een lokaal optimale strategie onder standaard gladheidsaannames, niet naar een globaal optimale strategie. Het optimalisatielandschap kan vele pieken hebben, en het algoritme zal zich vestigen op de piek waar het startpunt naartoe leidt.
Waardegebaseerde methoden vereisen geen beleidsrepresentatie.
Zelfs op waarden gebaseerde methoden definiëren impliciet een beleid via hun actieselectieregel, zoals greedy of epsilon-greedy. Het verschil is dat het beleid niet direct geparametriseerd en aangeleerd wordt; het wordt afgeleid uit de waarde-inschattingen.
Meer voorbeelden lossen het instabiliteitsprobleem in diepgaande waardegebaseerde methoden altijd op.
Instabiliteit in deep Q-learning komt voort uit het probleem van de bewegende doelen, waarbij de waardefunctie zijn eigen updates achterna jaagt. Het simpelweg toevoegen van meer data lost dit niet op; technieken zoals target networks, double Q-learning en priorityd replay zijn nodig om de training te stabiliseren.
Kies voor op beleid gebaseerde methoden wanneer uw probleem continue acties omvat, natuurlijke stochastische verkenning vereist, of wanneer u soepele, stabiele beleidsupdates wilt. Ga voor op waarden gebaseerde methoden voor problemen met discrete acties waarbij steekproefefficiëntie belangrijk is en u gebruik kunt maken van experience replay. Voor veel praktijkgerichte taken bieden actor-critic-hybriden een praktische middenweg die de sterke punten van beide combineert.
A/B-testen bij contentreleases houdt in dat varianten worden uitgerold naar verschillende doelgroepen en de prestaties worden gemeten, terwijl bij eenmalige contentreleases één versie in één keer naar iedereen wordt verzonden. Beide benaderingen zijn geschikt voor verschillende doelen: A/B-testen bevorderen datagestuurde optimalisatie, terwijl eenmalige releases prioriteit geven aan snelheid en eenvoud.
A/B-testen bij het serveren van modellen leiden het verkeer tussen concurrerende modelversies om de prestaties in de praktijk te meten, terwijl bij de implementatie van één model één model naar alle gebruikers wordt verzonden. Teams kiezen tussen beide methoden op basis van risicotolerantie, verkeersvolume en de behoefte aan statistische validatie vóór de volledige uitrol.
Aanbevelingssystemen en zoekmachines helpen gebruikers allebei relevante content te vinden, maar ze werken op fundamenteel verschillende manieren. Zoekmachines reageren op expliciete zoekopdrachten, terwijl aanbevelingssystemen anticiperen op behoeften op basis van gedragspatronen. Inzicht in deze verschillen helpt te verduidelijken hoe moderne informatieontdekking daadwerkelijk werkt.
Aanbevelingssystemen suggereren proactief gepersonaliseerde items op basis van gebruikersgedrag en -voorkeuren, terwijl zoekmachines relevante resultaten ophalen als reactie op expliciete gebruikersvragen met behulp van indexerings- en rangschikkingsalgoritmen.
Menselijke aandacht is een flexibel cognitief systeem dat zintuiglijke input filtert op basis van doelen, emoties en overlevingsbehoeften, terwijl AI-aandachtsmechanismen wiskundige raamwerken zijn die input-tokens dynamisch wegen om de voorspellingskracht en het contextbegrip in machine learning-modellen te verbeteren. Beide systemen geven prioriteit aan informatie, maar ze werken volgens fundamenteel verschillende principes en beperkingen.
