Exploratie en exploitatie vertegenwoordigen de twee concurrerende strategieën in reinforcement learning die bepalen hoe een agent kennis vergaart versus hoe hij de reeds bestaande kennis gebruikt. Het vinden van een balans tussen deze benaderingen is een van de grootste uitdagingen bij het trainen van intelligente systemen om in de loop van de tijd optimale beslissingen te nemen.
De strategie om nieuwe acties uit te proberen om onbekende beloningen te ontdekken en informatie over de omgeving te verzamelen.
De strategie om op basis van de huidige kennis de meest voor de hand liggende actie te kiezen om de onmiddellijke beloning te maximaliseren.
| Functie | Verkenning | Exploitatie in versterkingsleren |
|---|---|---|
| Hoofddoel | Ontdek nieuwe informatie over het milieu. | Maximaliseer de directe beloning met behulp van bekende informatie. |
| Risiconiveau | Hoger risico op korte termijn, meer leerwinst op lange termijn | Lager risico op korte termijn, potentiële stagnatie op lange termijn. |
| Typische methoden | Epsilon-greedy, UCB, Thompson Sampling, nieuwsgierigheidsgedreven beloningen | Gierig beleid, Boltzmann met lage temperatuur, selectie van de beste actie |
| Kennisvereiste | Werkt het beste wanneer de agent weinig eerdere gegevens heeft. | Werkt het beste wanneer de makelaar betrouwbare waardeschattingen heeft. |
| Beloningsgedrag | Mogelijk wordt huidige beloning opgeofferd voor toekomstige winst. | Streeft consequent naar de hoogst bekende beloning. |
| Storingsmodus | Verspilt tijd aan onproductieve handelingen. | Loopt vast in suboptimale lokale maxima. |
| Sterkte van de toepassing | Schaarse beloningen, grote toestandsruimtes, vroege training | Late training, stabiele omgevingen, fijnafstemming |
| Verkregen informatie | Hoog — onthult nieuwe resultaten van overheidsoptreden | Laag — bevestigt bestaande overtuigingen |
Exploratie en exploitatie dienen fundamenteel verschillende doelen in de reinforcement learning-cyclus. Exploratie wijkt bewust af van de actie die als beste wordt beschouwd, om te onderzoeken of er een betere optie bestaat. Exploitatie daarentegen zet volledig in op de beste inschatting van de agent op dat moment. De spanning tussen beide wordt vaak omschreven als een afweging tussen het vergaren van kennis en het handelen naar die kennis.
Een agent die te veel onderzoekt, zal wellicht nooit tot een sterk beleid komen, terwijl een agent die te vroeg exploiteert, vast kan komen te zitten in een middelmatige strategie. Onderzoek naar multi-armed bandits heeft aangetoond dat de optimale balans in de loop van de tijd verschuift: in het begin loont onderzoek omdat de onzekerheid groot is, maar naarmate het vertrouwen groeit, wordt exploitatie de rationele keuze. Algoritmen zoals UCB1 en decaying epsilon-greedy formaliseren deze verschuiving wiskundig.
Exploratietechnieken introduceren vaak willekeurigheid of bonussignalen in de actieselectie, zoals de willekeurige keuzes van epsilon-greedy of nieuwsgierigheidsmodules die nieuwe toestanden belonen. Exploitatie wordt doorgaans geïmplementeerd door simpelweg de argmax van de waardefunctie te kiezen of de actie met de hoogste waarschijnlijkheid uit een beleidsnetwerk. In deep reinforcement learning vervagen methoden zoals noisy nets en entropiebonussen de grens door exploratie direct in de parameters van het netwerk in te bedden.
Het relatieve belang van elke strategie hangt sterk af van de omgeving. In omgevingen met veel beloningen en frequente feedback kan exploitatie eerder de overhand krijgen omdat de agent snel leert. In omgevingen met weinig beloningen, zoals Montezuma's Revenge of realistische robotica-taken, wordt exploratie het moeilijkere probleem, dat vaak een complexe intrinsieke motivatie vereist om überhaupt vooruitgang te boeken.
Geen van beide strategieën is op zichzelf superieur, en daarom worden ze in het vakgebied beschouwd als een gekoppeld dilemma in plaats van concurrerende opties. Effectieve algoritmen plannen de verkenning dynamisch in, waarbij deze wordt verminderd naarmate de training vordert of naarmate de onzekerheid over specifieke acties afneemt. Het beroemde 'no-free-lunch'-theorema herinnert praktijkgerichte onderzoekers eraan dat er geen enkel verkenningsschema is dat voor elk probleem het beste werkt.
Exploratie en exploitatie zijn twee afzonderlijke algoritmes waaruit je kunt kiezen.
Het zijn complementaire strategieën die vrijwel elk reinforcement learning-algoritme in een bepaalde verhouding combineert. Zelfs een gulzig beleid verkent impliciet tijdens de vroege trainingsfase, wanneer de waarde-inschattingen nog onnauwkeurig en feitelijk willekeurig zijn.
Meer onderzoek leidt altijd tot betere eindresultaten.
Overmatig verkennen kan voorkomen dat een agent ooit een sterk beleid vastlegt, vooral in omgevingen waar goede acties zeldzaam zijn. De kunst is om het verkennen zo te plannen dat het afneemt naarmate de kennis toeneemt.
De afweging tussen exploratie en exploitatie is alleen van belang bij reinforcement learning.
Hetzelfde dilemma doet zich voor bij multi-armed bandits, Bayesiaanse optimalisatie, evolutionair zoeken en zelfs bij menselijke besluitvorming. Reinforcement learning is slechts één van de meest bestudeerde contexten hiervoor.
Zodra een agent voldoende onderzoek heeft gedaan, is exploitatie altijd de juiste keuze.
In niet-stationaire omgevingen waar de beloningsfunctie in de loop van de tijd verandert, blijft voortdurende verkenning altijd waardevol. De agent moet steeds controleren of zijn oude aannames nog steeds kloppen.
Willekeurige acties zijn de enige manier om de omgeving te verkennen.
Moderne onderzoeksstrategieën zijn veel geavanceerder dan puur willekeurigheid. Bovenste betrouwbaarheidsgrenzen, Thompson-sampling en modules die intrinsieke nieuwsgierigheid stimuleren, voeren allemaal gestructureerd en weloverwogen onderzoek uit dat veel efficiënter is qua steekproefgrootte.
Kies voor exploratiegerichte strategieën wanneer de omgeving onbekend is, de beloningen schaars zijn of de toestandsruimte groot genoeg is dat er waarschijnlijk nog onontdekte, waardevolle gebieden bestaan. Schakel over naar exploitatie zodra de agent betrouwbare waardeschattingen heeft opgebouwd en de kosten van het uitproberen van onbekende acties opwegen tegen de potentiële voordelen. De beste systemen voor reinforcement learning beschouwen de twee als partners in plaats van rivalen en plannen ze zorgvuldig in tijdens het trainingsproces.
A/B-testen bij contentreleases houdt in dat varianten worden uitgerold naar verschillende doelgroepen en de prestaties worden gemeten, terwijl bij eenmalige contentreleases één versie in één keer naar iedereen wordt verzonden. Beide benaderingen zijn geschikt voor verschillende doelen: A/B-testen bevorderen datagestuurde optimalisatie, terwijl eenmalige releases prioriteit geven aan snelheid en eenvoud.
A/B-testen bij het serveren van modellen leiden het verkeer tussen concurrerende modelversies om de prestaties in de praktijk te meten, terwijl bij de implementatie van één model één model naar alle gebruikers wordt verzonden. Teams kiezen tussen beide methoden op basis van risicotolerantie, verkeersvolume en de behoefte aan statistische validatie vóór de volledige uitrol.
Aanbevelingssystemen en zoekmachines helpen gebruikers allebei relevante content te vinden, maar ze werken op fundamenteel verschillende manieren. Zoekmachines reageren op expliciete zoekopdrachten, terwijl aanbevelingssystemen anticiperen op behoeften op basis van gedragspatronen. Inzicht in deze verschillen helpt te verduidelijken hoe moderne informatieontdekking daadwerkelijk werkt.
Aanbevelingssystemen suggereren proactief gepersonaliseerde items op basis van gebruikersgedrag en -voorkeuren, terwijl zoekmachines relevante resultaten ophalen als reactie op expliciete gebruikersvragen met behulp van indexerings- en rangschikkingsalgoritmen.
Menselijke aandacht is een flexibel cognitief systeem dat zintuiglijke input filtert op basis van doelen, emoties en overlevingsbehoeften, terwijl AI-aandachtsmechanismen wiskundige raamwerken zijn die input-tokens dynamisch wegen om de voorspellingskracht en het contextbegrip in machine learning-modellen te verbeteren. Beide systemen geven prioriteit aan informatie, maar ze werken volgens fundamenteel verschillende principes en beperkingen.
