L'exploració i l'explotació representen les dues estratègies contraposades en l'aprenentatge per reforç que determinen com un agent obté coneixement enfront de com utilitza el que ja sap. Equilibrar aquests enfocaments és un dels reptes centrals en l'entrenament de sistemes intel·ligents per prendre decisions òptimes al llarg del temps.
L'estratègia de provar noves accions per descobrir recompenses desconegudes i recopilar informació sobre l'entorn.
L'estratègia d'escollir l'acció més coneguda basant-se en el coneixement actual per maximitzar la recompensa immediata.
| Funcionalitat | Exploració | Explotació en l'aprenentatge per reforç |
|---|---|---|
| Objectiu principal | Descobreix nova informació sobre el medi ambient | Maximitzar la recompensa immediata utilitzant informació coneguda |
| Nivell de risc | Major risc a curt termini, major aprenentatge a llarg termini | Menor risc a curt termini, potencial estancament a llarg termini |
| Mètodes típics | Epsilon-greedy, UCB, Thompson Sampling, recompenses impulsades per la curiositat | Política cobdiciosa, Boltzmann amb baixa temperatura, selecció de la millor acció |
| Requisit de coneixements | Funciona millor quan l'agent té poques dades prèvies | Funciona millor quan l'agent té estimacions de valor fiables |
| Comportament de recompensa | Pot sacrificar la recompensa actual per guanys futurs | Busca constantment la recompensa més alta coneguda |
| Mode de fallada | Perd temps en accions improductives | Es queda encallat en màxims locals subòptims |
| Força del cas d'ús | Recompenses escasses, grans espais d'estat, entrenament primerenc | Formació tardana, entorns estables, ajust fi |
| Informació obtinguda | Alt: revela nous resultats d'acció estatal | Baix: confirma les creences existents |
L'exploració i l'explotació serveixen a finalitats fonamentalment diferents en el bucle d'aprenentatge per reforç. L'exploració s'allunya deliberadament de l'acció que es creu que és la millor per tal d'aprendre si existeix alguna cosa millor. L'explotació, en canvi, es compromet plenament amb la millor estimació actual de l'agent. La tensió entre ambdues sovint s'emmarca com un compromís entre la recopilació de coneixement i l'acció en conseqüència.
Un agent que explora massa potser no s'establirà mai en una política sòlida, mentre que un que explota massa aviat pot quedar-se atrapat en una estratègia mediocre. La recerca sobre bandits multiarmats ha demostrat que l'equilibri òptim canvia amb el temps: al principi, l'exploració val la pena perquè la incertesa és alta, però a mesura que la confiança creix, l'explotació esdevé l'opció racional. Algoritmes com UCB1 i decaying epsilon-greedy formalitzen aquest canvi matemàticament.
Les tècniques d'exploració tendeixen a introduir l'aleatorietat o senyals de bonificació en la selecció d'accions, com ara les seleccions aleatòries d'Epsilon-Greedy o els mòduls de curiositat que recompensen estats nous. L'explotació s'implementa normalment simplement triant l'argmax de la funció de valor o l'acció de més alta probabilitat d'una xarxa de polítiques. En l'aprenentatge per reforç profund, mètodes com les xarxes sorolloses i les bonificacions d'entropia desdibuixen la línia integrant l'exploració directament als paràmetres de la xarxa.
La importància relativa de cada estratègia depèn en gran mesura de l'entorn. En entorns amb una forta recompensa on la retroalimentació és freqüent, l'explotació pot dominar abans perquè l'agent aprèn ràpidament. En entorns amb poca recompensa com ara la Venjança de Montezuma o tasques de robòtica del món real, l'exploració esdevé el problema més difícil, i sovint requereix una motivació intrínseca sofisticada per progressar.
Cap de les dues estratègies és superior de manera aïllada, motiu pel qual el camp les tracta com un dilema acoblat en lloc d'opcions en competència. Els algoritmes eficaços programen l'exploració dinàmicament, reduint-la a mesura que avança l'entrenament o a mesura que disminueix la incertesa sobre accions específiques. El famós teorema de no tenir dinar gratuït recorda als professionals que cap programa d'exploració únic funciona millor per a tots els problemes.
L'exploració i l'explotació són dos algoritmes separats entre els quals podeu triar.
Són estratègies complementàries que gairebé tots els algoritmes d'aprenentatge per reforç combinen en alguna proporció. Fins i tot una política voraç explora implícitament durant l'entrenament inicial quan les seves estimacions de valor encara són inexactes i efectivament aleatòries.
Més exploració sempre porta a un millor rendiment final.
Una exploració excessiva pot impedir que l'agent es comprometi mai amb una política sòlida, especialment en entorns on les bones accions són rares. L'art rau en programar l'exploració de manera que s'esvaeixi a mesura que el coneixement millora.
El compromís entre exploració i explotació només importa en l'aprenentatge per reforç.
El mateix dilema apareix en els bandits multi-armats, l'optimització bayesiana, la cerca evolutiva i fins i tot la presa de decisions humana. L'aprenentatge per reforç és només un dels entorns més estudiats.
Un cop un agent ha explorat prou, l'explotació sempre és l'opció correcta.
En entorns no estacionaris on la funció de recompensa canvia amb el temps, l'exploració continuada continua sent valuosa per sempre. L'agent ha de comprovar constantment si les seves antigues suposicions encara es mantenen.
Les accions aleatòries són l'única manera d'explorar.
Les estratègies d'exploració modernes són molt més sofisticades que l'aleatorietat pura. Els límits de confiança superiors, el mostreig de Thompson i els mòduls de curiositat intrínseca exploren de maneres estructurades i informades que són molt més eficients pel que fa a la mostra.
Trieu estratègies basades en l'exploració quan l'entorn no us sigui familiar, les recompenses siguin escasses o l'espai d'estats sigui prou gran com per a què sigui probable que existeixin regions d'alt valor no descobertes. Canvieu cap a l'explotació un cop l'agent hagi construït estimacions de valor fiables i el cost d'intentar accions desconegudes superi el potencial avantatge. Els millors sistemes d'aprenentatge per reforç tracten els dos com a socis en lloc de rivals, programant-los acuradament al llarg del procés d'entrenament.
Aquest desglossament detallat explora les diferències fonamentals entre les actualitzacions de gràfics basades en esdeveniments i el processament de gràfics per lots dins de les arquitectures d'IA. Mentre que les pipelines basades en esdeveniments gestionen la transmissió en temps real i les mutacions irregulars de la topologia de xarxa, el processament per lots consolida els canvis en execucions computacionals pesades i programades per maximitzar el rendiment del sistema i la saturació del maquinari.
Les actualitzacions de models en temps real i el reentrenament de models per lots representen dos enfocaments fonamentalment diferents per mantenir els sistemes d'aprenentatge automàtic actualitzats. Els mètodes en temps real s'adapten instantàniament a les noves dades, mentre que el reentrenament per lots reconstrueix els models a intervals programats utilitzant conjunts de dades acumulats.
Les actualitzacions de la versió LLM se centren en la implementació de models de llenguatge més nous i capaços amb un raonament i unes funcions millorades, mentre que el manteniment de models antics manté els sistemes d'IA més antics funcionant de manera fiable. Les organitzacions han de sospesar la innovació contra l'estabilitat a l'hora de decidir entre actualitzar o mantenir els seus models existents.
Aquesta comparació analitza les opcions estratègiques en l'aprenentatge automàtic entre l'adaptació de domini, que transfereix coneixement d'un entorn d'origen etiquetat a un entorn de destinació diferent, i l'entrenament dins del domini, que crea models completament a partir de dades recollides de la configuració exacta de desplegament de destinació.
L'adaptació lingüística en la IA se centra en l'ensenyament de models per gestionar idiomes específics mitjançant l'afinament i l'aprenentatge per transferència, mentre que els sistemes d'IA agnòstics a l'idioma tenen com a objectiu processar qualsevol idioma sense formació específica per a l'idioma. Ambdós enfocaments aborden els reptes multilingües, però difereixen fonamentalment en l'arquitectura, les dades d'entrenament i el desplegament al món real.
