L'aprenentatge basat en polítiques i l'aprenentatge fora de polítiques són dos enfocaments fonamentals en l'aprenentatge per reforç que difereixen en la manera com els agents recopilen i utilitzen l'experiència. Els mètodes basats en polítiques aprenen de les accions que l'agent realment fa, mentre que els mètodes fora de polítiques poden aprendre de les dades recollides per altres polítiques o comportaments passats.
Un enfocament d'aprenentatge per reforç on l'agent aprèn de les accions que realitza actualment sota la mateixa política que s'està millorant.
Un enfocament d'aprenentatge per reforç on l'agent aprèn de les experiències generades per una política diferent de la que s'està optimitzant.
| Funcionalitat | Aprenentatge sobre polítiques | Aprenentatge fora de polítiques |
|---|---|---|
| Font de dades | Només de la política actual | Qualsevol política o dada històrica |
| Eficiència de la mostra | Més baix, necessita dades noves | Superior, reutilitza l'experiència passada |
| Estabilitat d'entrenament | Generalment més estable | Pot ser menys estable a causa del canvi de distribució |
| Exploració | Vinculat a la política actual | Desvinculat de la política de comportament |
| Exemples d'algoritmes | SARSA, PPO, A2C, REFORÇ | Q-Learning, DQN, DDPG, SAC, TD3 |
| Requisits de memòria | Més baix, no cal memòria intermèdia de reproducció | Més alt, requereix grans buffers de reproducció |
| Casos d'ús comuns | IA de jocs, simulació robòtica, models de llenguatge | Robòtica, sistemes de recomanació, conducció autònoma |
| Compromis entre biaix i variància | Variància més baixa, cert biaix | Menys biaix, més variància |
La distinció fonamental rau en quina política genera les dades d'entrenament. L'aprenentatge sobre polítiques avalua i millora la política exacta que es segueix durant l'exploració, és a dir, que cada actualització reflecteix les accions que l'agent realment duria a terme. L'aprenentatge fora de polítiques separa completament aquestes preocupacions, permetent a l'agent aprendre el comportament òptim a partir de dades que poden haver estat recollides per una versió anterior d'ell mateix, una política aleatòria o fins i tot un demostrador humà.
Els mètodes fora de política destaquen quan les dades són cares o escasses. En emmagatzemar transicions en un buffer de reproducció i mostrejar-ne repetidament, algoritmes com DQN i SAC poden extreure el màxim valor d'aprenentatge de cada interacció amb l'entorn. Els mètodes segons la política solen descartar les dades després d'un sol ús, cosa que funciona bé en entorns de simulació barats però es torna poc pràctica quan cada interacció costa temps o diners reals, com ara en la robòtica física.
Els mètodes basats en polítiques generalment ofereixen una convergència més predictible perquè la política que s'optimitza sempre és la que genera dades, eliminant els desajustos de distribució. Els mètodes fora de polítiques s'enfronten al repte del canvi de distribució, on la distribució de dades es desvia del que produiria la política actual, de vegades causant inestabilitat o divergència. Tècniques com les xarxes objectiu, el mostreig d'importància i les restriccions de polítiques ajuden a mitigar aquests problemes, però afegeixen complexitat.
Amb l'aprenentatge basat en polítiques, l'exploració està inherentment lligada a la política actual, sovint aconseguida mitjançant la selecció d'accions estocàstiques o les bonificacions d'entropia. L'aprenentatge fora de polítiques desacobla l'exploració de l'aprenentatge, permetent polítiques de comportament separades que poden explorar àmpliament mentre la política objectiu aprèn a explotar. Aquesta separació permet estratègies d'exploració sofisticades com ara la cobdícia d'èpsilon amb programacions decaients o polítiques de comportament impulsades per la curiositat.
Els mètodes basats en polítiques dominen en dominis on la simulació és barata i l'estabilitat importa, com ara l'entrenament d'agents de jocs i l'afinament de models de llenguatge grans amb RLHF. Els mètodes fora de polítiques excel·leixen en robòtica, on la recopilació de dades del món real és costosa, i en sistemes de recomanació, on registres massius d'interaccions dels usuaris proporcionen dades d'entrenament riques. L'elecció sovint depèn de si es disposa de simulació abundant o de dades valuoses del món real.
L'aprenentatge fora de polítiques sempre és millor perquè reutilitza les dades.
Tot i que els mètodes fora de política són més eficients en el mostreig, sovint pateixen inestabilitat d'entrenament i requereixen un ajustament acurat de tècniques com les xarxes objectiu i el mostreig d'importància. Els mètodes basats en polítiques poden superar els enfocaments fora de polítiques en entorns on la simulació és barata i l'estabilitat és primordial.
L'aprenentatge sobre polítiques no pot utilitzar cap dada passada.
Els mètodes basats en polítiques poden utilitzar tècnicament dades passades, però fer-ho requereix correccions de mostreig d'importància que introdueixen una alta variància. A la pràctica, funcionen millor amb dades noves de la política actual, motiu pel qual els algoritmes com PPO recopilen desplegaments, s'hi entrenen i els descarten.
L'aprenentatge qualitatiu està fora de política perquè aprèn el valor d'acció òptim.
L'aprenentatge Q es classifica com a fora de política perquè aprèn sobre la política òptima mentre potencialment segueix una política de comportament diferent durant l'exploració. L'objectiu des del qual s'inicia assumeix una selecció d'accions voraces, que pot diferir de les accions realment realitzades per generar dades.
Tots els algoritmes d'aprenentatge per reforç profund no compleixen amb la política.
Molts algoritmes populars d'aprenentatge profund (Deep Learning) estan subjectes a polítiques, com ara PPO, A2C i TRPO. La distinció entre les polítiques subjectes a polítiques i les no subjectes a polítiques existeix independentment de si s'utilitzen xarxes neuronals, i ambdues categories tenen implementacions d'aprenentatge profund reeixides.
L'aprenentatge fora de polítiques sempre convergeix més ràpid que l'aprenentatge sobre polítiques.
La velocitat de convergència depèn de l'entorn i la implementació. Els mètodes fora de política poden necessitar menys interaccions amb l'entorn, però sovint requereixen més actualitzacions de gradient i un ajustament acurat dels hiperparàmetres. En algunes tasques, els mètodes dins de la política aconsegueixen bones polítiques més ràpidament en temps real tot i utilitzar més mostres.
Trieu l'aprenentatge basat en polítiques quan necessiteu estabilitat d'entrenament i tingueu accés a entorns de simulació econòmics, especialment per a tasques com la IA de jocs o els mètodes de gradient de polítiques en models de llenguatge. Opteu per l'aprenentatge fora de polítiques quan l'eficiència de la mostra sigui crítica, la recopilació de dades sigui cara o necessiteu aprendre de conjunts de dades existents com ara demostracions o interaccions registrades.
Aquest desglossament detallat explora les diferències fonamentals entre les actualitzacions de gràfics basades en esdeveniments i el processament de gràfics per lots dins de les arquitectures d'IA. Mentre que les pipelines basades en esdeveniments gestionen la transmissió en temps real i les mutacions irregulars de la topologia de xarxa, el processament per lots consolida els canvis en execucions computacionals pesades i programades per maximitzar el rendiment del sistema i la saturació del maquinari.
Les actualitzacions de models en temps real i el reentrenament de models per lots representen dos enfocaments fonamentalment diferents per mantenir els sistemes d'aprenentatge automàtic actualitzats. Els mètodes en temps real s'adapten instantàniament a les noves dades, mentre que el reentrenament per lots reconstrueix els models a intervals programats utilitzant conjunts de dades acumulats.
Les actualitzacions de la versió LLM se centren en la implementació de models de llenguatge més nous i capaços amb un raonament i unes funcions millorades, mentre que el manteniment de models antics manté els sistemes d'IA més antics funcionant de manera fiable. Les organitzacions han de sospesar la innovació contra l'estabilitat a l'hora de decidir entre actualitzar o mantenir els seus models existents.
Aquesta comparació analitza les opcions estratègiques en l'aprenentatge automàtic entre l'adaptació de domini, que transfereix coneixement d'un entorn d'origen etiquetat a un entorn de destinació diferent, i l'entrenament dins del domini, que crea models completament a partir de dades recollides de la configuració exacta de desplegament de destinació.
L'adaptació lingüística en la IA se centra en l'ensenyament de models per gestionar idiomes específics mitjançant l'afinament i l'aprenentatge per transferència, mentre que els sistemes d'IA agnòstics a l'idioma tenen com a objectiu processar qualsevol idioma sense formació específica per a l'idioma. Ambdós enfocaments aborden els reptes multilingües, però difereixen fonamentalment en l'arquitectura, les dades d'entrenament i el desplegament al món real.
