aprenentatge automàticintel·ligència artificialaprenentatge profundalgoritmesformació en IA
Aprenentatge per reforç vs. aprenentatge supervisat
L'aprenentatge per reforç i l'aprenentatge supervisat representen dos enfocaments fonamentalment diferents per entrenar models d'aprenentatge automàtic. Mentre que l'aprenentatge supervisat es basa en conjunts de dades etiquetats per ensenyar als models les respostes correctes, l'aprenentatge per reforç entrena agents mitjançant interaccions d'assaig i error amb un entorn, guiat per recompenses i penalitzacions.
Destacats
L'aprenentatge per reforç aprèn de la interacció ambiental mentre que l'aprenentatge supervisat aprèn d'exemples etiquetats.
L'aprenentatge supervisat proporciona retroalimentació immediata; l'aprenentatge per reforç sovint funciona amb recompenses escasses i retardades.
L'aprenentatge per reforç destaca en les decisions seqüencials; l'aprenentatge supervisat domina les tasques de classificació i predicció.
Els dos enfocaments es combinen cada cop més en sistemes híbrids per a problemes complexos del món real.
Què és Aprenentatge per reforç?
Un paradigma d'aprenentatge automàtic on un agent aprèn accions òptimes a través d'interaccions ambientals, rebent recompenses o penalitzacions en funció de les seves decisions.
L'aprenentatge per reforç entrena els agents mitjançant interaccions repetides d'assaig i error amb un entorn en lloc de fer-ho a partir de conjunts de dades estàtics.
El mecanisme central es basa en un senyal de recompensa que indica a l'agent si les seves accions van ser bones o dolentes, sense especificar l'acció correcta.
El Q-learning, desenvolupat per Christopher Watkins el 1989, continua sent un dels algoritmes fonamentals en aquest camp.
L'aprenentatge per reforç profund va aconseguir un rendiment sobrehumà en els jocs d'Atari i va derrotar campions del món de Go i escacs.
Entre les aplicacions destacades del món real hi ha el control de la robòtica, els sistemes de conducció autònoma i l'optimització de la refrigeració dels centres de dades de Google.
Què és Aprenentatge supervisat?
Un enfocament d'aprenentatge automàtic on els models aprenen patrons a partir de dades d'entrenament etiquetades, assignant entrades a sortides correctes conegudes.
L'aprenentatge supervisat requereix conjunts de dades etiquetats on cada exemple d'entrada s'aparella amb la resposta o el valor objectiu correctes.
Els algoritmes comuns inclouen la regressió lineal, els arbres de decisió, les màquines de vectors de suport i les xarxes neuronals profundes.
Aquest enfocament domina les aplicacions pràctiques d'IA actuals, i impulsa la majoria de sistemes de reconeixement d'imatges, detecció de correu brossa i diagnòstic mèdic.
La qualitat de les dades d'entrenament determina directament el rendiment del model, cosa que fa que l'etiquetatge de dades sigui un pas crític i sovint costós.
La retropropagació, popularitzada a la dècada del 1980, va permetre la revolució moderna de l'aprenentatge profund basada en gran part en tècniques supervisades.
Taula comparativa
Funcionalitat
Aprenentatge per reforç
Aprenentatge supervisat
Enfocament d'aprenentatge
Assaig i error a través de la interacció ambiental
Conjunt de dades estàtic amb etiquetes predefinides
Exploració
L'agent ha d'explorar per descobrir bones estratègies
No cal explorar; segueix patrons en les dades
Eficiència de la mostra
Sovint requereix milions d'interaccions
Generalment més eficient amb mostres amb etiquetes de qualitat
Interpretabilitat
Les funcions i polítiques de recompensa poden ser complexes
Sovint més interpretable, especialment amb models més senzills
Comparació detallada
Filosofia bàsica de l'aprenentatge
La diferència fonamental rau en com cada enfocament adquireix coneixement. L'aprenentatge supervisat funciona com un estudiant que estudia amb una clau de respostes, aprenent a assignar entrades a sortides correctes conegudes. L'aprenentatge per reforç s'assembla a l'aprenentatge a través de l'experiència, on un agent descobreix quines accions condueixen a resultats favorables realitzant-les realment i observant les conseqüències. Aquesta divisió filosòfica ho dóna forma a tot, des dels requisits de dades fins al disseny d'algoritmes.
Dades i comentaris
L'aprenentatge supervisat exigeix conjunts de dades etiquetats acuradament seleccionats, que poden ser costosos i requereixen molt de temps de produir, però que proporcionen una retroalimentació clara i immediata per a cada exemple d'entrenament. L'aprenentatge per reforç evita completament el problema de l'etiquetatge, però introdueix el seu propi repte: el senyal de recompensa sovint és escàs i retardat, cosa que dificulta l'assignació de crèdits. Un agent pot dur a terme centenars d'accions abans de rebre comentaris significatius sobre si la seva estratègia general ha tingut èxit.
Aplicacions pràctiques
L'aprenentatge supervisat domina les indústries on existeixen dades històriques amb resultats coneguts, i destaca en tasques de classificació, regressió i reconeixement de patrons com ara el diagnòstic de malalties a partir d'imatges mèdiques o la detecció de transaccions fraudulentes. L'aprenentatge per reforç destaca en problemes de presa de decisions seqüencials on l'estratègia òptima s'ha de descobrir mitjançant la interacció, com ara ensenyar a caminar als robots, optimitzar les cadenes de subministrament o dominar jocs complexos com StarCraft II.
Reptes d'entrenament
Ambdós enfocaments s'enfronten a obstacles diferenciats. L'aprenentatge supervisat té dificultats amb el canvi de distribució, on els models tenen un rendiment deficient amb dades diferents dels exemples d'entrenament i poden perpetuar els biaixos presents a les dades etiquetades. L'aprenentatge per reforç s'enfronta al compromís entre exploració i explotació, la ineficiència de la mostra i la dificultat de dissenyar funcions de recompensa que capturin el comportament desitjat sense conseqüències no desitjades. L'estabilitat de l'entrenament continua sent una àrea de recerca activa per a tots dos paradigmes.
Rendiment i escalabilitat
L'aprenentatge supervisat ha madurat fins a convertir-se en una disciplina altament escalable, amb models preentrenats com BERT i GPT que demostren unes capacitats d'aprenentatge per transferència notables. L'aprenentatge per reforç requereix recursos computacionals substancials per a entorns complexos, tot i que avenços com AlphaGo i AlphaZero han demostrat que pot aconseguir un rendiment sobrehumà en dominis específics. Els dos enfocaments es combinen cada cop més en sistemes híbrids que aprofiten els punts forts de cadascun.
Avantatges i Inconvenients
Aprenentatge per reforç
Avantatges
+Aprèn sense dades etiquetades
+Gestiona bé les decisions seqüencials
+Pot descobrir noves estratègies
+S'adapta a entorns dinàmics
Consumit
−Mostra ineficient
−El disseny de recompenses és complicat
−L'entrenament pot ser inestable
−Computacionalment car
Aprenentatge supervisat
Avantatges
+Senyal d'entrenament clar
+Eines i mètodes madurs
+Gran precisió de predicció
+Més fàcil d'avaluar
Consumit
−Requereix dades etiquetades
−Deficient amb tasques seqüencials
−Limitat a patrons coneguts
−Biaix de les dades d'entrenament
Conceptes errònies habituals
Mite
L'aprenentatge per reforç sempre necessita més dades que l'aprenentatge supervisat.
Realitat
Tot i que l'aprenentatge per reforç sovint requereix moltes interaccions, la comparació no és senzilla. Una sola imatge etiquetada pot ensenyar un model supervisat, però els agents d'aprenentatge per reforç de vegades poden aprendre de manera eficient a partir d'uns pocs episodis en entorns ben dissenyats. El veritable problema és que les interaccions d'aprenentatge per reforç són seqüencials i més difícils de paral·lelitzar que processar conjunts de dades estàtics.
Mite
L'aprenentatge supervisat està obsolet a causa dels èxits recents de l'aprenentatge per reforç.
Realitat
L'aprenentatge supervisat continua sent la peça clau del desplegament pràctic de la IA. La majoria dels sistemes de producció, des dels motors de recomanació fins als diagnòstics mèdics, es basen en enfocaments supervisats. Els principals èxits de l'aprenentatge per reforç en els jocs no es tradueixen a la majoria d'aplicacions empresarials on ja existeixen dades etiquetades i no es requereix la presa de decisions seqüencial.
Mite
L'aprenentatge per reforç no necessita cap dada.
Realitat
Tot i que l'aprenentatge per reforç no requereix conjunts de dades etiquetats, encara necessita un entorn amb el qual interactuar, que sovint conté dades implícites o requereix simulació. L'agent genera les seves pròpies dades d'entrenament mitjançant l'exploració, però aquestes dades tenen un cost de temps computacional i possibles conseqüències reals en els sistemes desplegats.
Mite
Els models d'aprenentatge supervisat sempre generalitzen millor que els agents d'aprenentatge per reforç.
Realitat
La generalització depèn del problema i de la implementació. Un agent d'aprenentatge per reforç entrenat en diversos escenaris pot desenvolupar polítiques notablement flexibles, mentre que els models supervisats sovint fallen quan es troben amb distribucions diferents de les seves dades d'entrenament. Ambdós enfocaments tenen dificultats amb exemples fora de distribució de maneres diferents.
Mite
Heu d'escollir entre aprenentatge supervisat o per reforç per a qualsevol problema donat.
Realitat
Els sistemes d'IA moderns sovint combinen ambdós enfocaments. Un robot pot utilitzar l'aprenentatge supervisat per a la percepció (reconèixer objectes) i l'aprenentatge per reforç per al control (decidir moviments). L'aprenentatge per imitació, una forma de clonació del comportament, utilitza l'aprenentatge supervisat per impulsar l'aprenentatge per reforç, millorant dràsticament l'eficiència de la mostra.
Preguntes freqüents
Quina és la principal diferència entre l'aprenentatge per reforç i l'aprenentatge supervisat?
La distinció principal rau en com es produeix l'aprenentatge. L'aprenentatge supervisat aprèn d'un conjunt de dades fix de parells d'entrada-sortida on es proporcionen respostes correctes. L'aprenentatge per reforç aprèn interactuant amb un entorn i rebent recompenses o penalitzacions basades en les accions realitzades, sense que se li digui directament la resposta correcta. Penseu en l'aprenentatge supervisat com a aprenentatge a partir d'exemples i l'aprenentatge per reforç com a aprenentatge a partir de l'experiència.
Quin mètode requereix més dades per entrenar?
Depèn del problema. L'aprenentatge supervisat necessita exemples etiquetats, que poden ser cars de crear però que es processen de manera eficient. L'aprenentatge per reforç no necessita dades preetiquetades, però sovint requereix milions d'interaccions ambientals per aprendre tasques complexes. Per a problemes amb abundants dades etiquetades, l'aprenentatge supervisat sol ser més eficient pel que fa a les mostres. Per a problemes de decisió seqüencial, l'aprenentatge per reforç pot ser l'única opció viable malgrat la seva gran demanda de mostres.
Pot funcionar l'aprenentatge per reforç sense una funció de recompensa?
L'aprenentatge per reforç tradicional requereix fonamentalment un senyal de recompensa per definir què constitueix un bon comportament. Tanmateix, variants com l'aprenentatge per imitació aprenen de demostracions d'experts sense recompenses explícites, i l'aprenentatge per reforç invers infereix funcions de recompensa a partir del comportament observat. L'aprenentatge per reforç pur sense cap senyal de retroalimentació no és realment possible, ja que la funció de recompensa defineix l'objectiu de l'aprenentatge.
L'aprenentatge supervisat és un subconjunt de l'aprenentatge per reforç?
No, són paradigmes diferents dins de l'aprenentatge automàtic, tot i que comparteixen fonaments matemàtics. Alguns investigadors consideren l'aprenentatge supervisat com un cas especial on cada exemple proporciona una recompensa immediata igual a la pèrdua. Tanmateix, aquest plantejament no és universalment acceptat, i els dos camps es van desenvolupar en gran part de manera independent amb algoritmes, aplicacions i marcs teòrics diferents.
Quin és millor per a tasques de reconeixement d'imatges?
L'aprenentatge supervisat és el mètode preferit de manera aclaparadora per al reconeixement d'imatges. Les xarxes neuronals convolucionals i els transformadors de visió entrenats amb conjunts de dades d'imatges etiquetades aconsegueixen un rendiment d'avantguarda en tasques de classificació, detecció i segmentació. L'aprenentatge per reforç s'ha aplicat a tasques relacionades amb imatges com la navegació visual i els subtítols d'imatges, però aquestes són aplicacions de nínxol en comparació amb el domini dels enfocaments supervisats en la visió per computador.
Com es relaciona l'aprenentatge profund amb ambdós enfocaments?
L'aprenentatge profund serveix com a aproximador de funcions dins d'ambdós paradigmes. En l'aprenentatge supervisat, les xarxes neuronals profundes aprenen a assignar entrades a sortides mitjançant la retropropagació. En l'aprenentatge per reforç profund, les xarxes neuronals aproximen funcions o polítiques de valor, permetent als agents gestionar entrades d'alta dimensió com ara imatges en brut. Arquitectures com les CNN i els transformadors apareixen en ambdós contextos, tot i que els procediments d'entrenament difereixen significativament.
Quines són les aplicacions famoses de cadascuna al món real?
L'aprenentatge supervisat impulsa la majoria dels sistemes d'IA implementats: reconeixement facial, diagnòstic mèdic a partir d'imatges, filtres de correu brossa, puntuació de crèdit i assistents de veu. L'aprenentatge per reforç ha aconseguit èxits notables en videojocs (AlphaGo, OpenAI Five), robòtica (locomoció de Boston Dynamics), vehicles autònoms (components de presa de decisions) i optimització industrial (refrigeració de centres de dades de Google, que va aconseguir un estalvi d'energia del 40%).
Es poden combinar aquests dos enfocaments?
Absolutament, i els enfocaments combinats són cada cop més comuns. L'aprenentatge per imitació utilitza l'aprenentatge supervisat en demostracions d'experts per a l'aprenentatge per reforç. Els mètodes actor-crític utilitzen l'aprenentatge supervisat per entrenar la xarxa de crítics mentre que l'aprenentatge per reforç entrena l'actor. Els sistemes híbrids poden utilitzar l'aprenentatge supervisat per als mòduls de percepció i l'aprenentatge per reforç per a la presa de decisions, creant sistemes globals més capaços que qualsevol dels dos enfocaments per separat.
Veredicte
Trieu l'aprenentatge supervisat quan tingueu dades etiquetades amb qualitat i necessiteu fer prediccions o classificacions sobre problemes ben definits com el reconeixement d'imatges o la detecció de fraus. Opteu per l'aprenentatge per reforç quan tracteu la presa de decisions seqüencial en entorns dinàmics on l'estratègia òptima s'ha de descobrir mitjançant la interacció, com ara la robòtica, els jocs o les tasques d'optimització en temps real.
