Apprendimento per rinforzo vs. apprendimento supervisionato
L'apprendimento per rinforzo e l'apprendimento supervisionato rappresentano due approcci fondamentalmente diversi all'addestramento dei modelli di apprendimento automatico. Mentre l'apprendimento supervisionato si basa su set di dati etichettati per insegnare ai modelli le risposte corrette, l'apprendimento per rinforzo addestra gli agenti attraverso interazioni per tentativi ed errori con un ambiente, guidati da ricompense e penalità.
In evidenza
L'apprendimento per rinforzo apprende dall'interazione con l'ambiente, mentre l'apprendimento supervisionato apprende da esempi etichettati.
L'apprendimento supervisionato fornisce un feedback immediato; l'apprendimento per rinforzo spesso funziona con ricompense ritardate e sporadiche.
L'apprendimento per rinforzo eccelle nelle decisioni sequenziali; l'apprendimento supervisionato domina i compiti di classificazione e previsione.
I due approcci vengono sempre più spesso combinati in sistemi ibridi per risolvere problemi complessi del mondo reale.
Cos'è Apprendimento per rinforzo?
Un paradigma di apprendimento automatico in cui un agente apprende le azioni ottimali attraverso le interazioni con l'ambiente, ricevendo ricompense o penalità in base alle sue decisioni.
L'apprendimento per rinforzo addestra gli agenti attraverso interazioni ripetute, basate su tentativi ed errori, con un ambiente, anziché tramite set di dati statici.
Il meccanismo centrale si basa su un segnale di ricompensa che indica all'agente se le sue azioni sono state buone o cattive, senza specificare l'azione corretta.
L'algoritmo Q-learning, sviluppato da Christopher Watkins nel 1989, rimane uno degli algoritmi fondamentali del settore.
È noto che l'apprendimento per rinforzo profondo ha raggiunto prestazioni sovrumane nei giochi Atari e ha sconfitto campioni del mondo di Go e scacchi.
Tra le applicazioni concrete più rilevanti si annoverano il controllo della robotica, i sistemi di guida autonoma e l'ottimizzazione del raffreddamento dei data center di Google.
Cos'è Apprendimento supervisionato?
Un approccio di apprendimento automatico in cui i modelli apprendono schemi da dati di addestramento etichettati, mappando gli input agli output corretti noti.
L'apprendimento supervisionato richiede set di dati etichettati in cui ogni esempio di input è associato alla risposta corretta o al valore target.
Tra gli algoritmi più comuni si annoverano la regressione lineare, gli alberi decisionali, le macchine a vettori di supporto e le reti neurali profonde.
Questo approccio domina oggi le applicazioni pratiche dell'intelligenza artificiale, alimentando la maggior parte dei sistemi di riconoscimento delle immagini, rilevamento dello spam e diagnosi medica.
La qualità dei dati di addestramento determina direttamente le prestazioni del modello, rendendo l'etichettatura dei dati una fase critica e spesso costosa.
La retropropagazione, resa popolare negli anni '80, ha reso possibile la moderna rivoluzione del deep learning, basata in gran parte su tecniche di apprendimento supervisionato.
Tabella di confronto
Funzionalità
Apprendimento per rinforzo
Apprendimento supervisionato
Approccio all'apprendimento
Apprendimento per tentativi ed errori attraverso l'interazione con l'ambiente.
Apprendimento da esempi di input-output etichettati
Requisiti dei dati
Non sono necessari dati etichettati; il sistema apprende dalle ricompense.
Richiede grandi quantità di dati di addestramento etichettati
Tipo di feedback
Segnali di ricompensa ritardati (sparsi o continui)
Risposte immediate e corrette per ciascun esempio
Casi d'uso principali
Giochi, robotica, sistemi autonomi, decisioni sequenziali
Classificazione delle immagini, analisi del sentiment, rilevamento delle frodi, previsione
L'agente deve esplorare per scoprire buone strategie
Non è necessaria alcuna esplorazione; segue gli schemi presenti nei dati.
Efficienza del campione
Spesso richiede milioni di interazioni
In genere più efficiente in termini di campionamento con etichette di qualità
Interpretazione
Le funzioni e le politiche di ricompensa possono essere complesse
Spesso più interpretabile, soprattutto con modelli più semplici
Confronto dettagliato
Filosofia di apprendimento fondamentale
La differenza fondamentale risiede nel modo in cui ciascun approccio acquisisce la conoscenza. L'apprendimento supervisionato funziona come uno studente che studia con un foglio di soluzioni, imparando ad associare gli input agli output corretti noti. L'apprendimento per rinforzo assomiglia all'apprendimento attraverso l'esperienza, in cui un agente scopre quali azioni portano a risultati favorevoli eseguendole effettivamente e osservandone le conseguenze. Questa differenza filosofica influenza ogni aspetto, dai requisiti dei dati alla progettazione degli algoritmi.
Dati e feedback
L'apprendimento supervisionato richiede set di dati etichettati e accuratamente selezionati, la cui produzione può essere costosa e richiedere molto tempo, ma fornisce un feedback chiaro e immediato per ogni esempio di addestramento. L'apprendimento per rinforzo aggira completamente il problema dell'etichettatura, ma introduce una propria sfida: il segnale di ricompensa è spesso sparso e ritardato, rendendo difficile l'attribuzione del merito. Un agente potrebbe compiere centinaia di azioni prima di ricevere un feedback significativo sull'efficacia della sua strategia complessiva.
Applicazioni pratiche
L'apprendimento supervisionato domina i settori in cui sono disponibili dati storici con risultati noti, eccellendo in compiti di classificazione, regressione e riconoscimento di modelli, come la diagnosi di malattie da immagini mediche o l'individuazione di transazioni fraudolente. L'apprendimento per rinforzo si rivela invece efficace nei problemi di presa di decisione sequenziale, in cui la strategia ottimale deve essere scoperta attraverso l'interazione, come insegnare ai robot a camminare, ottimizzare le catene di approvvigionamento o padroneggiare giochi complessi come StarCraft II.
Sfide della formazione
Entrambi gli approcci presentano ostacoli distinti. L'apprendimento supervisionato ha difficoltà con il cambiamento di distribuzione, per cui i modelli ottengono risultati scadenti su dati diversi da quelli utilizzati per l'addestramento, e può perpetuare i bias presenti nei dati etichettati. L'apprendimento per rinforzo si confronta con il compromesso tra esplorazione e sfruttamento, l'inefficienza del campione e la difficoltà di progettare funzioni di ricompensa che catturino il comportamento desiderato senza conseguenze indesiderate. La stabilità dell'addestramento rimane un'area di ricerca attiva per entrambi i paradigmi.
Prestazioni e scalabilità
L'apprendimento supervisionato si è evoluto in una disciplina altamente scalabile, con modelli pre-addestrati come BERT e GPT che dimostrano notevoli capacità di apprendimento per trasferimento. L'apprendimento per rinforzo richiede notevoli risorse computazionali per ambienti complessi, sebbene scoperte come AlphaGo e AlphaZero abbiano dimostrato che può raggiungere prestazioni sovrumane in ambiti specifici. I due approcci vengono sempre più spesso combinati in sistemi ibridi che sfruttano i punti di forza di ciascuno.
Pro e Contro
Apprendimento per rinforzo
Vantaggi
+Apprende senza dati etichettati
+Gestisce bene le decisioni sequenziali
+È possibile scoprire nuove strategie
+Si adatta ad ambienti dinamici
Consentiti
−Campione inefficiente
−Progettare i sistemi di ricompensa è complicato.
−L'allenamento può essere instabile
−Computazionalmente oneroso
Apprendimento supervisionato
Vantaggi
+Segnale di addestramento chiaro
+Strumenti e metodi consolidati
+Elevata precisione predittiva
+Più facile da valutare
Consentiti
−Richiede dati etichettati
−Scarsa capacità nell'esecuzione di compiti sequenziali.
−Limitato a modelli noti
−Distorsione derivante dai dati di addestramento
Idee sbagliate comuni
Mito
L'apprendimento per rinforzo richiede sempre più dati rispetto all'apprendimento supervisionato.
Realtà
Sebbene l'apprendimento per rinforzo richieda spesso molte interazioni, il confronto non è così semplice. Una singola immagine etichettata può addestrare un modello supervisionato, ma gli agenti di apprendimento per rinforzo possono talvolta apprendere in modo efficiente da un numero relativamente ridotto di episodi in ambienti ben progettati. Il vero problema è che le interazioni nell'apprendimento per rinforzo sono sequenziali e più difficili da parallelizzare rispetto all'elaborazione di set di dati statici.
Mito
L'apprendimento supervisionato è obsoleto a causa dei recenti successi dell'apprendimento per rinforzo.
Realtà
L'apprendimento supervisionato rimane il pilastro dell'implementazione pratica dell'IA. La maggior parte dei sistemi di produzione, dai motori di raccomandazione alla diagnostica medica, si basa su approcci supervisionati. I risultati più eclatanti dell'apprendimento per rinforzo nei giochi non si traducono nella maggior parte delle applicazioni aziendali, dove i dati etichettati sono già disponibili e non è richiesto un processo decisionale sequenziale.
Mito
L'apprendimento per rinforzo non necessita di alcun dato.
Realtà
Sebbene l'apprendimento per rinforzo non richieda dataset etichettati, necessita comunque di un ambiente con cui interagire, che spesso contiene dati impliciti o richiede simulazioni. L'agente genera i propri dati di addestramento attraverso l'esplorazione, ma questi dati comportano un costo in termini di tempo computazionale e potenziali conseguenze nel mondo reale nei sistemi implementati.
Mito
I modelli di apprendimento supervisionato generalizzano sempre meglio degli agenti di apprendimento per rinforzo.
Realtà
La generalizzazione dipende dal problema e dall'implementazione. Un agente di apprendimento per rinforzo addestrato su diversi scenari può sviluppare politiche notevolmente flessibili, mentre i modelli supervisionati spesso falliscono quando incontrano distribuzioni diverse dai dati di addestramento. Entrambi gli approcci presentano difficoltà con esempi fuori distribuzione in modi diversi.
Mito
Per ogni problema, è necessario scegliere tra apprendimento supervisionato o apprendimento per rinforzo.
Realtà
I moderni sistemi di intelligenza artificiale combinano spesso entrambi gli approcci. Un robot potrebbe utilizzare l'apprendimento supervisionato per la percezione (riconoscimento degli oggetti) e l'apprendimento per rinforzo per il controllo (decisione dei movimenti). L'apprendimento per imitazione, una forma di clonazione del comportamento, utilizza l'apprendimento supervisionato per avviare l'apprendimento per rinforzo, migliorando drasticamente l'efficienza dei campioni.
Domande frequenti
Qual è la principale differenza tra apprendimento per rinforzo e apprendimento supervisionato?
La differenza fondamentale risiede nel modo in cui avviene l'apprendimento. L'apprendimento supervisionato apprende da un insieme fisso di coppie input-output in cui vengono fornite le risposte corrette. L'apprendimento per rinforzo, invece, apprende interagendo con un ambiente e ricevendo ricompense o penalità in base alle azioni compiute, senza che venga fornita direttamente la risposta corretta. Si può pensare all'apprendimento supervisionato come all'apprendimento basato su esempi e all'apprendimento per rinforzo come all'apprendimento basato sull'esperienza.
Quale approccio richiede più dati per l'addestramento?
Dipende dal problema. L'apprendimento supervisionato richiede esempi etichettati, la cui creazione può essere costosa ma che vengono elaborati in modo efficiente. L'apprendimento per rinforzo non necessita di dati pre-etichettati, ma spesso richiede milioni di interazioni con l'ambiente per apprendere compiti complessi. Per problemi con un'abbondanza di dati etichettati, l'apprendimento supervisionato è in genere più efficiente in termini di campioni. Per i problemi di decisione sequenziale, l'apprendimento per rinforzo potrebbe essere l'unica opzione praticabile, nonostante la sua elevata richiesta di campioni.
L'apprendimento per rinforzo può funzionare senza una funzione di ricompensa?
L'apprendimento per rinforzo tradizionale richiede fondamentalmente un segnale di ricompensa per definire cosa costituisce un buon comportamento. Tuttavia, varianti come l'apprendimento per imitazione apprendono dalle dimostrazioni degli esperti senza ricompense esplicite, e l'apprendimento per rinforzo inverso deduce le funzioni di ricompensa dal comportamento osservato. Un apprendimento per rinforzo puro, senza alcun segnale di feedback, non è realmente possibile, poiché la funzione di ricompensa definisce l'obiettivo di apprendimento.
L'apprendimento supervisionato è un sottoinsieme dell'apprendimento per rinforzo?
No, si tratta di paradigmi distinti nell'ambito dell'apprendimento automatico, sebbene condividano fondamenti matematici. Alcuni ricercatori considerano l'apprendimento supervisionato come un caso particolare in cui ogni esempio fornisce una ricompensa immediata pari alla perdita. Tuttavia, questa impostazione non è universalmente accettata e i due campi si sono sviluppati in gran parte in modo indipendente, con algoritmi, applicazioni e quadri teorici differenti.
Quale dei due è migliore per le attività di riconoscimento delle immagini?
L'apprendimento supervisionato è di gran lunga preferito per il riconoscimento delle immagini. Le reti neurali convoluzionali e i trasformatori di visione addestrati con dataset di immagini etichettate raggiungono prestazioni all'avanguardia in compiti di classificazione, rilevamento e segmentazione. L'apprendimento per rinforzo è stato applicato a compiti correlati alle immagini come la navigazione visiva e la generazione di didascalie, ma si tratta di applicazioni di nicchia rispetto al predominio degli approcci supervisionati nella visione artificiale.
In che modo il deep learning si relaziona a entrambi gli approcci?
Il deep learning funge da approssimatore di funzioni in entrambi i paradigmi. Nell'apprendimento supervisionato, le reti neurali profonde imparano a mappare gli input sugli output tramite la retropropagazione. Nel deep reinforcement learning, le reti neurali approssimano funzioni di valore o politiche, consentendo agli agenti di gestire input ad alta dimensionalità come le immagini grezze. Architetture come le CNN e i transformer compaiono in entrambi i contesti, sebbene le procedure di addestramento differiscano in modo significativo.
Quali sono alcune famose applicazioni pratiche di ciascuna di esse?
L'apprendimento supervisionato è alla base della maggior parte dei sistemi di intelligenza artificiale attualmente in uso: riconoscimento facciale, diagnosi medica da immagini, filtri antispam per le email, valutazione del credito e assistenti vocali. L'apprendimento per rinforzo ha ottenuto notevoli successi nei giochi (AlphaGo, OpenAI Five), nella robotica (il sistema di locomozione di Boston Dynamics), nei veicoli autonomi (componenti decisionali) e nell'ottimizzazione industriale (il sistema di raffreddamento del data center di Google, che ha raggiunto un risparmio energetico del 40%).
È possibile combinare questi due approcci?
Assolutamente, e gli approcci combinati sono sempre più comuni. L'apprendimento per imitazione utilizza l'apprendimento supervisionato su dimostrazioni di esperti per avviare l'apprendimento per rinforzo. I metodi attore-critico utilizzano l'apprendimento supervisionato per addestrare la rete del critico, mentre l'apprendimento per rinforzo addestra l'attore. I sistemi ibridi potrebbero utilizzare l'apprendimento supervisionato per i moduli di percezione e l'apprendimento per rinforzo per il processo decisionale, creando sistemi complessivamente più performanti rispetto a ciascun approccio preso singolarmente.
Verdetto
Scegli l'apprendimento supervisionato quando disponi di dati etichettati di qualità e devi effettuare previsioni o classificazioni su problemi ben definiti come il riconoscimento di immagini o il rilevamento di frodi. Opta per l'apprendimento per rinforzo quando hai a che fare con processi decisionali sequenziali in ambienti dinamici in cui la strategia ottimale deve essere scoperta attraverso l'interazione, come nella robotica, nei giochi o nei compiti di ottimizzazione in tempo reale.
