L'ottimizzazione globale nel rilevamento esplora l'intero spazio delle soluzioni per trovare i parametri migliori possibili, mentre l'ottimizzazione locale affina le soluzioni all'interno di un intorno ristretto. Entrambi gli approcci svolgono ruoli distinti nella visione artificiale, nell'elaborazione del segnale e nei processi di apprendimento automatico.
Una strategia di ricerca che esplora l'intero spazio dei parametri per identificare la migliore configurazione o soluzione di rilevamento.
Una strategia di perfezionamento che migliora le soluzioni di rilevamento effettuando la ricerca solo all'interno di un piccolo intorno di un candidato esistente.
| Funzionalità | Ottimizzazione globale nel rilevamento | Ottimizzazione locale nel rilevamento |
|---|---|---|
| Ambito di ricerca | Spazio di soluzioni completo | Quartiere del punto di partenza |
| Costo computazionale | Alto, scala con dimensionalità | Basso, converge rapidamente |
| Rischio di minimi locali | Basso, può sfuggire alle regioni povere | Alto, potrebbe bloccarsi |
| Algoritmi tipici | Algoritmi genetici, ricottura simulata, ottimizzazione bayesiana | Discesa del gradiente, Newton-Raphson, Gauss-Newton |
| Velocità di convergenza | Più lento, richiede molte valutazioni | Veloce, spesso quadratico in prossimità dell'ottimo |
| Qualità della soluzione | Più vicino al vero ottimo globale | Dipende fortemente dall'inizializzazione |
| Utilizzo nel rilevamento tramite apprendimento profondo | Ricerca di iperparametri e architetture | Allenamento ponderato di rete e regressione del riquadro di delimitazione |
| Scalabilità | Limitato in dimensioni molto elevate | Si adatta bene a milioni di parametri |
L'ottimizzazione globale allarga il campo di indagine, campionando i candidati da tutta la regione fattibile per individuare i migliori parametri di rilevamento possibili. L'ottimizzazione locale, al contrario, si concentra su una piccola area attorno a una stima iniziale e considera solo i miglioramenti nelle vicinanze. La differenza fondamentale sta nel fatto che si voglia mappare l'intero territorio o semplicemente scendere dalla collina più vicina.
Poiché i metodi globali valutano molti punti distanti, in genere richiedono molte più valutazioni di funzioni e un tempo di esecuzione maggiore rispetto agli approcci locali. I metodi locali sfruttano le informazioni sul gradiente o sulla curvatura per compiere passi efficienti, il che li rende la scelta predefinita quando la superficie di perdita è liscia e ben definita. In pratica, la ricerca globale è riservata ai problemi in cui il costo di un minimo locale non ottimale supera il costo computazionale aggiuntivo.
L'ottimizzazione globale non dipende molto dal punto di partenza perché campiona ampiamente, quindi l'inizializzazione raramente rappresenta un problema. L'ottimizzazione locale, invece, è molto sensibile al punto di partenza e una cattiva inizializzazione può portare a un modello di rilevamento che non raggiungerà mai un'accuratezza accettabile. Per questo motivo, gli esperti spesso eseguono i metodi locali più volte partendo da diversi valori iniziali o li avviano con una ricerca globale.
Nei moderni sistemi di rilevamento di oggetti, l'ottimizzazione globale viene spesso utilizzata durante la fase di progettazione per la messa a punto degli iperparametri, la selezione delle caratteristiche o la ricerca dell'architettura neurale. L'ottimizzazione locale domina la fase di addestramento, dove la discesa del gradiente stocastico e le sue varianti affinano milioni di pesi della rete. Le due strategie sono complementari piuttosto che in competizione, e molte pipeline di produzione le combinano entrambe.
La scelta tra ottimizzazione globale e locale dipende dalla dimensionalità del problema, dalla regolarità del panorama delle funzioni di perdita e dalle risorse computazionali disponibili. Le reti neurali profonde ad alta dimensionalità si affidano quasi sempre a metodi locali perché la ricerca globale diventa intrattabile. I problemi a dimensionalità inferiore, come la regolazione di alcune soglie di rilevamento o delle dimensioni delle anchor box, si prestano bene ad approcci globali che possono garantire risultati quasi ottimali.
L'ottimizzazione globale individua sempre la soluzione migliore in assoluto.
La maggior parte dei metodi globali sono stocastici e garantiscono la convergenza all'ottimo solo in determinate condizioni o al limite di infinite valutazioni. In pratica, restituiscono soluzioni molto buone, ma raramente una soluzione dimostrabilmente ottimale.
L'ottimizzazione locale è obsoleta nel deep learning.
I metodi locali come SGD e Adam sono i pilastri dell'addestramento moderno dei rilevatori. L'ottimizzazione globale è riservata ai compiti del ciclo esterno, come la ricerca dell'architettura, perché il numero di parametri delle reti neurali rende la ricerca globale impraticabile.
I metodi locali basati sul gradiente convergono sempre al minimo più vicino.
I gradienti stocastici, il rumore dei mini-batch e le pianificazioni del tasso di apprendimento consentono agli ottimizzatori locali di uscire dai minimi poco profondi e di trovare regioni più piatte e generalizzabili del panorama della funzione di perdita.
L'ottimizzazione globale è sempre più lenta dell'ottimizzazione locale.
Nei problemi a bassa dimensionalità con funzioni obiettivo economiche, una ricerca globale può terminare più velocemente di un metodo locale che esplora molte regioni poco efficienti. La velocità dipende dal problema, non solo dalla classe di algoritmi.
È necessario scegliere tra ottimizzazione globale o locale.
Le strategie ibride sono comuni e spesso offrono prestazioni migliori rispetto a ciascun approccio preso singolarmente. Una ricerca globale può individuare regioni promettenti, dopodiché un metodo locale affina la soluzione in modo efficiente.
Scegli l'ottimizzazione globale quando il problema di rilevamento ha pochi parametri, un panorama di perdita complesso o quando non trovare il vero ottimo sarebbe dispendioso. Scegli l'ottimizzazione locale per addestrare modelli di rilevamento profondi o per perfezionare le soluzioni in cui sono disponibili i gradienti e lo spazio di ricerca è troppo ampio per un'esplorazione esaustiva.
L'accuratezza predittiva misura quanto bene le previsioni di un modello corrispondano ai risultati del mondo reale, mentre la resilienza del modello valuta la capacità di un sistema di mantenere le prestazioni di fronte ad attacchi avversari, derive dei dati o cambiamenti ambientali. Entrambe le metriche influenzano il modo in cui valutiamo l'affidabilità dell'IA, ma spesso spingono la progettazione del modello in direzioni diverse.
Questo confronto analizza le scelte strategiche nell'apprendimento automatico tra l'adattamento del dominio, che trasferisce la conoscenza da un ambiente sorgente etichettato a un ambiente di destinazione diverso, e l'addestramento nel dominio, che costruisce modelli interamente su dati raccolti dall'esatto ambiente di implementazione di destinazione.
L'adattamento linguistico nell'IA si concentra sull'insegnamento ai modelli di gestire lingue specifiche attraverso la messa a punto e il trasferimento dell'apprendimento, mentre i sistemi di IA agnostici rispetto alla lingua mirano a elaborare qualsiasi lingua senza un addestramento specifico. Entrambi gli approcci affrontano le sfide del multilinguismo, ma differiscono fondamentalmente in termini di architettura, dati di addestramento e implementazione nel mondo reale.
Questo confronto mette a confronto il modo in cui le reti neurali artificiali vengono addestrate a interpretare i dati visivi con il modo in cui il sistema visivo biologico umano percepisce il mondo naturale. Mentre la visione artificiale si basa su milioni di input statici, annotati a livello di pixel, per estrarre matrici matematiche, la percezione umana naturale sfrutta flussi sensoriali dinamici e continui, contestualizzati dalla biologia evolutiva e da strutture di feedback cognitivo immediato.
L'addestramento degli agenti in ambienti reali prevede l'apprendimento tramite interazione in tempo reale con ambienti simulati o fisici, mentre l'addestramento offline si basa su dati raccolti in precedenza, senza ulteriore accesso all'ambiente. Entrambi gli approcci addestrano modelli di apprendimento automatico, ma differiscono fondamentalmente nel modo in cui gli agenti acquisiscono esperienza e migliorano le proprie prestazioni.
