La compressione dei modelli riduce le dimensioni delle reti neurali per consentirne un'esecuzione più rapida su dispositivi più piccoli, mentre l'espansione le ingrandisce per gestire compiti più complessi e migliorarne la precisione. Entrambi gli approcci perseguono lo stesso obiettivo, ovvero migliorare le prestazioni dell'IA, ma da prospettive opposte in termini di dimensioni ed efficienza.
Un insieme di tecniche che riducono le dimensioni e i requisiti computazionali delle reti neurali, preservandone al contempo la massima precisione possibile.
Una strategia che aumenta le dimensioni, i parametri o la capacità delle reti neurali per potenziarne la capacità di apprendimento e le prestazioni nello svolgimento di un compito.
| Funzionalità | Compressione del modello | Espansione del modello |
|---|---|---|
| Obiettivo primario | Ridurre le dimensioni del modello e velocizzare l'inferenza | Aumentare la capacità e migliorare la precisione |
| Tecniche comuni | Potatura, quantizzazione, distillazione della conoscenza | Parametri di scala, MoE, architetture più profonde |
| Effetto sulla dimensione del modello | Riduce significativamente le dimensioni del modello | Aumenta notevolmente le dimensioni del modello |
| Requisiti hardware | Funziona su hardware modesto, inclusi i dispositivi mobili. | Richiede GPU potenti o cluster distribuiti |
| Caso d'uso tipico | Implementazione edge, app per dispositivi mobili, inferenza in tempo reale | Ricerca, modelli di base, compiti di ragionamento complessi |
| Impatto sulla precisione | Un lieve calo di precisione è comune ma spesso accettabile | In generale migliora la precisione e la capacità |
| Costo del corso | Più basso, poiché i modelli più piccoli si addestrano più velocemente | Valori estremamente elevati, spesso milioni di dollari |
| Velocità di inferenza | Molto più veloce grazie a un minor numero di operazioni | Più lento per richiesta se non ottimizzato |
La compressione e l'espansione dei modelli rappresentano due filosofie opposte nel deep learning. La compressione si interroga su come rendere questo modello più piccolo senza compromettere eccessivamente le prestazioni. L'espansione, invece, si pone la domanda opposta: come rendere questo modello più grande per affrontare problemi più complessi? Entrambi gli approcci hanno prodotto risultati notevoli e i moderni laboratori di intelligenza artificiale spesso li utilizzano congiuntamente, addestrando prima un modello di grandi dimensioni e poi comprimendolo per la distribuzione.
La compressione si basa su metodi come la potatura (rimozione dei pesi non necessari), la quantizzazione (riduzione della precisione numerica) e la distillazione della conoscenza (addestramento di un piccolo modello studente per imitare un modello insegnante più grande). L'espansione, d'altro canto, si concentra sull'aggiunta di più livelli, più parametri o moduli specializzati come Mixture of Experts. Ogni approccio ha il suo set di strumenti e la scelta dipende fortemente dallo scenario di implementazione.
modelli compressi sono progettati per funzionare in modo efficiente su telefoni, browser e dispositivi IoT, dove la memoria e la potenza di calcolo sono limitate. I modelli espansi richiedono data center dotati di GPU di fascia alta e consumano enormi quantità di energia elettrica durante l'addestramento. Una singola sessione di addestramento per un modello di frontiera può costare diversi milioni di dollari solo in termini di potenza di calcolo, mentre un modello compresso può essere addestrato su una singola workstation.
La compressione in genere sacrifica una piccola percentuale di accuratezza in cambio di notevoli vantaggi in termini di velocità e dimensioni. L'espansione tende a migliorare l'accuratezza, ma a costo di un'inferenza più lenta e di maggiori spese operative. È interessante notare che la ricerca dimostra che i modelli molto grandi possono talvolta essere compressi in modo più aggressivo rispetto a quelli più piccoli, perché contengono più informazioni ridondanti che possono essere rimosse in sicurezza.
La compressione è alla base di prodotti come il riconoscimento vocale su dispositivo, le app di traduzione mobile e la classificazione delle immagini in tempo reale. L'espansione, invece, alimenta sistemi all'avanguardia come modelli linguistici di grandi dimensioni, generatori di immagini e strumenti per la ricerca scientifica. Molte aziende ora seguono un approccio "addestra su larga scala, implementa su piccola scala", utilizzando l'espansione durante lo sviluppo e la compressione per il prodotto finale destinato agli utenti.
I modelli più grandi sono sempre migliori di quelli più piccoli.
I modelli più grandi spesso offrono prestazioni migliori nei benchmark, ma per molte attività reali un modello più piccolo e ben compresso può eguagliarli o superarli. La dimensione ideale dipende dal problema, dai dati e dai vincoli di implementazione, piuttosto che dal semplice numero di parametri.
La compressione del modello causa sempre un calo significativo della precisione.
Le moderne tecniche di compressione, come l'addestramento basato sulla quantizzazione e la distillazione della conoscenza, possono preservare dal 95 al 99 percento dell'accuratezza del modello originale. La riduzione effettiva dipende da quanto aggressivamente il modello viene compresso e dal metodo utilizzato.
I modelli compressi sono meno sicuri dei modelli a grandezza naturale.
La compressione non rende intrinsecamente un modello più o meno vulnerabile agli attacchi avversari. La sicurezza dipende dai dati di addestramento, dall'architettura e dalle tecniche di difesa applicate, non dalle dimensioni del modello.
L'espansione del modello consiste semplicemente nell'aggiungere ulteriori parametri.
L'espansione include anche dati migliori, addestramenti più lunghi, architetture migliorate e obiettivi di addestramento più intelligenti. Il semplice aumento dei parametri in un problema senza dati di qualità spesso porta a rendimenti decrescenti.
Bisogna scegliere tra compressione ed espansione.
La maggior parte dei sistemi di intelligenza artificiale in produzione utilizza entrambi i metodi. I team addestrano modelli di grandi dimensioni per spingere al limite la precisione, quindi li comprimono in modo che il prodotto finale sia veloce ed economico da eseguire su larga scala.
Scegli la compressione del modello quando hai bisogno di un'IA veloce ed efficiente che funzioni su hardware limitato o che risponda in tempo reale. Scegli l'espansione del modello quando affronti problemi complessi in cui precisione e capacità contano più del costo, oppure quando crei modelli di base che verranno successivamente compressi per la distribuzione.
L'accuratezza predittiva misura quanto bene le previsioni di un modello corrispondano ai risultati del mondo reale, mentre la resilienza del modello valuta la capacità di un sistema di mantenere le prestazioni di fronte ad attacchi avversari, derive dei dati o cambiamenti ambientali. Entrambe le metriche influenzano il modo in cui valutiamo l'affidabilità dell'IA, ma spesso spingono la progettazione del modello in direzioni diverse.
Questo confronto analizza le scelte strategiche nell'apprendimento automatico tra l'adattamento del dominio, che trasferisce la conoscenza da un ambiente sorgente etichettato a un ambiente di destinazione diverso, e l'addestramento nel dominio, che costruisce modelli interamente su dati raccolti dall'esatto ambiente di implementazione di destinazione.
L'adattamento linguistico nell'IA si concentra sull'insegnamento ai modelli di gestire lingue specifiche attraverso la messa a punto e il trasferimento dell'apprendimento, mentre i sistemi di IA agnostici rispetto alla lingua mirano a elaborare qualsiasi lingua senza un addestramento specifico. Entrambi gli approcci affrontano le sfide del multilinguismo, ma differiscono fondamentalmente in termini di architettura, dati di addestramento e implementazione nel mondo reale.
Questo confronto mette a confronto il modo in cui le reti neurali artificiali vengono addestrate a interpretare i dati visivi con il modo in cui il sistema visivo biologico umano percepisce il mondo naturale. Mentre la visione artificiale si basa su milioni di input statici, annotati a livello di pixel, per estrarre matrici matematiche, la percezione umana naturale sfrutta flussi sensoriali dinamici e continui, contestualizzati dalla biologia evolutiva e da strutture di feedback cognitivo immediato.
L'addestramento degli agenti in ambienti reali prevede l'apprendimento tramite interazione in tempo reale con ambienti simulati o fisici, mentre l'addestramento offline si basa su dati raccolti in precedenza, senza ulteriore accesso all'ambiente. Entrambi gli approcci addestrano modelli di apprendimento automatico, ma differiscono fondamentalmente nel modo in cui gli agenti acquisiscono esperienza e migliorano le proprie prestazioni.
