Le leggi di scalabilità dei modelli e l'innovazione architetturale rappresentano due filosofie contrapposte per lo sviluppo delle capacità dell'IA. Le leggi di scalabilità suggeriscono che modelli più grandi, addestrati su una maggiore quantità di dati, producono miglioramenti prevedibili, mentre l'innovazione architetturale si concentra su progetti più intelligenti che ottengono di più con meno risorse computazionali.
Principi empirici che dimostrano come le prestazioni dei modelli di intelligenza artificiale migliorino in modo prevedibile con l'aumentare dei parametri, dei dati e della potenza di calcolo.
Nuove architetture di reti neurali che migliorano l'efficienza e le capacità dell'IA al di là di quanto consentito dalla sola scalabilità.
| Funzionalità | Leggi di scalatura dei modelli | Innovazione in architettura |
|---|---|---|
| Filosofia di base | Modelli più grandi + più dati = prestazioni migliori | I progetti più intelligenti ottengono di più con meno potenza di calcolo. |
| Fattore di costo principale | Calcolo ed energia per l'allenamento | Ricerca di talenti e iterazione del design |
| Prevedibilità dei guadagni | Altamente prevedibile tramite leggi di potenza | Imprevedibile; le scoperte sono sporadiche |
| Proponenti chiave | OpenAI, Anthropic, sostenitori dell'ipotesi di scalabilità | DeepMind, ricercatori accademici, laboratori focalizzati sull'efficienza |
| Requisiti di calcolo | Enorme e in crescita esponenziale | Spesso più economico; può funzionare anche su hardware modesto. |
| Limite di prestazione | Limitato dalla potenza di calcolo e dai dati disponibili | Limitato dall'ingegno umano nella progettazione |
| Orizzonte temporale per i risultati | Prevedibile ma lento (mesi di allenamento) | Variabile; può portare rapidamente a scoperte rivoluzionarie. |
| Esempi rappresentativi | GPT-4, Claude 3, Gemini Ultra | Mamba, modelli MoE, Flash Attention, sistemi RAG |
Le leggi di scalabilità dei modelli si basano su un'idea semplice ma potente: l'intelligenza emerge dalla scalabilità. Le prove empiriche fornite dall'articolo di Kaplan del 2020 e dal perfezionamento di Chinchilla del 2022 dimostrano che i miglioramenti delle prestazioni seguono relazioni matematiche prevedibili. L'innovazione architetturale adotta un punto di vista opposto, sostenendo che un'ingegneria intelligente può estrarre maggiori capacità dalla potenza di calcolo esistente. Entrambi gli schieramenti concordano sul fatto che la scalabilità funzioni; dissentono invece sul fatto che sia l'unica strada percorribile.
L'addestramento di modelli di frontiera su larga scala costa attualmente decine di milioni di dollari solo in termini di potenza di calcolo, con i sistemi di classe GPT-4 che, secondo alcune fonti, superano i 100 milioni di dollari. L'innovazione architetturale offre un'economia fondamentalmente diversa: un modello ben progettato può eguagliare o superare concorrenti più grandi a una frazione del costo di addestramento. Questo rende l'innovazione architetturale particolarmente interessante per laboratori accademici, startup e organizzazioni che non dispongono dei budget dei grandi gruppi di calcolo.
Le leggi di scalabilità offrono qualcosa di raro nella ricerca sull'IA: la prevedibilità. Se si esegue un doppio calcolo, si sa approssimativamente quale miglioramento aspettarsi. L'innovazione architetturale è intrinsecamente più rischiosa perché le scoperte dipendono dall'intuizione piuttosto che dall'aritmetica. Tuttavia, quando le scoperte architetturali si concretizzano, possono superare anni di progressi incrementali in termini di scalabilità. Il Transformer stesso è stato un tale salto, rendendo obsoleti anni di lavoro sulla scalabilità delle reti neurali ricorrenti (RNN) da un giorno all'altro.
Il settore riconosce sempre più che la pura scalabilità ha dei limiti. Persino i vertici di OpenAI hanno pubblicamente discusso delle difficoltà incontrate a causa della disponibilità dei dati e dei costi computazionali. Nel frattempo, l'innovazione architetturale sta accelerando: modelli basati su un mix di esperti come Mixtral, varianti efficienti dell'attenzione e modelli a spazio di stato stanno guadagnando terreno. La maggior parte dei laboratori all'avanguardia persegue ora entrambe le strategie simultaneamente, considerandole complementari anziché in competizione.
Guardando al futuro, è improbabile che uno solo di questi approcci porti l'IA a un livello di capacità pari a quello umano. Le leggi di scala suggeriscono che continueremo a spingere le dimensioni dei modelli, ma i rendimenti decrescenti e i vincoli di risorse imporranno una maggiore dipendenza dall'ingegnosità architetturale. La strada più promettente da percorrere combina entrambi gli approcci: utilizzare le leggi di scala per determinare la dimensione ottimale del modello, applicando al contempo innovazioni architetturali per massimizzare le capacità per parametro. Questo approccio ibrido definisce l'attuale frontiera della ricerca sull'IA.
Le leggi di scala affermano che i modelli più grandi sono sempre migliori.
Il caso di Chinchilla ha dimostrato che le dimensioni del modello e i dati di addestramento devono essere proporzionali. Un modello da 70 byte addestrato con dati insufficienti avrà prestazioni inferiori rispetto a un modello più piccolo addestrato con dati adeguati. La relazione si basa sull'equilibrio, non solo sulle dimensioni.
L'innovazione architetturale è solo un modo per evitare di spendere in potenza di calcolo.
Le innovazioni architetturali spesso consentono di raggiungere capacità completamente nuove che la sola scalabilità non può garantire. Il Transformer non si è limitato a rendere i modelli più economici; ha permesso l'elaborazione di contesti più lunghi e l'addestramento parallelo, funzionalità che le reti neurali ricorrenti (RNN) non erano in grado di supportare.
Le leggi di scala continueranno indefinitamente fino al raggiungimento dell'intelligenza artificiale generale (AGI).
I ricercatori hanno documentato rendimenti decrescenti alla frontiera. Ogni raddoppio della potenza di calcolo produce ora miglioramenti prestazionali inferiori rispetto ai raddoppi precedenti. Anche la qualità e la disponibilità dei dati stanno diventando vincoli stringenti che la semplice scalabilità non può superare.
Questi due approcci si escludono a vicenda.
I modelli di frontiera moderni utilizzano entrambi gli approcci. GPT-4 probabilmente incorpora innovazioni architettoniche insieme a una scalabilità massiccia. Il dibattito verte in realtà sull'enfasi e sull'allocazione delle risorse, non su una scelta tra l'uno o l'altro.
L'innovazione in architettura ha sempre la meglio sulla scalabilità.
Un'architettura intelligente, ma con parametri o dati insufficienti, tenderà a stabilizzarsi. L'innovazione architetturale, in genere, funziona meglio quando è combinata con una scalabilità adeguata. I sistemi di maggior successo ottimizzano entrambe le dimensioni simultaneamente.
Scegliete le leggi di scalabilità del modello quando avete a disposizione budget di calcolo ingenti e necessitate di miglioramenti incrementali e prevedibili su architetture consolidate. Optate per l'innovazione architetturale quando le risorse sono limitate, quando avete bisogno di efficienza in fase di inferenza o quando state perseguendo funzionalità che la pura scalabilità fatica a fornire. In pratica, i sistemi di intelligenza artificiale di maggior successo oggi combinano entrambe le filosofie, anziché affidarsi esclusivamente a una delle due.
L'accuratezza predittiva misura quanto bene le previsioni di un modello corrispondano ai risultati del mondo reale, mentre la resilienza del modello valuta la capacità di un sistema di mantenere le prestazioni di fronte ad attacchi avversari, derive dei dati o cambiamenti ambientali. Entrambe le metriche influenzano il modo in cui valutiamo l'affidabilità dell'IA, ma spesso spingono la progettazione del modello in direzioni diverse.
Questo confronto analizza le scelte strategiche nell'apprendimento automatico tra l'adattamento del dominio, che trasferisce la conoscenza da un ambiente sorgente etichettato a un ambiente di destinazione diverso, e l'addestramento nel dominio, che costruisce modelli interamente su dati raccolti dall'esatto ambiente di implementazione di destinazione.
L'adattamento linguistico nell'IA si concentra sull'insegnamento ai modelli di gestire lingue specifiche attraverso la messa a punto e il trasferimento dell'apprendimento, mentre i sistemi di IA agnostici rispetto alla lingua mirano a elaborare qualsiasi lingua senza un addestramento specifico. Entrambi gli approcci affrontano le sfide del multilinguismo, ma differiscono fondamentalmente in termini di architettura, dati di addestramento e implementazione nel mondo reale.
Questo confronto mette a confronto il modo in cui le reti neurali artificiali vengono addestrate a interpretare i dati visivi con il modo in cui il sistema visivo biologico umano percepisce il mondo naturale. Mentre la visione artificiale si basa su milioni di input statici, annotati a livello di pixel, per estrarre matrici matematiche, la percezione umana naturale sfrutta flussi sensoriali dinamici e continui, contestualizzati dalla biologia evolutiva e da strutture di feedback cognitivo immediato.
L'addestramento degli agenti in ambienti reali prevede l'apprendimento tramite interazione in tempo reale con ambienti simulati o fisici, mentre l'addestramento offline si basa su dati raccolti in precedenza, senza ulteriore accesso all'ambiente. Entrambi gli approcci addestrano modelli di apprendimento automatico, ma differiscono fondamentalmente nel modo in cui gli agenti acquisiscono esperienza e migliorano le proprie prestazioni.
