I modelli di linguaggio visivo elaborano contemporaneamente immagini e testo, consentendo attività come rispondere a domande visive e aggiungere didascalie alle immagini. I modelli di linguaggio puro si concentrano esclusivamente sul testo, eccellendo nella scrittura, nel ragionamento e nelle attività conversazionali senza capacità di input visivo.
Sistemi di intelligenza artificiale che comprendono e generano contenuti congiuntamente a partire da input visivi e testuali, integrando la visione artificiale con l'elaborazione del linguaggio naturale.
Sistemi di intelligenza artificiale progettati esclusivamente per attività basate sul testo, addestrati su grandi corpus di contenuti scritti per comprendere e generare il linguaggio umano.
| Funzionalità | Modelli Visione-Linguaggio | Modelli linguistici puri |
|---|---|---|
| Modalità di input | Immagini e testo (mmodali) | Solo testo (unimodale) |
| Architettura di base | Codificatore visivo + modello linguistico con fusione intermodale | solo modello linguistico basato su Transformer |
| Dati di formazione | Coppie immagine-testo, didascalie, set di dati di controllo qualità visivo, oltre a corpus di testo | Grandi corpus di testo provenienti dal web, dai libri e dal codice |
| Funzionalità chiave | Generazione di didascalie per immagini, ragionamento visivo, analisi di documenti, chat multimodale | Generazione di testo, ragionamento, traduzione, codice, conversazione |
| Esempi di modelli | GPT-4V, Gemini 1.5, LLaVA, Qwen-VL, Claude 3.5 Sonetto | GPT-4, Llama 3, Mistral, Claude 3.5, Phi-3 |
| Costo computazionale | Più elevato a causa del sovraccarico di elaborazione delle immagini. | Inferiore, ottimizzato per l'inferenza basata esclusivamente sul testo. |
| Parametri di riferimento comuni | MMMU, VQA, MMStar, MathVista, DocVQA | MMLU, HumanEval, GSM8K, HellaSwag, BIG-Bench |
| Casi d'uso ottimali | Analisi visiva, accessibilità, intelligenza artificiale applicata ai documenti, assistenti basati sulle immagini | Scrittura, programmazione, analisi, chatbot, recupero della conoscenza |
I modelli visione-linguaggio combinano un componente di elaborazione visiva, solitamente un Vision Transformer o un codificatore in stile CLIP, con un modello linguistico. Queste due parti sono connesse tramite livelli di proiezione o meccanismi di attenzione incrociata che consentono al modello di allineare le caratteristiche visive con le rappresentazioni testuali. I modelli linguistici puri omettono completamente il componente visivo, affidandosi esclusivamente a livelli di trasformazione che elaborano il testo tokenizzato. Questo li rende più semplici nella progettazione ma altamente ottimizzati per i modelli linguistici.
L'addestramento di un modello di visione-linguaggio richiede dati accoppiati immagine-testo, come foto con didascalie, set di dati visivi didattici e immagini di documenti con annotazioni. Il modello impara ad associare i pixel a parole e concetti. I modelli linguistici puri si addestrano su enormi corpus di testo, apprendendo grammatica, fatti e schemi di ragionamento attraverso la previsione del token successivo. Entrambi gli approcci utilizzano l'apprendimento auto-supervisionato su larga scala, ma i modelli di visione-linguaggio necessitano di un ulteriore addestramento di allineamento per collegare le due modalità.
I modelli visivo-linguistici eccellono quando il contesto visivo è importante, come descrivere un grafico, leggere il testo da un'immagine o rispondere a domande su una fotografia. I modelli puramente linguistici dominano le attività che prevedono un ampio utilizzo del testo, come la scrittura di saggi, la generazione di codice e il ragionamento logico senza input visivo. È interessante notare che molti sistemi moderni sono multimodali per impostazione predefinita, il che significa che la distinzione si sta attenuando man mano che i laboratori più importanti integrano la visione nei loro modelli di punta.
Le aziende utilizzano modelli di linguaggio visivo per l'automazione dei documenti, la ricerca visiva, gli strumenti di accessibilità e l'assistenza clienti che coinvolgono screenshot o immagini di prodotti. I modelli linguistici puri alimentano chatbot, strumenti di creazione di contenuti, assistenti di programmazione e sistemi di ricerca aziendali. La scelta tra i due dipende dal fatto che il flusso di lavoro includa o meno contenuti visivi. Per i flussi di lavoro puramente testuali, i modelli linguistici rimangono più veloci ed economici da eseguire.
I modelli di linguaggio visivo richiedono più memoria e potenza di calcolo perché elaborano dati di immagine ad alta dimensionalità insieme al testo. Ciò si traduce in costi di inferenza più elevati e tempi di risposta leggermente più lenti. I modelli di linguaggio puro sono più efficienti, soprattutto quando vengono eseguiti su modelli open-weight più piccoli come Llama 3 8B o Mistral 7B. Per applicazioni con grandi volumi di testo, la differenza di costo può essere significativa su larga scala.
modelli di linguaggio visivo a volte hanno allucinazioni riguardo ai dettagli delle immagini o faticano con il ragionamento visivo fine, come contare piccoli oggetti. I modelli di linguaggio puro non sono in grado di vedere immagini, il che limita la loro utilità per qualsiasi compito che richieda input visivo. Nessuno dei due tipi comprende veramente il mondo come lo comprendono gli esseri umani, ma i modelli di linguaggio visivo si avvicinano a tale comprensione ancorando il linguaggio alla realtà visiva.
I modelli di linguaggio visivo sono in grado di vedere e comprendere le immagini esattamente come fanno gli esseri umani.
Elaborano le immagini come schemi di pixel e apprendono associazioni statistiche con il testo durante l'addestramento. Mancano di una vera comprensione visiva e possono essere ingannati da immagini ingannevoli o non cogliere dettagli che un essere umano noterebbe facilmente.
I modelli linguistici puri stanno diventando obsoleti a causa dell'intelligenza artificiale multimodale.
I modelli linguistici puri rimangono la spina dorsale della maggior parte delle applicazioni di intelligenza artificiale e sono spesso più efficienti per le attività che elaborano solo testo. Molti sistemi utilizzano modelli linguistici insieme a modelli di visione, anziché sostituirli.
Un modello visione-linguaggio non è altro che un modello linguistico con un classificatore di immagini aggiunto.
I moderni modelli di visione-linguaggio utilizzano sofisticati meccanismi di attenzione intermodale e un addestramento congiunto, non una semplice classificazione. Le componenti visive e linguistiche sono profondamente integrate attraverso livelli di allineamento appresi.
I modelli linguistici puri non sono in grado di ragionare sui concetti visivi.
modelli linguistici addestrati su una quantità sufficiente di testo possono sviluppare una sorprendente conoscenza visiva attraverso le sole descrizioni. Sono in grado di discutere stili artistici, descrivere scene e ragionare su concetti visivi senza mai elaborare un'immagine.
I modelli di visione artificiale e linguaggio naturale superano sempre i modelli basati esclusivamente sul linguaggio naturale nei compiti di ragionamento.
Nei benchmark di ragionamento puramente testuale, i modelli di linguaggio visivo spesso ottengono prestazioni simili o leggermente inferiori rispetto alle loro controparti basate solo sul testo. L'aggiunta di capacità visive non migliora automaticamente il ragionamento logico o matematico.
Scegli un modello di linguaggio visivo se la tua applicazione deve interpretare immagini, documenti o contenuti visivi insieme al testo. Opta per un modello linguistico puro per flussi di lavoro basati esclusivamente sul testo, dove velocità, costi e ragionamento linguistico approfondito sono i fattori più importanti. Molte implementazioni moderne traggono vantaggio da entrambi i modelli, utilizzando modelli di linguaggio visivo per le attività visive e modelli linguistici puri per tutto il resto.
L'accuratezza predittiva misura quanto bene le previsioni di un modello corrispondano ai risultati del mondo reale, mentre la resilienza del modello valuta la capacità di un sistema di mantenere le prestazioni di fronte ad attacchi avversari, derive dei dati o cambiamenti ambientali. Entrambe le metriche influenzano il modo in cui valutiamo l'affidabilità dell'IA, ma spesso spingono la progettazione del modello in direzioni diverse.
Questo confronto analizza le scelte strategiche nell'apprendimento automatico tra l'adattamento del dominio, che trasferisce la conoscenza da un ambiente sorgente etichettato a un ambiente di destinazione diverso, e l'addestramento nel dominio, che costruisce modelli interamente su dati raccolti dall'esatto ambiente di implementazione di destinazione.
L'adattamento linguistico nell'IA si concentra sull'insegnamento ai modelli di gestire lingue specifiche attraverso la messa a punto e il trasferimento dell'apprendimento, mentre i sistemi di IA agnostici rispetto alla lingua mirano a elaborare qualsiasi lingua senza un addestramento specifico. Entrambi gli approcci affrontano le sfide del multilinguismo, ma differiscono fondamentalmente in termini di architettura, dati di addestramento e implementazione nel mondo reale.
Questo confronto mette a confronto il modo in cui le reti neurali artificiali vengono addestrate a interpretare i dati visivi con il modo in cui il sistema visivo biologico umano percepisce il mondo naturale. Mentre la visione artificiale si basa su milioni di input statici, annotati a livello di pixel, per estrarre matrici matematiche, la percezione umana naturale sfrutta flussi sensoriali dinamici e continui, contestualizzati dalla biologia evolutiva e da strutture di feedback cognitivo immediato.
L'addestramento degli agenti in ambienti reali prevede l'apprendimento tramite interazione in tempo reale con ambienti simulati o fisici, mentre l'addestramento offline si basa su dati raccolti in precedenza, senza ulteriore accesso all'ambiente. Entrambi gli approcci addestrano modelli di apprendimento automatico, ma differiscono fondamentalmente nel modo in cui gli agenti acquisiscono esperienza e migliorano le proprie prestazioni.
