Il Visual Question Answering (VQA) interpreta le immagini per rispondere a domande relative a contenuti visivi, mentre il Text Question Answering (Text QA) si concentra sull'estrazione o la generazione di risposte da brani scritti. Entrambi rientrano nell'ambito dell'elaborazione del linguaggio naturale, ma differiscono fondamentalmente nelle modalità di input e nelle tecniche di intelligenza artificiale su cui si basano.
Un compito di intelligenza artificiale in cui i modelli analizzano le immagini e rispondono a domande in linguaggio naturale sul loro contenuto visivo.
Un compito di intelligenza artificiale in cui i modelli leggono e comprendono brani scritti per rispondere a domande basate su informazioni testuali.
| Funzionalità | Risposta visiva alle domande | Risposta a domande di testo |
|---|---|---|
| Modalità di input | Immagini abbinate a domande di testo | Brani di testo abbinati a domande sul testo |
| Tecniche di base dell'IA | Visione artificiale, trasformatori multimodali, modelli di linguaggio visivo | Elaborazione del linguaggio naturale, modelli transformer, recupero delle informazioni |
| Architetture di modelli tipici | ViLBERT, LLaVA, GPT-4V, BLIP-2, Flamingo | BERT, RoBERTa, T5, GPT, sistemi di recupero potenziati |
| Parametri di riferimento chiave | VQA v2, GQA, OK-VQA, TextVQA | SQuAD, Domande Naturali, TriviaQA, MS MARCO |
| Sfide principali | Ancoraggio visivo, OCR all'interno delle immagini, ragionamento spaziale, gestione di riferimenti visivi ambigui | Comprensione del testo, gestione di domande senza risposta, ragionamento a più livelli, comprensione del contesto a lungo termine |
| Requisiti dei dati | Terne immagine-domanda-risposta che richiedono annotazioni sia visive che testuali | Coppie domanda-risposta basate su documenti, che spesso richiedono l'annotazione da parte di esperti. |
| Complessità computazionale | Maggiore grazie all'elaborazione simultanea di dati visivi e testuali. | Generalmente inferiore, focalizzato sulla tokenizzazione del testo e sull'attenzione del trasformatore |
| Applicazioni nel mondo reale | Tecnologie assistive per utenti non vedenti, ricerca basata su immagini, diagnostica medica, sorveglianza | Motori di ricerca, assistenti virtuali, strumenti didattici, analisi di documenti legali |
| Sviluppo storico | È emerso come campo distinto intorno al 2014-2015 con l'avvento del deep learning. | Sviluppato nel corso di decenni, con importanti progressi a seguito della rivoluzione dei trasformatori nel 2017 |
La differenza fondamentale tra questi due compiti risiede nel tipo di dati che elaborano. La risposta a domande visive richiede ai modelli di interpretare i dati dei pixel delle immagini insieme alle domande testuali, il che richiede codificatori di visione sofisticati in grado di estrarre caratteristiche significative dal contenuto visivo. La risposta a domande testuali, al contrario, lavora esclusivamente con il linguaggio scritto, consentendo ai modelli di concentrare le proprie risorse computazionali sulla comprensione linguistica anziché dividere l'attenzione tra due tipi di dati molto diversi.
sistemi VQA in genere combinano un codificatore visivo (come una CNN o un Vision Transformer) con un modello linguistico, fondendo queste rappresentazioni attraverso livelli di attenzione incrociata o di proiezione. Questa architettura multimodale aggiunge una notevole complessità. I modelli di QA testuale possono basarsi esclusivamente su trasformatori linguistici senza bisogno di componenti di elaborazione visiva, il che li rende generalmente più semplici da addestrare e implementare, sebbene richiedano comunque notevoli risorse computazionali per la comprensione del linguaggio su larga scala.
La verifica dell'interpretazione di testi spesso richiede un ragionamento complesso su lunghi brani, inclusa l'inferenza a più livelli in cui le risposte richiedono la combinazione di informazioni provenienti da più frasi o documenti. La verifica dell'interpretazione visiva introduce ulteriori sfide di ragionamento, come la comprensione spaziale (dove si trovano gli oggetti), il conteggio (quanti elementi compaiono) e il buon senso visivo (cosa accade tipicamente in una scena). Entrambi i compiti richiedono conoscenza del mondo, ma la verifica dell'interpretazione visiva deve fondare tale conoscenza su prove visive.
Il Text QA ha compiuto notevoli progressi, con modelli che ora eguagliano o superano le prestazioni umane in benchmark come SQuAD 2.0. Anche il VQA ha fatto passi da gigante, sebbene il settore continui ad affrontare sfide con domande che richiedono conoscenze esterne che vanno oltre ciò che è visibile nell'immagine. L'introduzione di OK-VQA ha messo in luce questa lacuna, spingendo i ricercatori verso approcci di ragionamento visivo che richiedono una maggiore quantità di conoscenza.
Il controllo qualità del testo (Text QA) domina negli scenari di recupero delle informazioni, alimentando qualsiasi cosa, dai featured snippet di Google Ricerca alle basi di conoscenza aziendali. Il controllo qualità visivo (VQA) trova le sue applicazioni migliori laddove il contesto visivo è essenziale, ad esempio per aiutare gli utenti ipovedenti a comprendere l'ambiente circostante, analizzare scansioni mediche o consentire ai robot di interagire con l'ambiente in base a query visive. Entrambe le tecnologie convergono sempre più negli assistenti AI multimodali in grado di gestire testo e immagini in modo fluido.
I modelli VQA sono in grado di "vedere" e comprendere le immagini proprio come fanno gli esseri umani.
I sistemi VQA elaborano le immagini come rappresentazioni numeriche e apprendono schemi statistici anziché raggiungere una reale comprensione visiva. Possono fallire con domande che richiedono un ragionamento di buon senso o quando gli elementi visivi sono ambigui, anche quando la risposta corretta sembra ovvia a un osservatore umano.
I sistemi di controllo qualità testuale forniscono sempre risposte accurate e basate sui fatti.
Anche i modelli linguistici più avanzati possono generare risposte apparentemente plausibili ma errate, un fenomeno noto come allucinazione. I sistemi di risposta alle domande testuali possono inoltre avere difficoltà con domande che richiedono informazioni non presenti nei dati di addestramento o nei documenti di origine, e le loro prestazioni variano significativamente a seconda del dominio e del tipo di domanda.
VQA non è altro che classificazione delle immagini con passaggi aggiuntivi.
La VQA richiede capacità ben più sofisticate della semplice classificazione. I modelli devono comprendere le relazioni spaziali, contare gli oggetti, leggere il testo all'interno delle immagini, interpretare le scene in modo contestuale e ragionare sugli elementi visivi in relazione alle query in linguaggio naturale. Questo rende il problema significativamente più complesso della semplice etichettatura delle immagini.
Il controllo qualità del testo diventerà obsoleto man mano che l'intelligenza artificiale si evolverà verso sistemi multimodali.
Il controllo qualità del testo rimane fondamentale anche con la crescita dell'IA multimodale. La maggior parte delle informazioni del mondo reale esiste ancora in formato testuale e i sistemi basati esclusivamente sul testo spesso superano i modelli multimodali nelle attività che coinvolgono solo il testo, richiedendo al contempo meno risorse computazionali. I sistemi multimodali in genere si basano sulle capacità di controllo qualità del testo, anziché sostituirle.
Sia il VQA che il Text QA richiedono lo stesso tipo e la stessa quantità di dati di addestramento.
La VQA richiede costosi set di dati annotati che combinano immagini con domande e risposte, spesso necessitando di collaboratori esterni per generare domande diversificate sui contenuti visivi. La QA testuale può sfruttare documenti e brani esistenti, sebbene la creazione di coppie domanda-risposta di alta qualità richieda comunque un notevole sforzo di annotazione umana.
Scegli la risposta a domande visive quando la tua applicazione richiede la comprensione di immagini, fotogrammi video o documenti visivi in cui il solo testo non è sufficiente. La risposta a domande testuali rimane la scelta migliore per l'analisi di documenti, i sistemi di ricerca e gli scenari in cui le informazioni sono presenti principalmente in forma scritta. I moderni sistemi di intelligenza artificiale combinano sempre più entrambe le funzionalità, quindi l'approccio più pratico spesso prevede l'implementazione di modelli multimodali che gestiscono input sia visivi che testuali.
L'accuratezza predittiva misura quanto bene le previsioni di un modello corrispondano ai risultati del mondo reale, mentre la resilienza del modello valuta la capacità di un sistema di mantenere le prestazioni di fronte ad attacchi avversari, derive dei dati o cambiamenti ambientali. Entrambe le metriche influenzano il modo in cui valutiamo l'affidabilità dell'IA, ma spesso spingono la progettazione del modello in direzioni diverse.
Questo confronto analizza le scelte strategiche nell'apprendimento automatico tra l'adattamento del dominio, che trasferisce la conoscenza da un ambiente sorgente etichettato a un ambiente di destinazione diverso, e l'addestramento nel dominio, che costruisce modelli interamente su dati raccolti dall'esatto ambiente di implementazione di destinazione.
L'adattamento linguistico nell'IA si concentra sull'insegnamento ai modelli di gestire lingue specifiche attraverso la messa a punto e il trasferimento dell'apprendimento, mentre i sistemi di IA agnostici rispetto alla lingua mirano a elaborare qualsiasi lingua senza un addestramento specifico. Entrambi gli approcci affrontano le sfide del multilinguismo, ma differiscono fondamentalmente in termini di architettura, dati di addestramento e implementazione nel mondo reale.
Questo confronto mette a confronto il modo in cui le reti neurali artificiali vengono addestrate a interpretare i dati visivi con il modo in cui il sistema visivo biologico umano percepisce il mondo naturale. Mentre la visione artificiale si basa su milioni di input statici, annotati a livello di pixel, per estrarre matrici matematiche, la percezione umana naturale sfrutta flussi sensoriali dinamici e continui, contestualizzati dalla biologia evolutiva e da strutture di feedback cognitivo immediato.
L'addestramento degli agenti in ambienti reali prevede l'apprendimento tramite interazione in tempo reale con ambienti simulati o fisici, mentre l'addestramento offline si basa su dati raccolti in precedenza, senza ulteriore accesso all'ambiente. Entrambi gli approcci addestrano modelli di apprendimento automatico, ma differiscono fondamentalmente nel modo in cui gli agenti acquisiscono esperienza e migliorano le proprie prestazioni.
