intelligenza artificialestraccioIA multimodalegenerazione aumentata di recuperollmvisione artificiale
RAG con contesto visivo vs RAG con contesto solo testuale
Il RAG con contesto visivo arricchisce i modelli linguistici recuperando immagini, grafici e diagrammi insieme al testo, mentre il RAG basato esclusivamente sul testo si affida unicamente ai brani scritti. Il RAG visivo eccelle in attività multimodali come la comprensione di documenti e la risposta a domande visive, mentre il RAG basato esclusivamente sul testo rimane più semplice, veloce ed economico da implementare.
In evidenza
Visual RAG elimina gli errori OCR recuperando le pagine direttamente come immagini.
Il metodo RAG basato esclusivamente su testo rimane più veloce ed economico per le basi di conoscenza puramente scritte.
I benchmark multimodali privilegiano costantemente il recupero visivo per le attività relative a grafici e documenti.
Le condotte ibride si stanno affermando come una soluzione intermedia pratica per i sistemi di produzione.
Cos'è RAG con contesto visivo?
Un approccio di generazione potenziata dal recupero che utilizza immagini, figure e dati visivi per supportare le risposte del modello linguistico.
I sistemi RAG visivi recuperano contenuti sia testuali che visivi da basi di conoscenza per supportare il ragionamento multimodale.
Modelli come GPT-4V, Gemini e LLaVA possono elaborare le immagini recuperate direttamente all'interno delle loro finestre di contesto.
ColPali e ColQwen hanno introdotto un sistema di recupero documenti che tratta le pagine come immagini, bypassando i tradizionali processi OCR.
Il metodo Visual RAG è particolarmente efficace per la comprensione di grafici, infografiche, figure scientifiche e documenti scansionati.
Benchmark come MMMU e DocVQA mostrano miglioramenti misurabili quando il recupero visivo viene aggiunto ai flussi di lavoro basati esclusivamente sul testo.
Cos'è RAG con contesto solo testuale?
Una configurazione tradizionale di generazione aumentata tramite recupero che basa i modelli linguistici utilizzando solo passaggi scritti tratti da documenti.
Il RAG basato esclusivamente sul testo è stato reso popolare dall'articolo originale di Lewis et al. del 2020, che ha introdotto la generazione aumentata tramite recupero.
In genere utilizza modelli di embedding come OpenAI text-embedding-3 o BGE per convertire i blocchi di testo in rappresentazioni vettoriali.
Il recupero delle informazioni viene solitamente effettuato tramite ricerca vettoriale densa, BM25 o metodi ibridi su corpus di testo.
Oggigiorno, la maggior parte dei chatbot di produzione, degli strumenti di ricerca aziendale e degli assistenti di assistenza clienti si basano su RAG (Remote Action Graph) interamente testuale.
Framework come LangChain, LlamaIndex e Haystack sono stati originariamente sviluppati attorno a pipeline di recupero di solo testo.
Tabella di confronto
Funzionalità
RAG con contesto visivo
RAG con contesto solo testuale
Modalità di input
Testo + Immagini + Dati visivi
Solo testo
Metodo di recupero
Incorporamenti multimodali (ad es. ColPali, CLIP)
Incorporamenti di testo (ad esempio, BGE, OpenAI ada)
Ideale per
Grafici, diagrammi, documenti scansionati, controllo qualità visivo
Articoli, FAQ, codice, testo strutturato
Complessità
Più alto — richiede codificatori di visione e maggiore capacità di archiviazione
Inferiore: pipeline e indicizzazione più semplici
Costo
Più alto a causa dell'elaborazione delle immagini e dell'utilizzo dei token.
Più basso, soprattutto con piccoli blocchi di testo
Latenza
Leggermente superiore a causa della codifica dell'immagine
Generalmente più veloce
Dipendenza da OCR
Spesso eliminato tramite il recupero diretto delle immagini
Obbligatorio per i PDF scansionati o basati su immagini.
Esempi di modelli
GPT-4V, Gemini 1.5, LLaVA, Qwen-VL
GPT-4, Claude, Mistral, Llama 3
Confronto dettagliato
Differenze nella pipeline di recupero
Il RAG basato esclusivamente sul testo segue un percorso ben consolidato: i documenti vengono suddivisi in blocchi, incorporati in vettori e archiviati in un database per la ricerca di similarità. Il RAG visivo adotta un approccio fondamentalmente diverso, codificando intere pagine o immagini come elementi visivi, consentendo al sistema di recuperare informazioni in base al layout, ai grafici e alle figure, anziché solo alle parole. Questo cambiamento significa che il RAG visivo può trovare informazioni contenute in grafici, tabelle o note manoscritte che l'OCR potrebbe alterare.
Accuratezza dei documenti multimodali
Quando i documenti contengono elementi visivi complessi come grafici finanziari, diagrammi ingegneristici o immagini mediche, il RAG visivo tende a superare le prestazioni degli approcci basati esclusivamente sul testo. Studi sui benchmark DocVQA e ChartQA dimostrano che i modelli che ricevono immagini recuperate insieme al testo rispondono alle domande in modo più corretto rispetto a quelli che si basano solo sul testo estratto. Tuttavia, per fonti puramente testuali come post di blog o repository di codice, il RAG basato solo sul testo offre prestazioni altrettanto buone senza il sovraccarico aggiuntivo.
Costo e infrastrutture
Il RAG visivo richiede maggiori risorse infrastrutturali. L'archiviazione di immagini incorporate occupa più spazio su disco, i codificatori di immagini come ColPali necessitano di GPU per funzionare in modo efficiente e l'inserimento di immagini nei modelli linguistici consuma molti più token rispetto al semplice testo. Il RAG basato esclusivamente sul testo rimane la scelta più economica per la maggior parte dei team, soprattutto quando si lavora con grandi corpus di articoli o documentazione che non necessitano di interpretazione visiva.
Caso d'uso adatto
Scegliete il formato RAG visivo quando la vostra knowledge base include PDF scansionati, presentazioni, cataloghi di prodotti con foto o qualsiasi contenuto in cui il layout visivo abbia un significato. Il formato RAG basato solo sul testo è ideale per wiki di assistenza clienti, contratti legali in testo semplice, documentazione di codice e agenti conversazionali, dove velocità e costi sono più importanti della fedeltà visiva. Molti sistemi di produzione ora combinano entrambi i formati, recuperando il testo per alcune query e le immagini per altre.
Compatibilità del modello
Il RAG visivo richiede un modello multimodale in grado di elaborare immagini, come GPT-4V, Claude 3.5 Sonnet, Gemini 1.5 Pro o alternative open-source come LLaVA e Qwen-VL. Il RAG basato esclusivamente sul testo funziona praticamente con qualsiasi modello linguistico, inclusi modelli open-weight più piccoli come Llama 3 8B o Mistral 7B, rendendolo accessibile anche su hardware modesto. Questo divario di compatibilità si sta riducendo man mano che un numero maggiore di modelli acquisisce capacità di visione, ma le configurazioni basate esclusivamente sul testo offrono ancora oggi opzioni di implementazione più ampie.
Pro e Contro
RAG con contesto visivo
Vantaggi
+Gestisce grafici e diagrammi
+Aggira le limitazioni dell'OCR
+Migliore comprensione dei documenti
+Acquisisce le informazioni di layout
Consentiti
−Maggiori costi infrastrutturali
−Latenza di recupero più lenta
−Necessità di modelli multimodali
−Ingombro maggiore per lo stoccaggio
RAG con contesto solo testuale
Vantaggi
+Facile da implementare
+Minori costi operativi
+Compatibile con qualsiasi LLM
+Ecosistema di utensili maturo
Consentiti
−Difficoltà con gli elementi visivi
−Dipende dalla qualità dell'OCR
−Manca l'indicazione del layout
−Meno efficace nei documenti ricchi di immagini.
Idee sbagliate comuni
Mito
Il sistema RAG visivo sostituisce completamente il sistema RAG basato esclusivamente sul testo.
Realtà
Visual RAG integra, anziché sostituire, gli approcci basati esclusivamente sul testo. Per corpus puramente testuali come articoli o codice, il recupero basato solo sul testo rimane più veloce e altrettanto accurato. La maggior parte dei sistemi di produzione trae vantaggio da una configurazione ibrida che instrada le query al sistema di recupero più appropriato.
Mito
Il formato RAG, che si basa esclusivamente sul testo, non è in grado di gestire documenti contenenti immagini.
Realtà
Il RAG (Retail Ads Grading) basato esclusivamente su testo può comunque elaborare documenti contenenti immagini eseguendo prima l'OCR e indicizzando il testo estratto. La qualità dipende fortemente dalla pipeline OCR e i layout complessi spesso perdono di significato, ma si tratta di un approccio praticabile per molti casi d'uso.
Mito
Il RAG visivo fornisce sempre risposte migliori rispetto al RAG basato solo sul testo.
Realtà
Il RAG visivo supera il RAG basato esclusivamente sul testo solo quando le informazioni visive recuperate sono effettivamente pertinenti alla query. Per le domande relative a prosa, codice o testo strutturato, l'aggiunta di immagini può introdurre rumore e aumentare i costi senza migliorare la precisione.
Mito
Per eseguire il RAG visivo è necessario GPT-4V o Gemini.
Realtà
Modelli open-source come LLaVA, Qwen-VL, InternVL e MiniCPM-V possono gestire efficacemente le attività di RAG visivo. Codificatori di visione più piccoli, combinati con sistemi di recupero dati come ColPali, funzionano su GPU di fascia consumer, rendendo il RAG visivo accessibile senza API proprietarie.
Mito
Visual RAG è troppo costoso per l'utilizzo in produzione.
Realtà
Sebbene l'analisi RAG visiva costi di più rispetto all'analisi basata solo sul testo, tecniche come la compressione delle immagini, la memorizzazione nella cache e il recupero selettivo mantengono i costi entro limiti gestibili. Per i settori ad alta intensità di documenti come quello legale, sanitario e finanziario, i vantaggi in termini di accuratezza spesso giustificano la spesa.
Domande frequenti
Qual è la principale differenza tra RAG visivo e RAG basato esclusivamente sul testo?
Il RAG visivo recupera immagini, pagine di documenti e contenuti visivi per supportare le risposte del modello linguistico, mentre il RAG basato esclusivamente sul testo recupera solo passaggi scritti. Il RAG visivo utilizza embedding multimodali per comprendere layout, grafici e figure, mentre il RAG basato esclusivamente sul testo si affida agli embedding testuali e spesso richiede l'OCR per i documenti scansionati.
Il sistema RAG visivo è più accurato del sistema RAG basato solo sul testo?
Il metodo Visual RAG tende ad essere più preciso per attività che coinvolgono grafici, diagrammi, documenti scansionati e risposte a domande visive. Benchmark come DocVQA e ChartQA mostrano miglioramenti significativi quando viene aggiunto il recupero visivo. Per le query puramente testuali, tuttavia, entrambi gli approcci offrono prestazioni simili.
Posso utilizzare Visual RAG con modelli open-source?
Sì, modelli open-source come LLaVA, Qwen-VL, InternVL e MiniCPM-V supportano flussi di lavoro RAG visivi. In combinazione con sistemi di recupero dati come ColPali o ColQwen, è possibile creare pipeline RAG visive completamente open-source che vengono eseguite su GPU locali senza dipendere da API proprietarie.
La visualizzazione RAG elimina la necessità dell'OCR?
Il sistema Visual RAG spesso elimina l'OCR recuperando direttamente le pagine del documento come immagini e lasciando che il modello di linguaggio visivo le interpreti. Questo evita errori di OCR su layout complessi, scrittura a mano o scansioni di bassa qualità. Alcuni sistemi ibridi utilizzano ancora l'OCR per l'indicizzazione dei metadati, affidandosi al recupero visivo per il contenuto effettivo.
Quanto costa il RAG visivo rispetto al RAG basato solo sul testo?
Il RAG visivo in genere costa da 3 a 10 volte di più rispetto al RAG basato solo su testo a causa dell'archiviazione delle immagini, del calcolo del codificatore visivo e del maggiore utilizzo di token quando si alimentano i modelli linguistici con le immagini. I costi variano in base alle dimensioni del documento, alla frequenza di recupero e al fatto che si utilizzino API ospitate o modelli self-hosted.
Cos'è ColPali e qual è la sua relazione con il RAG visivo?
ColPali è un modello di recupero documenti introdotto nel 2024 che tratta le pagine dei documenti come immagini e utilizza codificatori di visione come PaliGemma per creare degli embedding. È stato il pioniere dell'approccio di recupero documenti visivo che alimenta molti moderni sistemi RAG visivi, soprattutto per le basi di conoscenza ricche di PDF.
Quando dovrei scegliere il sistema RAG basato solo sul testo rispetto al sistema RAG basato sugli elementi visivi?
Scegli RAG solo testo quando la tua knowledge base è composta da testo pulito come articoli, codice, FAQ o registri di chat. È anche la scelta migliore quando il budget è limitato, la latenza è un fattore critico o stai effettuando il deployment su modelli più piccoli senza funzionalità di visione artificiale. RAG solo testo è l'impostazione predefinita più sicura per la maggior parte delle applicazioni chatbot e di ricerca tradizionali.
È possibile combinare il RAG visivo con il RAG basato esclusivamente sul testo?
Sì, i sistemi RAG ibridi combinano entrambi gli approcci eseguendo i recuperatori in parallelo e unendo i risultati, oppure instradando le query al recuperatore appropriato in base al tipo di domanda. Questo offre i vantaggi in termini di costi del recupero basato solo sul testo per le query semplici e i vantaggi in termini di precisione del recupero visivo per le domande che includono molti documenti.
Quali sono i migliori parametri di riferimento per valutare il RAG visivo?
Tra i benchmark più comuni figurano DocVQA per la comprensione dei documenti, ChartQA per le domande basate su grafici, MMMU per il ragionamento multimodale e InfoVQA per la comprensione delle infografiche. Per il RAG (Rapid Assessment and Grading) basato esclusivamente sul testo, i benchmark più diffusi includono Natural Questions, TriviaQA e HotpotQA.
Ho bisogno di un modello LLM multimodale per utilizzare il RAG visivo?
Sì, il RAG visivo richiede un modello linguistico in grado di elaborare immagini, come GPT-4V, Claude 3.5 Sonnet, Gemini 1.5 Pro o alternative open-source come LLaVA e Qwen-VL. I modelli puramente testuali come GPT-4 base o Llama 3 non possono interpretare le immagini recuperate, quindi funzionano solo con RAG basato esclusivamente su testo.
Verdetto
Scegliete il modello RAG visivo quando i vostri dati sono ricchi di immagini o quando il layout, i grafici e i diagrammi hanno un significato critico: è la soluzione ideale per l'intelligenza artificiale applicata ai documenti e per la risposta visiva alle domande. Optate per il modello RAG solo testuale per le knowledge base tradizionali, per una distribuzione più rapida e costi inferiori, soprattutto quando il contenuto è già in formato testuale pulito. Molti team riscontrano che un approccio ibrido funziona meglio, lasciando che sia il tipo di query a determinare il percorso di recupero da seguire.
