RAG mit visuellem Kontext erweitert Sprachmodelle durch die Einbeziehung von Bildern, Diagrammen und Grafiken neben Text, während reines Text-RAG ausschließlich auf schriftlichen Passagen basiert. Visuelles RAG eignet sich hervorragend für multimodale Aufgaben wie das Verstehen von Dokumenten und die visuelle Beantwortung von Fragen, während reines Text-RAG einfacher, schneller und kostengünstiger zu implementieren ist.
Ein durch Abruf erweiterter Generierungsansatz, der Bilder, Abbildungen und visuelle Daten zur Untermauerung von Sprachmodellantworten heranzieht.
Ein traditionelles, auf Abruf basierendes Generierungsmodell, das Sprachmodelle ausschließlich auf Grundlage geschriebener Passagen aus Dokumenten erstellt.
| Funktion | Ampelsystem mit visuellem Kontext | RAG mit reinem Textkontext |
|---|---|---|
| Eingabemodalität | Text + Bilder + Visuelle Daten | Nur Text |
| Abrufmethode | Multimodale Einbettungen (z. B. ColPali, CLIP) | Texteinbettungen (z. B. BGE, OpenAI ada) |
| Am besten geeignet für | Diagramme, Schaubilder, gescannte Dokumente, visuelle Qualitätssicherung | Artikel, FAQs, Code, strukturierter Text |
| Komplexität | Höher – benötigt Bildcodierer und mehr Speicherplatz | Niedrigere Werte – einfachere Pipelines und Indizierung |
| Kosten | Höher aufgrund von Bildverarbeitung und Token-Nutzung | Niedriger, insbesondere bei kleinen Textabschnitten |
| Latenz | Etwas höher aufgrund der Bildkodierung | Im Allgemeinen schneller |
| OCR-Abhängigkeit | Oft durch direkte Bildsuche eliminiert | Erforderlich für gescannte oder bildbasierte PDFs |
| Beispielmodelle | GPT-4V, Gemini 1.5, LLaVA, Qwen-VL | GPT-4, Claude, Mistral, Lama 3 |
Textbasiertes RAG folgt einem bewährten Verfahren: Dokumente werden in Abschnitte unterteilt, in Vektoren eingebettet und zur Ähnlichkeitssuche in einer Datenbank gespeichert. Visuelles RAG verfolgt einen grundlegend anderen Ansatz, indem es ganze Seiten oder Bilder als visuelle Einbettungen kodiert. Dadurch kann das System Inhalte anhand von Layout, Diagrammen und Abbildungen anstatt nur anhand von Wörtern abrufen. Dieser Ansatz ermöglicht es visuellem RAG, Informationen zu finden, die in Grafiken, Tabellen oder handschriftlichen Notizen verborgen sind und von der OCR möglicherweise verfälscht werden.
Bei Dokumenten mit umfangreichen visuellen Elementen wie Finanzdiagrammen, technischen Zeichnungen oder medizinischen Bildern erzielt die visuelle Rangfolgenanalyse (RAG) tendenziell bessere Ergebnisse als rein textbasierte Ansätze. Studien zu den Benchmarks DocVQA und ChartQA zeigen, dass Modelle, die neben dem Text auch die abgerufenen Bilder erhalten, Fragen korrekter beantworten als solche, die sich ausschließlich auf den extrahierten Text stützen. Bei rein textbasierten Quellen wie Blogbeiträgen oder Code-Repositories ist die rein textbasierte Rangfolgenanalyse jedoch genauso effektiv, ohne den zusätzlichen Aufwand.
Visuelles RAG stellt höhere Anforderungen an Ihre Infrastruktur. Das Speichern von Bildeinbettungen benötigt mehr Speicherplatz, Bildkodierer wie ColPali benötigen GPUs für einen effizienten Betrieb, und die Verarbeitung von Bildern in Sprachmodellen verbraucht deutlich mehr Token als reiner Text. Textbasiertes RAG bleibt daher für die meisten Teams die kostengünstigste Wahl, insbesondere bei der Arbeit mit großen Korpora von Artikeln oder Dokumentationen, die keine visuelle Interpretation erfordern.
Wählen Sie das visuelle RAG-System, wenn Ihre Wissensdatenbank gescannte PDFs, Präsentationen, Produktkataloge mit Fotos oder andere Inhalte enthält, bei denen das visuelle Layout aussagekräftig ist. Das textbasierte RAG-System eignet sich hervorragend für Kundensupport-Wikis, juristische Verträge im Klartext, Code-Dokumentation und Chatbots, bei denen Geschwindigkeit und Kosten wichtiger sind als die visuelle Darstellung. Viele Produktionssysteme kombinieren mittlerweile beide Ansätze und liefern für manche Anfragen Text und für andere Bilder.
Visuelles RAG benötigt ein multimodales Modell, das Bilder verarbeiten kann, wie beispielsweise GPT-4V, Claude 3.5 Sonnet, Gemini 1.5 Pro oder Open-Source-Alternativen wie LLaVA und Qwen-VL. Textbasiertes RAG funktioniert mit nahezu jedem Sprachmodell, einschließlich kleinerer Open-Source-Modelle wie Llama 3 8B oder Mistral 7B, und ist daher auch auf einfacher Hardware einsetzbar. Diese Kompatibilitätslücke verringert sich zwar mit zunehmender Integration von Bildverarbeitungsfunktionen in die Sprachmodelle, dennoch bieten textbasierte Systeme aktuell noch breitere Einsatzmöglichkeiten.
Visual RAG ersetzt vollständig textbasiertes RAG.
Visual RAG ergänzt textbasierte Ansätze, ersetzt sie aber nicht. Bei rein textbasierten Korpora wie Artikeln oder Code ist die textbasierte Suche nach wie vor schneller und genauso präzise. Die meisten Produktionssysteme profitieren von einem hybriden Ansatz, der Anfragen an den jeweils passenden Retrieval-Algorithmus weiterleitet.
Das reine Textformat RAG kann Dokumente mit Bildern überhaupt nicht verarbeiten.
Textbasierte RAG-Verfahren können auch bildhaltige Dokumente verarbeiten, indem zunächst eine OCR-Operation durchgeführt und der extrahierte Text indiziert wird. Die Qualität hängt stark von der OCR-Pipeline ab, und komplexe Layouts gehen oft verloren, aber für viele Anwendungsfälle ist es ein praktikabler Ansatz.
Visuelles Ampelsystem liefert immer bessere Ergebnisse als reines Text-Ampelsystem.
Visuelles RAG ist textbasiertem RAG nur dann überlegen, wenn die abgerufenen visuellen Informationen tatsächlich relevant für die Suchanfrage sind. Bei Fragen zu Fließtext, Code oder strukturiertem Text kann das Hinzufügen von Bildern zu Störungen und höheren Kosten führen, ohne die Genauigkeit zu verbessern.
Für visuelle RAG-Messungen benötigen Sie einen GPT-4V oder Gemini.
Open-Source-Modelle wie LLaVA, Qwen-VL, InternVL und MiniCPM-V eignen sich gut für visuelle RAG-Aufgaben. Kleinere Bildcodierer in Kombination mit Retrievern wie ColPali laufen auf handelsüblichen GPUs und ermöglichen so den Zugriff auf visuelle RAG-Systeme ohne proprietäre APIs.
Visual RAG ist für den Produktionseinsatz zu teuer.
Obwohl visuelles RAG teurer ist als reines Text-RAG, halten Techniken wie Bildkomprimierung, Einbettungs-Caching und selektiver Abruf die Kosten in einem überschaubaren Rahmen. In dokumentenintensiven Branchen wie dem Rechts-, Gesundheits- und Finanzwesen rechtfertigen die Genauigkeitsgewinne oft die höheren Kosten.
Wählen Sie das visuelle RAG-Format, wenn Ihre Daten viele Bilder enthalten oder Layout, Diagramme und Grafiken eine wichtige Rolle spielen – es ist die optimale Lösung für Dokumenten-KI und visuelle Fragebeantwortung. Bleiben Sie beim textbasierten RAG-Format für traditionelle Wissensdatenbanken, eine schnellere Bereitstellung und geringere Kosten, insbesondere wenn Ihre Inhalte bereits als sauberer Text vorliegen. Viele Teams erzielen mit einem hybriden Ansatz die besten Ergebnisse, indem sie den Abfragetyp den Abrufpfad bestimmen lassen.
A/B-Tests bei Content-Releases beinhalten die Ausrollung von Varianten an verschiedene Zielgruppensegmente und die Messung der Performance, während einmalige Content-Releases eine einzige Version gleichzeitig an alle ausliefern. Beide Ansätze eignen sich für unterschiedliche Ziele: A/B-Tests begünstigen datengetriebene Optimierung, während einmalige Releases Geschwindigkeit und Einfachheit priorisieren.
A/B-Tests im Modell-Serving-Verfahren leiten den Datenverkehr zwischen konkurrierenden Modellversionen, um die Leistung im realen Einsatz zu messen. Bei der Bereitstellung eines einzelnen Modells wird hingegen allen Nutzern dasselbe Modell ausgeliefert. Die Teams wählen die Methode basierend auf Risikotoleranz, Datenverkehrsaufkommen und dem Bedarf an statistischer Validierung vor der vollständigen Einführung.
Die Abfrageerweiterung reichert Suchanfragen dynamisch zur Laufzeit mit zusätzlichen Begriffen an, während feste Abfrageeinbettungen auf vorab berechneten, unveränderlichen Vektordarstellungen basieren. Beide Ansätze beheben das Problem der Vokabulardiskrepanz bei der Informationswiedergewinnung, unterscheiden sich jedoch deutlich in Flexibilität, Rechenaufwand und Anpassungsfähigkeit an neue Inhalte.
Latenzoptimiertes Arbeiten und reine Genauigkeitsoptimierung stellen zwei konkurrierende Ansätze im KI-Einsatz dar. Latenzoptimiertes Arbeiten priorisiert Geschwindigkeit und Benutzerfreundlichkeit, während reine Genauigkeitsoptimierung die höchstmögliche Modellleistung unabhängig von der Inferenzzeit anstrebt. Die Wahl zwischen diesen Ansätzen beeinflusst das Verhalten von KI-Systemen im Produktivbetrieb.
Actor-Critic-Methoden kombinieren Policy-Gradienten mit einer gelernten Wertfunktion, um die Varianz zu reduzieren und das Lernen zu beschleunigen, während reine Policy-Gradienten-Methoden ausschließlich auf der Policy und Monte-Carlo-Renditen basieren. Die Wahl zwischen den Methoden hängt davon ab, ob Stabilität und Stichprobeneffizienz oder Einfachheit und unverzerrte Schätzungen erforderlich sind.
