RAG s vizuálním kontextem obohacuje jazykové modely načítáním obrázků, grafů a diagramů vedle textu, zatímco textový RAG se spoléhá výhradně na písemné pasáže. Vizuální RAG vyniká v multimodálních úkolech, jako je porozumění dokumentům a vizuální odpovídání na otázky, zatímco textový RAG zůstává jednodušší, rychlejší a levnější na nasazení.
Přístup generování s rozšířeným vyhledáváním, který stahuje obrázky, obrázky a vizuální data do odpovědí modelu základního jazyka.
Tradiční nastavení generování s rozšířeným vyhledáváním, které zakládá jazykové modely pouze na písemných pasážích z dokumentů.
| Funkce | RAG s vizuálním kontextem | RAG s textovým kontextem |
|---|---|---|
| Vstupní modalita | Text + Obrázky + Vizuální data | Pouze text |
| Metoda vyhledávání | Multimodální vkládání (např. ColPali, CLIP) | vkládání textu (např. BGE, OpenAI ada) |
| Nejlepší pro | Grafy, diagramy, naskenované dokumenty, vizuální kontrola kvality | Články, Často kladené otázky, kód, strukturovaný text |
| Složitost | Vyšší – vyžaduje enkodéry obrazu a více úložiště | Nižší – jednodušší kanály a indexování |
| Náklady | Vyšší kvůli zpracování obrazu a využití tokenů | Nižší, zejména u malých textových bloků |
| Latence | Mírně vyšší než kódování obrazu | Obecně rychlejší |
| Závislost OCR | Často eliminováno přímým vyhledáváním obrazu | Vyžadováno pro naskenované nebo obrazové PDF soubory |
| Příklady modelů | GPT-4V, Gemini 1.5, LLaVA, Qwen-VL | GPT-4, Claude, Mistral, Lama 3 |
Pouze textový RAG sleduje osvědčenou cestu: dokumenty jsou rozděleny na části, vloženy do vektorů a uloženy v databázi pro vyhledávání podobností. Vizuální RAG volí zásadně odlišný přístup kódováním celých stránek nebo obrázků jako vizuálních vložených prvků, což systému umožňuje načítat informace na základě rozvržení, grafů a obrázků, nikoli pouze slov. Tato změna znamená, že vizuální RAG dokáže najít informace, které se nacházejí v grafech, tabulkách nebo ručně psaných poznámkách, které by OCR mohlo zkomolit.
Pokud dokumenty obsahují bohaté vizuální prvky, jako jsou finanční grafy, technické diagramy nebo lékařské zobrazování, vizuální RAG má tendenci překonávat přístupy založené pouze na textu. Studie benchmarků DocVQA a ChartQA ukazují, že modely, které přijímají načtené obrázky spolu s textem, odpovídají na otázky správněji než ty, které se spoléhají pouze na extrahovaný text. U čistě textových zdrojů, jako jsou blogové příspěvky nebo repozitáře kódu, však RAG založený pouze na textu funguje stejně dobře bez dodatečných režijních nákladů.
Vizuální RAG vyžaduje od vaší infrastruktury více místa. Ukládání vložených obrázků zabírá více místa na disku, vizuální kodéry jako ColPali vyžadují pro efektivní chod grafické procesory a vkládání obrázků do jazykových modelů spotřebovává mnohem více tokenů než prostý text. Pouze textový RAG zůstává pro většinu týmů cenově dostupnou volbou, zejména při práci s velkými soubory článků nebo dokumentace, které nevyžadují vizuální interpretaci.
Zvolte vizuální RAG, pokud vaše znalostní báze obsahuje naskenované PDF soubory, prezentaci, katalogy produktů s fotografiemi nebo jakýkoli obsah, kde vizuální rozvržení má význam. Textový RAG se osvědčil pro wiki zákaznické podpory, právní smlouvy v prostém textu, dokumentaci kódu a konverzační agenty, kde rychlost a náklady jsou důležitější než vizuální věrnost. Mnoho produkčních systémů nyní kombinuje obojí a pro některé dotazy načítá text a pro jiné obrázky.
Vizuální RAG vyžaduje multimodální model schopný zpracovávat obrazy, jako například GPT-4V, Claude 3.5 Sonnet, Gemini 1.5 Pro nebo open-source alternativy jako LLaVA a Qwen-VL. Textový RAG funguje prakticky s jakýmkoli jazykovým modelem, včetně menších open-weight modelů, jako jsou Llama 3 8B nebo Mistral 7B, takže je dostupný i na skromnějším hardwaru. Tato mezera v kompatibilitě se zmenšuje s tím, jak stále více modelů získává funkce pro práci s vizuálními technologiemi, ale textové nastavení stále nabízejí širší možnosti nasazení.
Vizuální RAG kompletně nahrazuje pouze textový RAG.
Vizuální RAG spíše doplňuje než nahrazuje textové přístupy. Pro čistě textové korpusy, jako jsou články nebo kód, je textové vyhledávání stále rychlejší a stejně přesné. Většina produkčních systémů těží z hybridního nastavení, které směruje dotazy k příslušnému vyhledávači.
Textový RAG vůbec neumí pracovat s dokumenty s obrázky.
Pouze textový RAG dokáže zpracovávat dokumenty obsahující obrázky, a to tak, že nejprve spustí OCR a indexuje extrahovaný text. Kvalita sice silně závisí na postupu OCR a složité rozvržení často ztrácí smysl, ale pro mnoho případů použití je to funkční přístup.
Vizuální RAG vždy dává lepší odpovědi než pouze textový RAG.
Vizuální RAG překonává textový RAG pouze tehdy, když jsou načtené vizuální informace skutečně relevantní pro dotaz. U otázek týkajících se prózy, kódu nebo strukturovaného textu může přidání obrázků způsobit šum a zvýšit náklady, aniž by se zlepšila přesnost.
Pro vizuální RAG potřebujete GPT-4V nebo Gemini.
Modely s otevřeným zdrojovým kódem, jako jsou LLaVA, Qwen-VL, InternVL a MiniCPM-V, dokáží efektivně zvládat vizuální úlohy RAG. Menší vizuální kodéry v kombinaci s vyhledávači, jako je ColPali, běží na spotřebitelských GPU, takže vizuální RAG je přístupný bez proprietárních API.
Visual RAG je pro produkční použití příliš drahý.
I když vizuální RAG stojí více než pouze text, techniky jako je komprese obrázků, vkládání do mezipaměti a selektivní vyhledávání udržují náklady na zvládnutelné úrovni. V odvětvích s velkým množstvím dokumentů, jako je právo, zdravotnictví a finance, zvýšení přesnosti často ospravedlňuje náklady.
Zvolte vizuální RAG, pokud vaše data obsahují hodně obrázků nebo pokud rozvržení, grafy a diagramy nesou kritický význam – je to jasný vítěz pro AI v dokumentech a vizuální odpovědi na otázky. Držte se pouze textového RAG pro tradiční znalostní báze, rychlejší nasazení a nižší náklady, zejména pokud je váš obsah již v čisté textové podobě. Mnoho týmů zjišťuje, že hybridní přístup funguje nejlépe, když nechá typ dotazu rozhodnout, jakou cestu vyhledávání zvolí.
A/B testování u vydání obsahu zahrnuje zavádění variant pro různé segmenty publika a měření výkonu, zatímco jednorázová vydání obsahu nabídnou jednu verzi všem najednou. Každý přístup vyhovuje jiným cílům, přičemž A/B testování upřednostňuje optimalizaci na základě dat a jednorázová vydání upřednostňují rychlost a jednoduchost.
A/B testování v modelovém servisu směruje provoz mezi konkurenčními verzemi modelů za účelem měření reálného výkonu, zatímco nasazení jednoho modelu dodává jeden model všem uživatelům. Týmy si mezi nimi vybírají na základě tolerance rizika, objemu provozu a potřeby statistického ověření před plným nasazením.
Toto srovnání analyzuje strategické volby v oblasti strojového učení mezi adaptací domény, která přenáší znalosti z označeného zdrojového prostředí do jiného cílového prostředí, a školením v doméně, které vytváří modely výhradně na datech získaných z přesného cílového nastavení nasazení.
Toto podrobné srovnání zkoumá architektonické rozdíly, provozní limity a reálný výkon adaptivních inteligentních systémů v porovnání s automatizačními systémy s pevným chováním. Zaměřujeme se na to, jak se systémy, které se neustále učí z nových environmentálních dat, vyrovnávají s rigidními, předvídatelnými rámci založenými na pravidlech.
Adaptivní vyhledávání dynamicky upravuje, jak a jaké informace systém načítá, na základě dotazu, zatímco statické vyhledávání se řídí pevnými pravidly bez ohledu na kontext. Oba systémy pohánějí moderní aplikace umělé inteligence, ale výrazně se liší ve flexibilitě, nákladech a přesnosti. Výběr mezi nimi závisí na složitosti pracovní zátěže a rozpočtu.
