RAG z vizualnim kontekstom bogati jezikovne modele z iskanjem slik, grafikonov in diagramov poleg besedila, medtem ko se RAG, ki temelji samo na besedilu, zanaša izključno na pisne odlomke. Vizualni RAG blesti pri večmodalnih nalogah, kot sta razumevanje dokumentov in vizualno odgovarjanje na vprašanja, medtem ko je RAG, ki temelji samo na besedilu, še vedno enostavnejši, hitrejši in cenejši za uvedbo.
Pristop generiranja z razširjenim iskanjem, ki potegne slike, številke in vizualne podatke v odgovore modela osnovnega jezika.
Tradicionalna postavitev generiranja z razširjenim iskanjem, ki jezikovne modele utemeljuje le z uporabo pisnih odlomkov iz dokumentov.
| Funkcija | RAG z vizualnim kontekstom | RAG s kontekstom samo za besedilo |
|---|---|---|
| Vhodna modaliteta | Besedilo + Slike + Vizualni podatki | Samo besedilo |
| Metoda pridobivanja | Večmodalne vgradnje (npr. ColPali, CLIP) | Besedilne vdelave (npr. BGE, OpenAI ada) |
| Najboljše za | Grafikoni, diagrami, skenirani dokumenti, vizualno zagotavljanje kakovosti | Članki, pogosta vprašanja, koda, strukturirano besedilo |
| Kompleksnost | Višje – potrebuje vizualne kodirnike in več prostora za shranjevanje | Nižje – enostavnejši cevovodi in indeksiranje |
| Stroški | Višje zaradi obdelave slik in uporabe žetonov | Nižje, zlasti pri majhnih delih besedila |
| Zakasnitev | Nekoliko višje od kodiranja slike | Na splošno hitreje |
| Odvisnost od OCR | Pogosto se odpravi z neposrednim iskanjem slik | Zahtevano za skenirane ali slikovne PDF-je |
| Primeri modelov | GPT-4V, Gemini 1.5, LLaVA, Qwen-VL | GPT-4, Claude, Mistral, Lama 3 |
RAG, ki uporablja samo besedilo, sledi dobro uhojeni poti: dokumenti so razdeljeni na dele, vdelani v vektorje in shranjeni v zbirki podatkov za iskanje podobnosti. Vizualni RAG uporablja bistveno drugačen pristop, saj kodira celotne strani ali slike kot vizualne vdelave, kar sistemu omogoča iskanje na podlagi postavitve, grafikonov in slik namesto le besed. Ta premik pomeni, da lahko vizualni RAG najde informacije, ki se nahajajo v grafih, tabelah ali ročno napisanih zapiskih, ki bi jih OCR lahko poškodoval.
Ko dokumenti vsebujejo bogate vizualne elemente, kot so finančni grafikoni, inženirski diagrami ali medicinsko slikanje, vizualni RAG običajno prekaša pristope, ki uporabljajo samo besedilo. Študije primerjalnih testov DocVQA in ChartQA kažejo, da modeli, ki prejemajo pridobljene slike skupaj z besedilom, odgovarjajo na vprašanja pravilneje kot tisti, ki se zanašajo samo na izvlečeno besedilo. Pri izključno besedilnih virih, kot so objave na blogih ali repozitoriji kode, pa se RAG, ki uporablja samo besedilo, obnese prav tako dobro brez dodatnih stroškov.
Vizualni RAG zahteva več od vaše infrastrukture. Shranjevanje vdelanih slik zavzame več prostora na disku, vizualni kodirniki, kot je ColPali, za učinkovito delovanje zahtevajo grafične procesorje, vnašanje slik v jezikovne modele pa porabi veliko več žetonov kot golo besedilo. Samo besedilni RAG ostaja cenovno ugodna izbira za večino ekip, zlasti pri delu z velikimi korpusi člankov ali dokumentacije, ki ne potrebujejo vizualne interpretacije.
Izberite vizualni RAG, kadar vaša baza znanja vključuje skenirane PDF-je, diapozitive, kataloge izdelkov s fotografijami ali katero koli vsebino, kjer ima vizualna postavitev pomen. RAG, ki vsebuje samo besedilo, je odličen za wikije za podporo strankam, pravne pogodbe v navadnem besedilu, dokumentacijo kode in pogovorne agente, kjer sta hitrost in stroški pomembnejši od vizualne natančnosti. Številni produkcijski sistemi zdaj združujejo oboje, pri čemer za nekatere poizvedbe pridobivajo besedilo, za druge pa slike.
Vizualni RAG zahteva multimodalni model, ki je sposoben obdelave slik, kot so GPT-4V, Claude 3.5 Sonnet, Gemini 1.5 Pro ali odprtokodne alternative, kot sta LLaVA in Qwen-VL. RAG, ki deluje samo z besedilom, deluje s praktično katerim koli jezikovnim modelom, vključno z manjšimi odprtokodnimi modeli, kot sta Llama 3 8B ali Mistral 7B, zaradi česar je dostopen tudi na skromni strojni opremi. Ta vrzel v združljivosti se zmanjšuje, saj vedno več modelov pridobiva zmogljivosti vida, vendar nastavitve, ki delujejo samo z besedilom, še vedno ponujajo širše možnosti uvajanja.
Vizualni RAG popolnoma nadomesti RAG, ki prikazuje samo besedilo.
Vizualni RAG dopolnjuje in ne nadomešča pristopov, ki uporabljajo samo besedilo. Za izključno besedilne korpuse, kot so članki ali koda, je iskanje samo besedila še vedno hitrejše in enako natančno. Večina produkcijskih sistemov ima koristi od hibridne nastavitve, ki usmerja poizvedbe k ustreznemu iskalniku.
Samo besedilni RAG sploh ne more obdelati dokumentov s slikami.
RAG, ki deluje samo z besedilom, lahko še vedno obdela dokumente, ki vsebujejo slike, tako da najprej zažene optično prepoznavanje znakov (OCR) in indeksira izvlečeno besedilo. Kakovost je močno odvisna od cevovoda OCR, kompleksne postavitve pa pogosto izgubijo pomen, vendar je to uporaben pristop za številne primere uporabe.
Vizualni RAG vedno daje boljše odgovore kot besedilni RAG.
Vizualni RAG prekaša RAG samo za besedilo le, če so pridobljene vizualne informacije dejansko relevantne za poizvedbo. Pri vprašanjih o prozi, kodi ali strukturiranem besedilu lahko dodajanje slik povzroči šum in poveča stroške, ne da bi izboljšalo natančnost.
Za vizualno RAG potrebujete GPT-4V ali Gemini.
Odprtokodni modeli, kot so LLaVA, Qwen-VL, InternVL in MiniCPM-V, lahko učinkovito obvladujejo vizualne naloge RAG. Manjši vidni kodirniki v kombinaciji s programi za pridobivanje podatkov, kot je ColPali, delujejo na potrošniških grafičnih procesorjih, zaradi česar je vizualni RAG dostopen brez lastniških API-jev.
Vizualni RAG je predrag za produkcijsko uporabo.
Čeprav vizualna RAG dražja od samo besedilne, tehnike, kot so stiskanje slik, vdelava predpomnjenja in selektivno iskanje, ohranjajo stroške obvladljive. Za panoge, ki se ukvarjajo z dokumenti, kot so pravo, zdravstvo in finance, povečanje natančnosti pogosto upraviči stroške.
Izberite vizualni RAG, kadar so vaši podatki preobremenjeni s slikami ali kadar imajo postavitev, grafikoni in diagrami ključni pomen – je nedvomno zmagovalec za umetno inteligenco v dokumentih in vizualne odgovore na vprašanja. Za tradicionalne baze znanja, hitrejšo uvedbo in nižje stroške se držite besedilnega RAG, zlasti kadar je vaša vsebina že v čisti besedilni obliki. Številne ekipe ugotavljajo, da hibridni pristop deluje najbolje, saj vrsta poizvedbe same odloči, katero pot iskanja bo izbrala.
A/B testiranje pri izdajah vsebin vključuje uvajanje različic za različne segmente občinstva in merjenje uspešnosti, medtem ko enkratne izdaje vsebin hkrati vsem ponudijo eno različico. Vsak pristop ustreza različnim ciljem, pri čemer A/B testiranje daje prednost optimizaciji, ki temelji na podatkih, enkratne izdaje pa dajejo prednost hitrosti in preprostosti.
A/B testiranje pri streženju modelov usmerja promet med konkurenčnimi različicami modelov za merjenje učinkovitosti v resničnem svetu, medtem ko uvedba enega modela vsem uporabnikom dostavi en model. Ekipe izbirajo med njimi glede na toleranco tveganja, količino prometa in potrebo po statistični potrditvi pred popolno uvedbo.
Agenti umetne inteligence so avtonomni, ciljno usmerjeni sistemi, ki lahko načrtujejo, sklepajo in izvajajo naloge v različnih orodjih, medtem ko tradicionalne spletne aplikacije sledijo fiksnim delovnim procesom, ki jih vodijo uporabniki. Primerjava poudarja premik od statičnih vmesnikov k prilagodljivim, kontekstualno ozaveščenim sistemom, ki lahko proaktivno pomagajo uporabnikom, avtomatizirajo odločitve in dinamično komunicirajo med več storitvami.
Ta arhitekturna primerjava primerja deterministično inženirstvo agentov, ki temeljijo na pravilih, s prilagodljivo naravo učnih agentov, ki temeljijo na podatkih, ter ocenjuje njihovo uporabnost v resničnem svetu, omejitve skaliranja in delovanje v negotovosti.
Agentni sistemi umetne inteligence lahko načrtujejo, izvajajo večstopenjske naloge in avtonomno komunicirajo z zunanjimi orodji, medtem ko tradicionalni klepetalni roboti LLM primarno ustvarjajo besedilne odgovore v enem samem pogovornem koraku. Ključna razlika je v agenciji: agentni sistemi delujejo na podlagi ciljev, medtem ko klepetalni roboti reagirajo na pozive.
