RAG ar vizuālu kontekstu bagātina valodas modeļus, izgūstot attēlus, diagrammas un shēmas līdzās tekstam, savukārt tikai teksta RAG paļaujas tikai uz rakstiskām rindkopām. Vizuālā RAG izceļas ar multimodāliem uzdevumiem, piemēram, dokumentu izpratni un vizuālu jautājumu atbildēšanu, savukārt tikai teksta RAG joprojām ir vienkāršāka, ātrāka un lētāka ieviešama.
Ar izgūšanas palīdzību papildinātas ģenerēšanas pieeja, kas attēlus, figūras un vizuālos datus iegūst, lai iegūtu pamata valodas modeļa atbildes.
Tradicionāla izguves papildinātas ģenerēšanas iestatīšana, kas pamato valodas modeļus, izmantojot tikai rakstiskus fragmentus no dokumentiem.
| Funkcija | RAG ar vizuālo kontekstu | RAG ar tikai teksta kontekstu |
|---|---|---|
| Ievades modalitāte | Teksts + attēli + vizuālie dati | Tikai teksts |
| Ieguves metode | Multimodāli iegulšanas veidi (piemēram, ColPali, CLIP) | Teksta iegulšana (piemēram, BGE, OpenAI ada) |
| Vislabāk piemērots | Diagrammas, diagrammas, skenēti dokumenti, vizuālā kvalitātes nodrošināšana | Raksti, bieži uzdotie jautājumi, kods, strukturēts teksts |
| Sarežģītība | Augstāks — nepieciešami vizuālie kodētāji un lielāka krātuve | Zemāks — vienkāršāki cauruļvadi un indeksēšana |
| Izmaksas | Augstāks attēlu apstrādes un žetonu izmantošanas dēļ | Zemāks, īpaši ar nelieliem teksta fragmentiem |
| Latentums | Nedaudz augstāks no attēla kodēšanas | Parasti ātrāk |
| OCR atkarība | Bieži vien tiek novērsts, tieši izgūstot attēlus | Nepieciešams skenētiem vai attēlu PDF failiem |
| Piemēru modeļi | GPT-4V, Gemini 1.5, LLaVA, Qwen-VL | GPT-4, Klods, Mistrāls, Lama 3 |
Tikai teksta RAG seko labi iestaigātam ceļam: dokumenti tiek sadalīti daļās, iegulti vektoros un glabāti datubāzē līdzības meklēšanai. Vizuālā RAG izmanto principiāli atšķirīgu pieeju, kodējot veselas lapas vai attēlus kā vizuālus iegultos elementus, ļaujot sistēmai izgūt informāciju, pamatojoties uz izkārtojumu, diagrammām un attēliem, nevis tikai vārdiem. Šī maiņa nozīmē, ka vizuālā RAG var atrast informāciju, kas atrodas grafikos, tabulās vai ar roku rakstītās piezīmēs, kuras OCR varētu izkropļot.
Ja dokumentos ir bagātīgi vizuāli materiāli, piemēram, finanšu diagrammas, inženiertehniskās diagrammas vai medicīniskā attēlveidošana, vizuālā RAG parasti pārspēj tikai teksta pieejas. Pētījumi par DocVQA un ChartQA etaloniem liecina, ka modeļi, kas saņem izgūtos attēlus kopā ar tekstu, atbild uz jautājumiem pareizāk nekā tie, kas paļaujas tikai uz izgūto tekstu. Tomēr tīri teksta avotiem, piemēram, emuāra ierakstiem vai koda krātuvēm, tikai teksta RAG darbojas tikpat labi bez papildu izmaksām.
Vizuālais RAG prasa vairāk no jūsu infrastruktūras. Attēlu iegulšanas glabāšana aizņem vairāk vietas diskā, vizuālo kodētāju, piemēram, ColPali, efektīvai darbībai ir nepieciešamas grafiskās procesoras, un attēlu ievadīšana valodu modeļos patērē daudz vairāk žetonu nekā vienkārša teksta. Tikai teksta RAG joprojām ir budžetam draudzīga izvēle lielākajai daļai komandu, īpaši strādājot ar lieliem rakstu vai dokumentācijas korpusiem, kuriem nav nepieciešama vizuāla interpretācija.
Izvēlieties vizuālo RAG, ja jūsu zināšanu bāzē ir skenēti PDF faili, slaidu komplekti, produktu katalogi ar fotoattēliem vai jebkurš saturs, kurā vizuālajam izkārtojumam ir nozīme. Tikai teksta RAG lieliski piemērots klientu atbalsta wiki, juridiskiem līgumiem vienkāršā tekstā, koda dokumentācijai un sarunu aģentiem, kur ātrums un izmaksas ir svarīgākas par vizuālo precizitāti. Daudzas ražošanas sistēmas tagad apvieno abus, izgūstot tekstu dažiem vaicājumiem un attēlus citiem.
Vizuālajam RAG ir nepieciešams multimodāls modelis, kas spēj apstrādāt attēlus, piemēram, GPT-4V, Claude 3.5 Sonnet, Gemini 1.5 Pro vai atvērtā pirmkoda alternatīvas, piemēram, LLaVA un Qwen-VL. Tikai teksta RAG darbojas praktiski ar jebkuru valodas modeli, tostarp mazākiem atvērtā koda modeļiem, piemēram, Llama 3 8B vai Mistral 7B, padarot to pieejamu pat pieticīgā aparatūrā. Šī saderības atšķirība sarūk, jo arvien vairāk modeļu iegūst redzes iespējas, taču tikai teksta iestatījumi joprojām piedāvā plašākas izvietošanas iespējas mūsdienās.
Vizuālā RAG pilnībā aizstāj tikai teksta RAG.
Vizuālā RAG papildina, nevis aizstāj tikai teksta pieejas. Tīri tekstuāliem korpusiem, piemēram, rakstiem vai kodam, tikai teksta izguve joprojām ir ātrāka un tikpat precīza. Lielākā daļa ražošanas sistēmu gūst labumu no hibrīda iestatījuma, kas novirza vaicājumus uz atbilstošo izguvēju.
Tikai teksta RAG vispār nevar apstrādāt dokumentus ar attēliem.
Tikai tekstu saturošs RAG joprojām var apstrādāt attēlus saturošus dokumentus, vispirms palaižot OCR un indeksējot iegūto tekstu. Kvalitāte ir ļoti atkarīga no OCR procesa, un sarežģīti izkārtojumi bieži vien zaudē nozīmi, taču šī ir piemērota pieeja daudziem lietošanas gadījumiem.
Vizuālā RAG metode vienmēr sniedz labākas atbildes nekā tikai teksta RAG metode.
Vizuālā RAG metode pārspēj tikai teksta RAG metodi tikai tad, ja iegūtā vizuālā informācija faktiski ir atbilstoša vaicājumam. Jautājumiem par prozu, kodu vai strukturētu tekstu attēlu pievienošana var radīt troksni un palielināt izmaksas, neuzlabojot precizitāti.
Lai veiktu vizuālo RAG, nepieciešams GPT-4V vai Gemini.
Atvērtā pirmkoda modeļi, piemēram, LLaVA, Qwen-VL, InternVL un MiniCPM-V, var efektīvi apstrādāt vizuālos RAG uzdevumus. Mazāki redzes kodētāji apvienojumā ar izgūšanas rīkiem, piemēram, ColPali, darbojas uz patērētāju GPU, padarot vizuālo RAG pieejamu bez patentētām API.
Visual RAG ir pārāk dārgs lietošanai ražošanā.
Lai gan vizuālā RAG apstrāde izmaksā vairāk nekā tikai teksta apstrāde, tādas metodes kā attēlu saspiešana, iegultā kešatmiņa un selektīva izguve ļauj izmaksas pārvaldīt. Dokumentu apstrādes nozarēs, piemēram, juridiskajā, veselības aprūpes un finanšu jomā, precizitātes pieaugums bieži vien attaisno izdevumus.
Izvēlieties vizuālo RAG, ja jūsu datos ir daudz attēlu vai ja izkārtojumam, diagrammām un diagrammām ir kritiska nozīme — tas ir nepārprotams uzvarētājs dokumentu mākslīgajam intelektam un vizuālām jautājumu atbildēm. Tradicionālām zināšanu bāzēm, ātrākai ieviešanai un zemākām izmaksām izvēlieties tikai teksta RAG, īpaši, ja jūsu saturs jau ir tīra teksta formātā. Daudzas komandas uzskata, ka vislabāk darbojas hibrīda pieeja, ļaujot vaicājuma tipam izlemt, kuru izguves ceļu izmantot.
A/B testēšana modeļu apkalpošanā novirza trafiku starp konkurējošām modeļu versijām, lai novērtētu reālo veiktspēju, savukārt viena modeļa ieviešana visiem lietotājiem nosūta vienu modeli. Komandas izvēlas starp tiem, pamatojoties uz riska toleranci, trafika apjomu un statistiskās validācijas nepieciešamību pirms pilnīgas ieviešanas.
A/B testēšana satura izlaidumos ietver variāciju ieviešanu dažādiem auditorijas segmentiem un veiktspējas mērīšanu, savukārt vienreizēji satura izlaidumi vienlaikus nodrošina vienu versiju visiem lietotājiem. Katra pieeja atbilst dažādiem mērķiem, A/B testēšanai dodot priekšroku uz datiem balstītai optimizācijai, bet vienreizējiem izlaidumiem prioritāte ir ātrums un vienkāršība.
Adaptīvā izguve dinamiski pielāgo, kā un kādu informāciju sistēma izgūst, pamatojoties uz vaicājumu, savukārt statiskās izguves cauruļvadi ievēro fiksētus noteikumus neatkarīgi no konteksta. Abas nodrošina modernas mākslīgā intelekta lietojumprogrammas, taču tās ievērojami atšķiras pēc elastības, izmaksām un precizitātes. Izvēle starp tām ir atkarīga no darba slodzes sarežģītības un budžeta.
Šajā detalizētajā salīdzinājumā tiek pētītas adaptīvo intelekta dzinēju arhitektūras atšķirības, darbības ierobežojumi un reālā veiktspēja salīdzinājumā ar fiksētas uzvedības automatizācijas sistēmām. Mēs aplūkojam, kā sistēmas, kas nepārtraukti mācās no jauniem vides datiem, atbilst stingrām, paredzamām, uz noteikumiem balstītām sistēmām.
Aģentu apmācība vidēs ietver mācīšanos, izmantojot reāllaika mijiedarbību ar simulētu vai fizisku vidi, savukārt bezsaistes datu kopu apmācība balstās uz iepriekš apkopotiem datiem bez papildu piekļuves videi. Abas pieejas apmāca mašīnmācīšanās modeļus, taču būtiski atšķiras tas, kā aģenti apkopo pieredzi un uzlabo veiktspēju.
