Testuinguru bisuala duen RAG-ek hizkuntza-ereduak aberasten ditu irudiak, taulak eta diagramak testuarekin batera berreskuratuz, testu soileko RAG-ek, berriz, idatzizko pasarteetan soilik oinarritzen da. RAG bisuala bikaina da zeregin multimodaletan, hala nola dokumentuen ulermena eta galdera bisualen erantzunak, testu soileko RAG-a, berriz, errazagoa, azkarragoa eta merkeagoa da zabaltzeko.
Berreskuratze-aukeratutako sorkuntza-metodo bat, irudiak, irudiak eta datu bisualak erabiltzen dituena hizkuntza-ereduaren erantzunak oinarritzeko.
Dokumentuetako idatzizko pasarteak soilik erabiliz hizkuntza-ereduak oinarritzen dituen berreskurapen-aukera areagotuko belaunaldi-konfigurazio tradizionala.
| Ezaugarria | RAG testuinguru bisualarekin | Testu-testuinguruarekin soilik RAG |
|---|---|---|
| Sarrera Modalitatea | Testua + Irudiak + Ikusizko datuak | Testua bakarrik |
| Berreskuratze metodoa | Txertatze multimodalak (adibidez, ColPali, CLIP) | Testu txertaketak (adibidez, BGE, OpenAI ada) |
| Onena honetarako | Grafikoak, diagramak, eskaneatutako dokumentuak, ikusmenezko QA | Artikuluak, maiz egiten diren galderak, kodea, testu egituratua |
| Konplexutasuna | Goiagoa — ikusmen-kodetzaileak eta biltegiratze gehiago behar ditu | Behekoa — kanalizazio eta indexazio sinpleagoak |
| Kostua | Irudien prozesamenduaren eta tokenen erabileraren ondorioz handiagoa | Beherago, batez ere testu zati txikiekin |
| Latentzia | Irudien kodeketatik apur bat handiagoa | Oro har, azkarragoa |
| OCR mendekotasuna | Askotan irudiak zuzenean berreskuratuz ezabatzen dira | Eskaneatutako edo irudietan oinarritutako PDFetarako beharrezkoa |
| Adibide ereduak | GPT-4V, Gemini 1.5, LLaVA, Qwen-VL | GPT-4, Claude, Mistral, Llama 3 |
Testu-soilik RAG-ek bide urratua jarraitzen du: dokumentuak zatitan banatzen dira, bektoreetan txertatzen dira eta datu-base batean gordetzen dira antzekotasun-bilaketa egiteko. Visual RAG-ek funtsean bestelako ikuspegia hartzen du, orrialde edo irudi osoak txertatze bisual gisa kodetuz, sistemak diseinuaren, grafikoen eta irudien arabera berreskuratzea ahalbidetuz, hitzetan bakarrik erabili beharrean. Aldaketa honek esan nahi du visual RAG-ek grafikoen, taulen edo eskuz idatzitako oharren barruan dagoen informazioa aurki dezakeela, eta OCR-ek nahas dezake.
Dokumentuek finantza-diagramak, ingeniaritza-diagramak edo irudi medikoak bezalako irudi bisual aberatsak dituztenean, RAG bisualak testu-soilik erabiltzen duten ikuspegiak baino emaitza hobeak lortzen ditu. DocVQA eta ChartQA erreferentziazko ikerketek erakusten dute testuarekin batera berreskuratutako irudiak jasotzen dituzten modeloek testutik soilik erabiltzen dutenek baino erantzun egokiagoa ematen dietela galderei. Blog-argitalpen edo kode-biltegi bezalako iturri testual hutsetarako, ordea, testu-soilik erabiltzen duen RAGak ere ondo funtzionatzen du, gainkarga gehigarririk gabe.
Visual RAG-ek gehiago eskatzen dio zure azpiegiturari. Irudien txertatzeak disko-leku gehiago hartzen du, ColPali bezalako ikusmen-kodetzaileek GPUak behar dituzte eraginkortasunez funtzionatzeko, eta hizkuntza-ereduetan irudiak sartzeak testu soilak baino token askoz gehiago kontsumitzen ditu. Testu-soilik den RAG da talde gehienentzat aukera merkeena, batez ere interpretazio bisualik behar ez duten artikulu edo dokumentazio-corpus handiekin lan egiten dutenean.
Aukeratu RAG bisuala zure ezagutza-baseak PDF eskaneatuak, diapositiba-sortak, argazkidun produktuen katalogoak edo diseinu bisualak esanahia duen edozein eduki dituenean. Testu-soilik duen RAG bikaina da bezeroarentzako laguntza-wikietarako, testu arrunteko kontratu legaletarako, kode-dokumentaziorako eta elkarrizketa-agenteetarako, non abiadura eta kostua fideltasun bisuala baino garrantzitsuagoak diren. Ekoizpen-sistema askok biak konbinatzen dituzte orain, testua kontsulta batzuetarako eta irudiak beste batzuetarako berreskuratuz.
Visual RAG-ek irudiak prozesatzeko gai den eredu multimodal bat behar du, hala nola GPT-4V, Claude 3.5 Sonnet, Gemini 1.5 Pro, edo LLaVA eta Qwen-VL bezalako kode irekiko alternatibak. Testu soilik duen RAG-ek ia edozein hizkuntza-eredurekin funtzionatzen du, Llama 3 8B edo Mistral 7B bezalako pisu irekiko eredu txikiagoak barne, hardware apaletan ere eskuragarri bihurtuz. Bateragarritasun-hutsune hori txikitzen ari da eredu gehiagok ikusmen-gaitasunak lortzen dituzten heinean, baina testu soilik duten konfigurazioek gaur egun ere inplementazio-aukera zabalagoak eskaintzen dituzte.
Visual RAG-ek testu-soilik den RAG erabat ordezkatzen du.
Visual RAG-ek testu-soilik erabiltzen duten ikuspegiak ordezkatu beharrean osatzen ditu. Artikuluak edo kodea bezalako corpus testual hutsetarako, testu-soilik berreskuratzea azkarragoa eta zehatza da oraindik ere. Ekoizpen-sistema gehienek konfigurazio hibrido baten onura dute, kontsultak berreskuratzaile egokira bideratzen dituena.
Testu soilik duen RAG-ek ezin ditu irudiak dituzten dokumentuak kudeatu.
Testu-soilik RAG-ek irudiak dituzten dokumentuak prozesatu ditzake lehenik OCR exekutatuz eta ateratako testua indexatuz. Kalitatea OCR prozesuaren araberakoa da neurri handi batean, eta diseinu konplexuek askotan esanahia galtzen dute, baina erabilera-kasu askotarako bideragarria den ikuspegia da.
Visual RAG-ek beti ematen ditu erantzun hobeak testu-soilik duen RAG-ek baino.
RAG bisualak testu-RAG baino emaitza hobeak lortzen ditu soilik lortutako informazio bisuala kontsultarako benetan garrantzitsua denean. Prosari, kodeari edo testu egituratuari buruzko galderetan, irudiak gehitzeak zarata sor dezake eta kostuak handitu ditzake zehaztasuna hobetu gabe.
GPT-4V edo Gemini behar duzu RAG bisuala egiteko.
LLaVA, Qwen-VL, InternVL eta MiniCPM-V bezalako kode irekiko modeloek RAG bisualaren zereginak eraginkortasunez kudeatu ditzakete. ColPali bezalako berreskuratzaileekin konbinatutako ikusmen-kodetzaile txikiagoek kontsumitzaileen GPUetan exekutatzen dira, RAG bisuala API jabedunik gabe eskuragarri bihurtuz.
Visual RAG garestiegia da ekoizpenerako.
RAG bisualak testu hutsak baino gehiago kostatzen den arren, irudien konpresioa, txertatze-cachea eta berreskuratze selektiboa bezalako teknikek kostuak kudeagarri mantentzen dituzte. Dokumentu asko dituzten industrietan, hala nola zuzenbidean, osasungintzan eta finantzetan, zehaztasun-irabaziek gastua justifikatzen dute askotan.
Aukeratu RAG bisuala zure datuak irudiz beteta daudenean edo diseinuak, grafikoek eta diagramek esanahi kritikoa dutenean — dokumentuen adimen artifizialarentzat eta galdera-erantzun bisualetarako irabazle argia da. Testu-soilik duen RAGarekin jarraitu ezagutza-base tradizionaletarako, hedapen azkarragorako eta kostu txikiagoetarako, batez ere zure edukia dagoeneko testu garbi formatuan dagoenean. Talde askok uste dute ikuspegi hibridoa dela egokiena, kontsulta motak zein berreskuratze-bide hartu erabakitzen utziz.
Edukien argitalpenetan A/B probak aldaerak publiko segmentu desberdinetara zabaltzea eta errendimendua neurtzea dakar, behin-behineko edukien argitalpenek, berriz, bertsio bakarra guztiei aldi berean bidaltzen diete. Ikuspegi bakoitzak helburu desberdinak ditu, A/B probak datuetan oinarritutako optimizazioa lehenesten duelarik eta behin-behineko argitalpenek abiadura eta sinpletasuna lehenesten dituztelarik.
Modeloen zerbitzatzean A/B probak lehiakideen modeloen arteko trafikoa bideratzen du benetako munduko errendimendua neurtzeko, eta modelo bakarreko hedapenak, berriz, modelo bakarra bidaltzen die erabiltzaile guztiei. Taldeek bien artean aukeratzen dute arrisku-tolerantziaren, trafiko-bolumenaren eta guztiz zabaldu aurretik baliozkotze estatistikoaren beharraren arabera.
Adimen artifizialaren laguntzaileek elkarrizketa-elkarrekintzan, laguntza emozionalean eta laguntza egokitzailean jartzen dute arreta, produktibitate-aplikazio tradizionalek, berriz, zereginen kudeaketa egituratua, lan-fluxuak eta eraginkortasun-tresnak lehenesten dituzten bitartean. Konparaketak zereginetarako diseinatutako software zurrunetik produktibitatea interakzio natural eta gizakiaren antzekoarekin eta testuinguru-laguntzarekin uztartzen dituzten sistema egokitzaileetara igarotzea nabarmentzen du.
Adimen artifizialaren eta automatizazioaren arteko desberdintasun nagusiak azaltzen dituen konparazioa da hau, nola funtzionatzen duten, zein arazo ebazten dituzten, egokitasuna, konplexutasuna, kostuak eta enpresa-erabilera errealen kasuak aztertuz.
Azterketa zehatz honek IA bidezko sormena —non algoritmoen ereduen sintesiak ideien sorkuntza eta gauzatze teknikoa bizkortzen dituen— gizakiaren sormen hutsarekin alderatzen du, zeina erabat sortzen den ahultasun pertsonaletatik, sakontasun emozionaletik eta nahitako arau-hausteetatik. Tresna artifizialek sorkuntza demokratizatzen eta bolumena handitzen duten bitartean, benetako giza arteak bizitako esperientzian oinarritzen da lana esanahi sozial sakon batez hornitzeko.
