Visuaalisen kontekstin RAG rikastuttaa kielimalleja hakemalla kuvia, kaavioita ja diagrammeja tekstin rinnalla, kun taas pelkkä tekstipohjainen RAG perustuu yksinomaan kirjoitettuihin katkelmiin. Visuaalinen RAG on erinomainen multimodaalisissa tehtävissä, kuten dokumenttien ymmärtämisessä ja visuaalisissa kysymyksiin vastaamisessa, kun taas pelkkä tekstipohjainen RAG on edelleen yksinkertaisempi, nopeampi ja halvempi ottaa käyttöön.
Hakua hyödyntävä generointimenetelmä, joka vetää kuvia, kuvioita ja visuaalista dataa maanpäällisten kielimallien vastauksiin.
Perinteinen haulla täydennetty sukupolviasetus, joka perustaa kielimallit käyttämällä vain dokumenttien kirjoitettuja otteita.
| Ominaisuus | RAG visuaalisella kontekstilla | RAG, jossa on vain tekstiä sisältävä konteksti |
|---|---|---|
| Syöttötapa | Teksti + Kuvat + Visuaalinen data | Vain teksti |
| Hakumenetelmä | Multimodaaliset upotukset (esim. ColPali, CLIP) | Tekstin upotukset (esim. BGE, OpenAI ada) |
| Paras | Kaaviot, kaaviot, skannatut asiakirjat, visuaalinen laadunvarmistus | Artikkelit, usein kysytyt kysymykset, koodi, jäsennelty teksti |
| Monimutkaisuus | Korkeampi — vaatii konenäköenkoodereita ja enemmän tallennustilaa | Alempi — yksinkertaisemmat putkistot ja indeksointi |
| Maksaa | Korkeampi kuvankäsittelyn ja tokenien käytön vuoksi | Matalampi, etenkin pienten tekstipalojen kanssa |
| Latenssi | Hieman korkeampi kuvan koodauksesta | Yleensä nopeampi |
| OCR-riippuvuus | Usein eliminoitu suoralla kuvanhaulla | Vaaditaan skannatuille tai kuvapohjaisille PDF-tiedostoille |
| Esimerkkimallit | GPT-4V, Gemini 1.5, LLaVA, Qwen-VL | GPT-4, Claude, Mistral, Laama 3 |
Pelkkä tekstipohjainen RAG seuraa tuttua polkua: dokumentit jaetaan osiin, upotetaan vektoreihin ja tallennetaan tietokantaan samankaltaisuushakua varten. Visuaalinen RAG käyttää perustavanlaatuisesti erilaista lähestymistapaa koodaamalla kokonaisia sivuja tai kuvia visuaalisiksi upotuksiksi, jolloin järjestelmä voi hakea tietoja asettelun, kaavioiden ja kuvioiden perusteella pelkkien sanojen sijaan. Tämä muutos tarkoittaa, että visuaalinen RAG voi löytää tietoja, jotka sijaitsevat kaavioissa, taulukoissa tai käsin kirjoitetuissa muistiinpanoissa, joita OCR saattaa sotkea.
Kun dokumentit sisältävät rikkaita visuaalisia elementtejä, kuten talouskaavioita, teknisiä kaavioita tai lääketieteellistä kuvantamista, visuaalinen RAG toimii yleensä paremmin kuin pelkkään tekstiin perustuvat lähestymistavat. DocVQA- ja ChartQA-vertailuarvoja koskevat tutkimukset osoittavat, että mallit, jotka vastaanottavat haettuja kuvia tekstin rinnalla, vastaavat kysymyksiin oikeammin kuin mallit, jotka perustuvat pelkästään poimittuun tekstiin. Puhtaasti tekstilähteissä, kuten blogikirjoituksissa tai koodivarastoissa, pelkkä tekstipohjainen RAG toimii kuitenkin yhtä hyvin ilman lisäkustannuksia.
Visuaalinen RAG vaatii infrastruktuuriltasi enemmän. Kuvien upottamiseen käytettävät tiedostot vievät enemmän levytilaa, ColPalin kaltaiset konenäköenkooderit vaativat näytönohjaimia toimiakseen tehokkaasti, ja kuvien syöttäminen kielimalleihin kuluttaa paljon enemmän tokeneita kuin pelkkä teksti. Pelkkä tekstipohjainen RAG on edelleen budjettiystävällinen valinta useimmille tiimeille, varsinkin työskenneltäessä suurten artikkeli- tai dokumenttikokonaisuuksien kanssa, jotka eivät vaadi visuaalista tulkintaa.
Valitse visuaalinen RAG, kun tietämyskannassasi on skannattuja PDF-tiedostoja, diaesityksiä, tuoteluetteloita valokuvineen tai mitä tahansa sisältöä, jossa visuaalisella asettelulla on merkitystä. Pelkkä tekstipohjainen RAG loistaa asiakastuen wikissä, selkokielisissä oikeudellisissa sopimuksissa, koodidokumentaatiossa ja keskusteluagenteissa, joissa nopeus ja kustannukset ovat tärkeämpiä kuin visuaalinen tarkkuus. Monet tuotantojärjestelmät yhdistävät nykyään molemmat, hakemalla tekstiä joihinkin kyselyihin ja kuvia toisiin.
Visuaalinen RAG vaatii kuvien käsittelyyn kykenevän multimodaalisen mallin, kuten GPT-4V:n, Claude 3.5 Sonnetin, Gemini 1.5 Pron tai avoimen lähdekoodin vaihtoehtoja, kuten LLaVA ja Qwen-VL. Vain teksti -RAG toimii käytännössä minkä tahansa kielimallin kanssa, mukaan lukien pienemmät avoimen lähdekoodin mallit, kuten Llama 3 8B tai Mistral 7B, joten se on käytettävissä jopa vaatimattomilla laitteistoilla. Tämä yhteensopivuuskuilu pienenee, kun yhä useammat mallit saavat näköominaisuuksia, mutta vain teksti -asetukset tarjoavat edelleen laajempia käyttöönottovaihtoehtoja.
Visuaalinen RAG korvaa kokonaan pelkkään tekstiin perustuvan RAG:n.
Visuaalinen RAG täydentää tekstipohjaisia lähestymistapoja sen sijaan, että se korvaisi ne. Puhtaasti tekstipohjaisten korpusten, kuten artikkelien tai koodin, kohdalla tekstipohjainen haku on edelleen nopeampi ja yhtä tarkka. Useimmat tuotantojärjestelmät hyötyvät hybridiasetelmasta, joka reitittää kyselyt oikealle hakupalvelulle.
Vain tekstiä sisältävä RAG ei pysty käsittelemään kuvia sisältäviä dokumentteja lainkaan.
Pelkkää tekstiä käyttävä RAG voi edelleen käsitellä kuvia sisältäviä dokumentteja ajamalla ensin OCR:n ja indeksoimalla poimitun tekstin. Laatu riippuu suuresti OCR-prosessista, ja monimutkaiset asettelut usein menettävät merkityksensä, mutta se on toimiva lähestymistapa monissa käyttötapauksissa.
Visuaalinen RAG antaa aina parempia vastauksia kuin pelkkä tekstipohjainen RAG.
Visuaalinen RAG on tekstilauseisiin perustuvaa RAGia parempi vain silloin, kun noudettu visuaalinen tieto on todella olennaista kyselyn kannalta. Proosaa, koodia tai jäsenneltyä tekstiä koskevissa kysymyksissä kuvien lisääminen voi aiheuttaa kohinaa ja lisätä kustannuksia parantamatta tarkkuutta.
Tarvitset GPT-4V:n tai Gemini:n visuaalisen RAG:n tekemiseen.
Avoimen lähdekoodin mallit, kuten LLaVA, Qwen-VL, InternVL ja MiniCPM-V, pystyvät käsittelemään visuaalisia RAG-tehtäviä tehokkaasti. Pienemmät konenäköenkooderit yhdistettynä hakuohjelmiin, kuten ColPali, toimivat kuluttajakäyttöön tarkoitetuilla näytönohjaimilla, mikä tekee visuaalisesta RAGista saatavilla ilman omia API-rajapintoja.
Visual RAG on liian kallis tuotantokäyttöön.
Vaikka visuaalinen RAG on kalliimpi kuin pelkkä teksti, tekniikat, kuten kuvan pakkaus, upotettu välimuisti ja valikoiva haku, pitävät kustannukset hallittavina. Dokumenttipainotteisilla aloilla, kuten laki-, terveydenhuolto- ja rahoitusalalla, tarkkuuden parannukset usein oikeuttavat kustannukset.
Valitse visuaalinen RAG, kun datasi on kuvapainotteinen tai kun asettelulla, kaavioilla ja diagrammeilla on kriittinen merkitys – se on selvä voittaja dokumenttien tekoälyn ja visuaalisten kysymysten vastausten kannalta. Käytä pelkkää tekstiä sisältävää RAGia perinteisten tietokantojen, nopeamman käyttöönoton ja alhaisempien kustannusten kannalta, varsinkin kun sisältösi on jo puhtaassa tekstimuodossa. Monet tiimit ovat havainneet, että hybridilähestymistapa toimii parhaiten, kun kyselytyyppi päättää, mitä hakupolkua käytetään.
Mallipalveluiden A/B-testaus reitittää liikennettä kilpailevien malliversioiden välillä mitatakseen reaalimaailman suorituskykyä, kun taas yhden mallin käyttöönotossa kaikille käyttäjille toimitetaan yksi malli. Tiimit valitsevat niiden välillä riskinsietokyvyn, liikennemäärän ja tilastollisen validoinnin tarpeen perusteella ennen täydellistä käyttöönottoa.
Sisältöjulkaisujen A/B-testaus sisältää variaatioiden julkaisemisen eri kohderyhmäsegmenteille ja suorituskyvyn mittaamisen, kun taas kertaluonteiset sisältöjulkaisut tarjoavat yhden version kaikille kerralla. Jokainen lähestymistapa sopii eri tavoitteisiin. A/B-testaus suosii datalähtöistä optimointia ja kertaluonteiset julkaisut painottavat nopeutta ja yksinkertaisuutta.
Adaptiivinen haku säätää dynaamisesti, miten ja mitä tietoja järjestelmä hakee kyselyn perusteella, kun taas staattiset hakuprosessit noudattavat kiinteitä sääntöjä kontekstista riippumatta. Molemmat tukevat nykyaikaisia tekoälysovelluksia, mutta ne eroavat toisistaan jyrkästi joustavuuden, kustannusten ja tarkkuuden suhteen. Valinta niiden välillä riippuu työmäärän monimutkaisuudesta ja budjetista.
Tämä yksityiskohtainen vertailu tutkii adaptiivisten älymoottorien arkkitehtonisia eroja, toiminnallisia rajoja ja tosielämän suorituskykyä verrattuna kiinteään käyttäytymiseen perustuviin automaatiojärjestelmiin. Tarkastelemme, miten järjestelmät, jotka oppivat jatkuvasti uusista ympäristötiedoista, pärjäävät jäykissä, ennustettavissa olevissa sääntöpohjaisissa kehyksissä.
Agenttien kouluttaminen eri ympäristöissä sisältää oppimista reaaliaikaisen vuorovaikutuksen kautta simuloiduissa tai fyysisissä ympäristöissä, kun taas offline-aineistojen kouluttaminen perustuu ennalta kerättyyn dataan ilman lisäkäyttöä ympäristöön. Molemmat lähestymistavat kouluttavat koneoppimismalleja, mutta eroavat toisistaan perustavanlaatuisesti siinä, miten agentit keräävät kokemusta ja parantavat suorituskykyä.
