Meklēšanas paplašinātā mākslīgā intelekta un tikai datu kopu apmācība
Meklēšanas papildinātā mākslīgā intelekta metode vaicājuma laikā iegūst tiešraides informāciju no ārējiem avotiem, savukārt tikai datu kopu apmācība pilnībā balstās uz zināšanām, kas apmācības laikā ir iekļautas modeļa svaros. Katrai pieejai ir atšķirīgi kompromisi attiecībā uz precizitāti, izmaksām, svaigumu un to, cik labi tā apstrādā jautājumus ārpus sākotnējās apmācības tvēruma.
Iezīmes
Meklēšanas paplašinātā mākslīgā intelekta funkcija var piekļūt informācijai, kas publicēta pirms brīža, savukārt tikai datu kopu modeļi tiek iesaldēti to apmācības robežvērtībā.
Uz atgūšanu balstītas sistēmas parasti halucinē mazāk, jo tās balstās uz faktiskajiem avota dokumentiem, nevis parametrisko atmiņu.
RAG ļauj atjaunināt modeļa zināšanas, apmainoties ar dokumentiem datubāzē, tādējādi izvairoties no pilnīgas pārapmācības izmaksām.
Tikai datu kopu modeļi ir ātrāki katrā vaicājumā un darbojas bezsaistē, padarot tos labāk piemērotus radošiem vai latentuma jutīgiem uzdevumiem.
Kas ir Meklēšanas paplašinātā mākslīgā intelekta?
Mākslīgā intelekta sistēmas, kas reāllaikā, ģenerējot atbildes, izgūst un iekļauj ārēju informāciju no meklētājprogrammām vai datubāzēm.
Izguves paplašinātās ģenerēšanas (RETRIEVAL-Augmented Generation) metodi, ko parasti dēvē par RAG, 2020. gada rakstā ieviesa Patriks Lūiss un viņa kolēģi no Facebook AI Research.
Meklēšanas paplašinātās sistēmas var piekļūt informācijai, kas publicēta pēc to apmācības beigām, dodot tām ievērojamas priekšrocības svaiguma ziņā.
Tādi modeļi kā Perplexity AI un Bing Chat lielā mērā paļaujas uz tiešsaistes meklēšanu tīmeklī, lai pamatotu savas atbildes uz aktuāliem avotiem.
RAG arhitektūras parasti savieno izguves komponentu ar ģeneratoru, ļaujot sistēmai citēt konkrētus dokumentus.
Halucināciju biežums parasti ievērojami samazinās, ja modeļi ir balstīti uz iegūtajiem pierādījumiem, nevis tikai uz parametrisko atmiņu.
Kas ir Apmācība tikai ar datu kopu?
Mākslīgā intelekta modeļi, kas ģenerē atbildes, pamatojoties tikai uz apmācības laikā apgūtajiem modeļiem, bez ārējas izguves vai tiešas piekļuves datiem.
GPT-3, GPT-4 un lielākā daļa lielo valodu modeļu, kas izlaisti pirms 2023. gada, tika apmācīti tikai ar statiskām datu kopām, neizgūstot tās secinājumu laikā.
Zināšanas, kas iestrādātas modeļa svaros, noveco brīdī, kad beidzas apmācība, radot fiksētu zināšanu beigu datumu.
Tīri parametriskie modeļi var būt ātrāki secinājumu izdarīšanas procesā, jo tie pilnībā izlaiž izguves soli.
Liela modeļa apmācība no nulles var izmaksāt miljoniem dolāru un prasīt vairākas nedēļas ilgu aprēķinu veikšanu tūkstošiem GPU.
Bez atgūšanas šie modeļi dažreiz safabricē ticami skanošus, bet nepareizus faktus, un šāda uzvedība pazīstama kā halucinācijas.
Salīdzinājuma tabula
Funkcija
Meklēšanas paplašinātā mākslīgā intelekta
Apmācība tikai ar datu kopu
Zināšanu avots
Tiešraides izguve no ārējām datubāzēm vai tīmekļa
Modeļa svaros iestrādātas statiskās zināšanas
Informācijas svaigums
Var piekļūt datiem, kas publicēti pirms brīža
Ierobežots līdz apmācību beigu datumam
Halucināciju risks
Zemāks, ja ir iezemēts iegūtajos avotos
Augstāks, īpaši nišas vai nesenām tēmām
Secinājumu ātrums
Lēnāks izguves pieskaitāmo izmaksu dēļ
Ātrāka, viena uz priekšu vērsta caurlaide caur modeli
Aprēķina izmaksas
Zemākas apmācības izmaksas, augstākas izmaksas par vaicājumu
Ļoti augstas apmācības izmaksas, zemas izmaksas par vaicājumu
Caurspīdīgums
Var citēt konkrētus avotus un dokumentus
Necaurspīdīgs, bez iebūvēta citēšanas mehānisma
Bezsaistes iespējas
Nepieciešama piekļuve tīklam vai datubāzei
Pēc apmācības darbojas pilnībā bezsaistē
Zināšanu mērogojamība
Zināšanu bāze var augt bez pārkvalifikācijas
Zināšanas aug tikai ar dārgu pārkvalifikāciju
Labākie lietošanas gadījumi
Izpēte, klientu atbalsts, faktu pārbaude, jaunumi
Radošā rakstīšana, kodēšana, vispārīgas sarunas
Detalizēts salīdzinājums
Kā viņi piekļūst zināšanām
Meklēšanas paplašinātā mākslīgā intelekta sistēma darbojas divos posmos: vispirms tā izgūst atbilstošos dokumentus no meklēšanas indeksa, vektoru datubāzes vai tiešsaistes tīmekļa, pēc tam šīs fragmentus ievada valodas modelī, kas sintezē atbildi. Tikai datu kopu modeļi pilnībā izlaiž izgūšanas soli un paļaujas uz modeļiem, kas apmācības laikā tiek saspiesti miljardos parametru. Praktiskā atšķirība ir tāda, ka RAG sistēma var citēt pirms stundas publicētu ziņu rakstu, savukārt statiskam modelim nebūtu ne jausmas par tā esamību.
Precizitāte un halucinācijas
Modeļa pamatošana ar iegūtiem pierādījumiem parasti samazina halucinācijas, īpaši faktuālu jautājumu gadījumā. Meta AI un citu pētījumu rezultāti liecina, ka RAG sistēmas sniedz pārbaudāmākas atbildes, jo modelis var balstīties uz faktisko avota tekstu, nevis minējumiem. Turpretī modeļi, kas balstās tikai uz datu kopām, dažreiz izdomā statistiku, citātus vai biogrāfiskas detaļas, kas izklausās pareizi, bet ir pilnībā safabricētas. Tomēr atgūšana pilnībā neizslēdz halucinācijas; modelis joprojām var nepareizi interpretēt vai nepareizi citēt avotus, ko tas iegūst.
Izmaksas un infrastruktūra
Liela valodas modeļa apmācība no nulles ir ārkārtīgi dārga, bieži vien sasniedzot miljoniem dolāru skaitļošanas izmaksās, un iegūtajam modelim joprojām ir zināšanu robeža. Meklēšanas paplašinātās sistēmas apgriež šo vienādojumu otrādi: pamatā esošais modelis var būt mazāks un lētāk apmācāms, taču katrs vaicājums izmaksā vairāk izguves soļa un papildu žetonu dēļ, kas tiek ievadīti konteksta logā. Organizācijām tas nozīmē, ka RAG bieži vien ir rentablāks, ja nepieciešama aktuāla informācija, nepārstrādājot robežmodeli.
Svaigums un pielāgošanās spēja
Viena no lielākajām meklēšanas paplašinātā mākslīgā intelekta priekšrocībām ir tā, ka jūs varat atjaunināt tā zināšanas, vienkārši atjauninot dokumentus tā izguves indeksā. Vai vēlaties, lai modelis zinātu par jaunu produktu līniju vai nesenām politikas izmaiņām? Vienkārši pievienojiet dokumentus. Apmācot tikai ar datu kopu, zināšanu atjaunināšana nozīmē jaunu datu vākšanu, atkārtotu apmācību vai precizēšanu un atkārtotu izvietošanu, kas var ilgt nedēļas. Tas padara RAG daudz praktiskāku tādām strauji mainīgām jomām kā finanses, tiesības un ziņas.
Caurspīdība un uzticēšanās
Tā kā meklēšanas paplašinātās sistēmas var norādīt uz konkrētiem dokumentiem, ko tās izmantoja, lietotāji var pārbaudīt apgalvojumus un iedziļināties avotos. Tas ir milzīgs ieguvums uzticībai, īpaši žurnālistikā, pētniecībā un uzņēmumu lietojumprogrammās. Tikai datu kopu modeļi nepiedāvā iebūvētu veidu, kā izsekot, no kurienes nākusi atbilde, kas apgrūtina auditēšanu. Daži jaunāki statiskie modeļi mēģina novērtēt ticamību, taču tie nevar sasniegt tādas sistēmas pārbaudāmību, kas burtiski parāda savu darbu.
Kad katra pieeja spīd
Meklēšanas paplašināta mākslīgā intelekta tehnoloģija izceļas, kad vissvarīgākā ir precizitāte, jaunums un avotu attiecināšana, piemēram, medicīnas pētījumu asistenti, juridisko dokumentu analīze vai klientu atbalsta roboti, kas izmanto zināšanu bāzi. Apmācība tikai ar datu kopām joprojām ir izdevīga uzdevumiem, kuriem nav nepieciešami ārēji fakti, piemēram, radošā rakstīšana, prāta vētra, koda ģenerēšana vai neformālas sarunas. Daudzas mūsdienu ražošanas sistēmas faktiski apvieno abus: spēcīgu bāzes modeli, kas papildināts ar izguvi, lai iegūtu labāko no abām pasaulēm.
Priekšrocības un trūkumi
Meklēšanas paplašinātā mākslīgā intelekta
Iepriekšējumi
+Vienmēr aktuāls
+Citē avotus
+Lētāka apmācība
+Vienkāršāki atjauninājumi
Ievietots
−Lēnāka secinājumu izdarīšana
−Nepieciešama infrastruktūra
−Izguves kļūdas
−Augstākas izmaksas par vaicājumu
Apmācība tikai ar datu kopu
Iepriekšējumi
+Ātra secinājumu izdarīšana
+Darbojas bezsaistē
+Vienkārša izvietošana
+Spēcīga argumentācija
Ievietots
−Zināšanu robeža
−Augstāks halucināciju risks
−Dārga pārkvalifikācija
−Nav avotu atsauču
Biežas maldības
Mīts
Meklēšanas paplašinātā mākslīgā intelekta darbība vispār nehalucinē.
Realitāte
RAG samazina halucinācijas, bet tās nenovērš. Modelis joprojām var nepareizi nolasīt, nepareizi citēt vai apvienot atgūtās teksta daļas maldinošā veidā. Iegūtās informācijas kvalitātei ir milzīga nozīme; slikti avoti noved pie sliktām atbildēm.
Mīts
Tikai datu kopu modeļi pēc apmācības nevar uzzināt neko jaunu.
Realitāte
Lai gan viņu parametriskās zināšanas ir fiksētas, tās joprojām var precizēt vai sniegt jaunu informāciju, izmantojot uzvednes un sistēmas ziņojumus. Ierobežojums ir tāds, ka tas nenotiek automātiski un prasa apzinātu piepūli.
Mīts
RAG ir tikai iedomāta meklētājprogramma.
Realitāte
Meklēšanas paplašinātā mākslīgā intelekta tehnoloģija apvieno izgūšanu ar ģeneratīvu modeli, kas sintezē, apkopo un pamato izgūto saturu. Tā ne tikai atgriež saites, bet arī ģenerē oriģinālas, kontekstuālas atbildes, kas balstītas uz šiem avotiem.
Mīts
Lielākiem modeļiem, kas apmācīti ar lielāku datu apjomu, nav nepieciešama izguve.
Realitāte
Pat lielākie modeļi, tostarp GPT-4 un Claude, gūst labumu no izguves faktu precizitātes un aktualitātes ziņā. Mērogs palīdz spriešanas procesā un plūdenā runā, taču tas neatrisina zināšanu robežvērtību un negarantē faktu precizitāti.
Mīts
Meklēšanas paplašinātās sistēmas vienmēr ir precīzākas.
Realitāte
Precizitāte ir ļoti atkarīga no izgūšanas indeksa kvalitātes un modeļa spējas izmantot izgūto kontekstu. Slikti konfigurēts RAG cauruļvads noteiktos uzdevumos var darboties sliktāk nekā labi apmācīts statiskais modelis.
Bieži uzdotie jautājumi
Kas ir atgūšanas paplašinātā ģenerēšana (RAG)?
RAG ir metode, kurā mākslīgā intelekta modelis pirms atbildes ģenerēšanas izgūst atbilstošus dokumentus no ārēja avota, piemēram, vektoru datubāzes vai tīmekļa. Izgūtās teksta daļas tiek ievadītas modeļa kontekstā, pamatojot atbildi ar reālu informāciju. Šī pieeja tika formalizēta 2020. gada Facebook AI Research rakstā, un kopš tā laika tā ir kļuvusi par mūsdienu mākslīgā intelekta lietojumprogrammu stūrakmeni.
Kāpēc mākslīgā intelekta modeļiem ir halucinācijas?
Halucinācijas rodas, kad modelis ģenerē ticami skanošu, bet faktiski nepareizu informāciju. Valodu modeļi ir apmācīti paredzēt nākamo marķieri, nevis pārbaudīt patiesību, tāpēc tie dažreiz aizpilda tukšumus ar pārliecinoši skanošiem minējumiem. Atbildes uz iezemēšanu iegūtajos avotos, kā to dara RAG, ievērojami samazina šo problēmu, sniedzot modelim reālus pierādījumus, uz kuriem balstīties.
Vai meklēšanas paplašinātā mākslīgā intelekta funkcija var darboties bezsaistē?
Ne tradicionālā nozīmē. Meklēšanas paplašinātām sistēmām ir nepieciešama piekļuve izguves indeksam, kas parasti nozīmē datubāzi, vektoru krātuvi vai tīmekļa savienojumu. Tomēr jūs varat palaist pilnībā bezsaistes RAG iestatījumu, izmantojot lokālu vektoru datubāzi, piemēram, FAISS vai Chroma, ar dokumentiem, kas glabājas jūsu pašu datorā. Pašam modelim nav nepieciešams internets, bet izguves komponentam ir nepieciešams pieejams datu avots.
Cik maksā liela valodas modeļa apmācība?
Robežmodeļa, piemēram, GPT-4 vai Gemini, apmācība var izmaksāt no desmitiem miljonu līdz vairāk nekā simts miljoniem dolāru atkarībā no izmēra un apmācības ilguma. Mazākus atvērtā pirmkoda modeļus parametru diapazonā no 7B līdz 70B var apmācīt par desmitiem tūkstošu līdz dažiem miljoniem dolāru. Meklēšanas paplašinātās pieejas bieži vien pilnībā ļauj izvairīties no šīm izmaksām, izmantojot mazākus modeļus apvienojumā ar izgūšanu.
Kura ir labāka klientu atbalsta tērzēšanas robotiem?
Klientu atbalstam parasti labāka izvēle ir mākslīgais intelekts ar meklēšanas papildināšanu, jo tas var iegūt atbildes tieši no jūsu zināšanu bāzes, produktu dokumentācijas vai palīdzības centra rakstiem. Tas nozīmē, ka atbildes tiek atjauninātas, attīstoties jūsu produktiem un politikām, un robots var citēt tieši to rakstu, kas klientam jāizlasa. Tikai datu kopas modelim būtu nepieciešama pastāvīga pārapmācība, lai neatpaliktu no izmaiņām.
Vai visas mūsdienu mākslīgā intelekta sistēmas izmanto RAG?
Ne visi, bet arvien vairāk to dara. Tādi produkti kā Perplexity, Bing Chat un Notion AI lielā mērā balstās uz izgūšanu. Citi, piemēram, GPT-4 vai Claude bāzes versijas, pēc noklusējuma darbojas bez izgūšanas, bet tos var savienot pārī ar izgūšanas rīkiem, izmantojot API un sistēmas, piemēram, LangChain vai LlamaIndex. Daudzos uzņēmumu ieviešanas procesos tagad ir apvienotas abas pieejas.
Kas ir zināšanu robežvērtība?
Zināšanu robeža ir datums, pēc kura modelim vairs nav informācijas no tā apmācības datiem. Piemēram, GPT-4 apmācības dati sniedzas līdz noteiktam datumam, un viss, kas publicēts pēc tam, nebūs tā parametriskajā atmiņā. Meklēšanas paplašinātās sistēmas apiet šo ierobežojumu, izgūstot jaunu informāciju vaicājuma laikā, faktiski nepiešķirot tām nekādu robežu.
Vai es varu pievienot RAG esošam modelim?
Jā, un tas patiesībā ir diezgan izplatīti. Gandrīz jebkuru valodas modeli var ietvert izguves slāni, izmantojot tādus ietvarus kā LangChain, LlamaIndex vai Haystack. Pats modelis nav jāpārkvalificē; jums ir nepieciešama tikai dokumentu vektoru datubāze un izguves rīks, kas atrod atbilstošas teksta daļas, ko ievietot uzvednē. Šis ir viens no ātrākajiem veidiem, kā piešķirt statiskam modelim piekļuvi patentētai vai atjauninātai informācijai.
Vai meklēšanas paplašinātā mākslīgā intelekta tehnoloģija ir drošāka?
Tas ir atkarīgs no iestatījumiem. RAG dažos veidos var būt drošāks, jo sensitīvi dati paliek jūsu kontrolētajā datubāzē, nevis tiek iebūvēti modeļa svaros. Tomēr tas ievieš arī jaunas uzbrukuma virsmas, piemēram, tūlītēju injekciju, izmantojot izgūtos dokumentus. Tikai datu kopu modeļi visu glabā vienuviet, bet var nopludināt apmācības datus, tos iegaumējot. Abām pieejām ir nepieciešama rūpīga drošības izstrāde.
Vai RAG aizstās tradicionālo modeļu apmācību?
Maz ticams, vismaz ne pilnībā. RAG papildina apmācību, nevis aizstāj to. Labi apmācītam modelim joprojām ir nepieciešama spēcīga spriešanas spēja, valodas izpratne un instrukciju izpildes spējas, ko nekas no tā nenodrošina izguve. Visefektīvākās sistēmas izmanto spējīgu bāzes modeli, kas ir uzlabots ar izguves funkciju, iegūstot apmācības spriešanas jaudu un meklēšanas svaigumu.
Spriedums
Ja jūsu lietojumprogrammai ir nepieciešama aktuāla informācija, pārbaudāmi avoti un iespēja atjaunināt zināšanas bez atkārtotas apmācības, labākā izvēle ir meklēšanas paplašināta mākslīgā intelekta metode. Ja prioritāte ir neapstrādātu secinājumu ātrums, darbība bezsaistē vai radoši uzdevumi, kuros faktuālais pamatojums ir mazāk svarīgs, apmācība tikai ar datu kopu joprojām ir stabila un bieži vien vienkāršāka iespēja. Praksē visspējīgākās mūsdienu sistēmas apvieno abas pieejas, nevis piekāpjas vienai galējībai.