dirbtinis intelektasmašininis mokymasispaieškos-papildytos-generacijosdidelių kalbų modeliaiDirbtinio intelekto architektūra

Išorinės atminties didinimas ir vidinės modelio atmintis

Išorinės atminties papildymas suteikia dirbtinio intelekto sistemoms atskirą, ieškomą žinių saugyklą, iš kurios jos gali išgauti duomenis darant išvadas, o vidinė modelio atmintis mokymo metu tiesiogiai įdeda žinias į neuroninio tinklo svorius. Kiekvienas metodas skirtingais būdais kompensuoja lankstumą, delsą ir samprotavimo gylį.

Akcentai

Išorinę atmintį galima atnaujinti per kelias minutes; vidinei atminčiai reikia brangiai apmokyti.
Vidinė atmintis leidžia greičiau atlikti išvadas, nes nereikia atlikti jokių paieškos veiksmų.
Išorinė atmintis sumažina haliucinacijas, įžemindama reakcijas atkurtuose šaltiniuose.
Hibridinės architektūros, jungiančios abu metodus, tampa gamybos standartu.

Kas yra Išorinės atminties didinimas?

Paieškomis pagrįstas metodas, kai dirbtinio intelekto modeliai išvadų darymo metu pasiekia saugomą informaciją iš išorinių šaltinių, o ne vien remiasi išmoktais parametrais.

Paieškos papildyta generacija (RAG) yra plačiausiai taikoma forma, kurią 2020 m. pristatė „Facebook AI Research“.
Išorinė atmintis paprastai būna vektorinių duomenų bazių, tokių kaip FAISS, Pinecone arba Weaviate, kurios saugo dokumentų įterpimus, pavidalu.
Žinias galima atnaujinti realiuoju laiku tiesiog pridedant arba modifikuojant įrašus išorinėje saugykloje, nereikalaujant iš naujo mokyti modelio.
Tokios sistemos kaip „ChatGPT“ naršymo režimas ir „Google“ paieškos papildytų faktų sistema remiasi išorine paieška, kad pagrįstų atsakymus dabartinėje informacijoje.
Šis metodas smarkiai sumažina haliucinacijas, kai atkurtas kontekstas yra tinkamas ir gerai struktūruotas.

Kas yra Vidinė modelio atmintis?

Žinios, tiesiogiai užkoduotos neuroninio tinklo parametruose per mokymą, leidžia modeliui prisiminti informaciją be išorinių paieškų.

Dideli kalbų modeliai, tokie kaip GPT-4, Claude ir Llama, didžiąją dalį savo faktinių žinių kaupia milijarduose išmoktų svorių.
Vidinė atmintis įgyjama išankstinio mokymo metu su didžiuliais teksto korpusais ir tobulinama taikant tikslinimo ir sustiprinimo mokymąsi.
Baigus mokymus, žinios yra fiksuotos, nebent modelis būtų papildomai apmokytas arba tikslinamas.
Išgavimas iš vidinės atminties vyksta per tiesioginius perdavimus, kurie aktyvuoja atitinkamus neuroninius kelius ir sukuria išvestis vienu žingsniu.
MIT ir „Anthropic“ tyrimai rodo, kad faktų prisiminimas pagal svorius dažnai yra asociatyvus ir gali būti nenuoseklus skirtingose frazėse.

Palyginimo lentelė

Funkcija	Išorinės atminties didinimas	Vidinė modelio atmintis
Žinių saugojimo vieta	Atskira vektorinė duomenų bazė arba dokumentų saugykla	Užkoduota modelio parametruose (svoriuose)
Atnaujinimo metodas	Dokumentų pridėjimas arba redagavimas išorinėje saugykloje	Permokyti arba tiksliai suderinti modelį
Išvados latencija	Didesnis dėl paieškos žingsnio	Apatinis, vienas perdavimas į priekį
Žinių mastelio keitimas	Praktiškai neribotas, svarstyklės su saugykla	Riboja modelio dydis ir mokymo duomenys
Haliucinacijų rizika	Mažesnis, kai paieška tiksli	Didesnis, ypač neaiškių ar neseniai pateiktų faktų atveju
Skaičiavimo kaina	Mažesnės mokymo išlaidos, didesnės užklausos išlaidos	Didelė mokymo kaina, maža užklausos kaina
Skaidrumas	Šaltinius galima cituoti tiesiogiai	Neskaidrios, žinios paskirstytos pagal svorius
Geriausiai tinka	Dinaminės žinios, įmonės paieška, faktiniai klausimai ir atsakymai	Bendras samprotavimas, kūrybinės užduotys, pokalbio sklandumas

Išsamus palyginimas

Kaip įgyjamos ir saugomos žinios

Išorinės atminties papildymas kuria žinias už modelio ribų, paprastai įterpdamas dokumentus į vektorius ir saugodamas juos duomenų bazėje, į kurią modelis pateikia užklausas, kai to reikia. Vidinė modelio atmintis veikia priešingai: faktai mokymo metu susilieja su milijardais skaitinių svorių ir tampa modelio neuroninio audinio dalimi. Pirmasis metodas atmintį traktuoja kaip biblioteką, kurią modelis lanko, o antrasis – kaip gyvenimišką patirtį, kurią modelis nešiojasi su savimi.

Žinių atnaujinimas ir palaikymas

Kai atsiranda nauja informacija, išorinės atminties sistemas galima atnaujinti per kelias minutes, atnaujinant duomenų bazę. Vidinės atminties modeliams reikia brangaus pakartotinio mokymo arba tikslinimo, kuris gali užtrukti savaites ir kainuoti milijonus dolerių. Dėl to išorinis papildymas yra daug praktiškesnis srityse, kuriose informacija keičiasi greitai, pavyzdžiui, teisinėse duomenų bazėse, medicininėse gairėse ar produktų kataloguose.

Tikslumas ir haliucinacijų elgesys

Išorinė atmintis linkusi remtis patikrinamais šaltiniais, o tai žymiai sumažina sufabrikuotų atsakymų skaičių, kai paieškos etape pateikiamos atitinkamos ištraukos. Vidinės atminties modeliai gali užtikrintai pateikti tikėtinai skambančius, bet neteisingus faktus, ypač nišinėmis temomis arba bet kuo, kas paaiškėjo po jų mokymo ribos. Hibridinės sistemos, derinančios abu metodus, dažnai pranoksta kiekvieną iš jų atskirai pagal faktinius kriterijus.

Našumo ir sąnaudų kompromisai

Vidinė atmintis pranašesnė dėl neapdorotų išvadų greičio, nes nereikia atlikti paieškos žingsnio, todėl ji idealiai tinka delsai jautrioms programoms, tokioms kaip pokalbių robotai ir kodavimo asistentai. Išorinė atmintis prideda paieškos šuolį, kuris gali pridėti 100–500 milisekundžių vienai užklausai, tačiau tai smarkiai sumažina parametrų skaičių, reikalingą tam tikram žinių pločiui. Daugelyje gamybinių sistemų dabar naudojami mažesni modeliai su didele išorine atmintimi, o ne didžiuliai modeliai su viskuo, kas jau yra įdiegta.

Samprotavimas ir apibendrinimas

Vidinė atmintis puikiai tinka abstrakčiam samprotavimui, analogijoms ir kūrybinei sintezei, nes žinios yra glaudžiai integruotos su modelio samprotavimo grandinėmis. Išorinė atmintis labiau tinka paieškos įrankiui, puikiai tinkančiam faktams, bet mažiau efektyviam idėjų derinimui naujais būdais. Dirbtinio intelekto tyrimų srityje vis labiau orientuojamasi į sistemas, kurios sujungia abu šiuos dalykus, naudodamos vidinę atmintį samprotavimui ir išorinę atmintį įžeminimui.

Privalumai ir trūkumai

Išorinės atminties didinimas

Privalumai

+ Atnaujinimai realiuoju laiku
+ Šaltinio citata
+ Mažesnės mokymo išlaidos
+ Neribotas žinių mastas

Pasirinkta

− Didesnė užklausos delsa
− Priklauso nuo paieškos kokybės
− Infrastruktūros pridėtinės išlaidos
− Mažiau efektyvus samprotavimas

Vidinė modelio atmintis

Privalumai

+ Greitas išvadas
+ Gilus mąstymo gebėjimas
+ Jokių išorinių priklausomybių
+ Kompaktiškas diegimas

Pasirinkta

− Brangu atnaujinti
− Žinių ribos
− Didesnė haliucinacijų rizika
− Neskaidri žinių saugykla

Dažni klaidingi įsitikinimai

Mitas

Išorinės atminties papildymas visiškai pašalina haliucinacijas dirbtinio intelekto sistemose.

Realybė

Nors paieškos įžeminimas žymiai sumažina haliucinacijas, jis jų nepašalina. Jei paieškos etapas grąžina nesusijusius arba žemos kokybės dokumentus, modelis vis tiek gali pateikti neteisingus atsakymus. Efektyvumas labai priklauso nuo įterpimų kokybės, skaidymo į fragmentus strategijos ir paieškos įrankio tinkamumo reitingo.

Mitas

Didesni modeliai patikimiau prisimena daugiau faktų nei mažesni.

Realybė

Mastelio keitimas pagerina vidutinį įsiminimą, bet negarantuoja nuoseklumo. Tyrimai parodė, kad net dideli modeliai gali neprisiminti faktų, su kuriais aiškiai susidūrė mokymo metu, ypač kai klausimai suformuluoti kitaip nei originalus kontekstas. Įsiminimas neuroniniuose tinkluose yra asociatyvus ir trapus, palyginti su tiesioginiu duomenų bazės saugojimu.

Mitas

RAG sistemoms nereikia jokio mokymo ar tikslinimo.

Realybė

Nors pačiai žinių bazei nereikia mokymo, gamybinės RAG sistemos labai naudingos tiksliai suderinant paieškos įrankį, įterpimo modelį ir kartais generatorių. Standartiniai RAG srautai dažnai gerokai atsilieka nuo individualiai suderintų srautų atliekant konkrečiai sričiai skirtas užduotis.

Mitas

Vidinė modelio atmintis išlieka fiksuota visam laikui, kai mokymas baigiasi.

Realybė

Šiuolaikiniai metodai, tokie kaip nuolatinis mokymasis, LoRA tikslinimas ir modelio redagavimas, leidžia tikslingai atnaujinti modelio vidines žinias be visiško pakartotinio mokymo. Tokie metodai kaip ROME ir MEMIT gali tiesiogiai redaguoti konkrečius faktus modelio svoriuose, nors šie metodai vis tiek yra mažiau patikimi nei tiesiog išorinės duomenų bazės atnaujinimas.

Mitas

Išorinė atmintis ir vidinė atmintis yra vienas kitą paneigiantys metodai.

Realybė

Dauguma pažangiausių dirbtinio intelekto sistemų naudoja abu vienu metu. Modelis gali remtis vidiniais svoriais bendram samprotavimui ir kalbos sklandumui, o konkrečius faktus iš išorinės saugyklos išgauti gali. Tokios sistemos kaip „LangChain“ ir „LlamaIndex“ yra specialiai sukurtos šiam hibridiniam elgesiui valdyti.

Dažnai užduodami klausimai

Kuo skiriasi išorinės atminties didinimas ir vidinės modelio atminties?

Išorinės atminties papildymas saugo žinias atskiroje duomenų bazėje, į kurią modelis pateikia užklausas vykdymo metu, o vidinė modelio atmintis mokymo metu žinias koduoja tiesiai į neuroninio tinklo svorius. Pirmasis būdas yra tarsi suteikti modeliui prieigą prie bibliotekos, o antrasis – priversti modelį įsiminti viską, ką jis perskaitė.

Kuris metodas veiksmingiau sumažina dirbtinio intelekto haliucinacijas?

Išorinės atminties papildymas paprastai veiksmingiau sumažina haliucinacijas, nes reakcijos pagrįstos gautais dokumentais, kuriuos galima cituoti ir patikrinti. Vidinės atminties modeliai vis dar gali užtikrintai haliucinuoti, ypač apie neaiškius faktus ar temas, kurios nėra susijusios su jų mokymo pasiskirstymu. Nepaisant to, atminties atkūrimo kokybė yra labai svarbi, o blogas atminties atkūrimo įrankis gali padaryti savo klaidų.

Ar galima derinti išorinės atminties didinimą su vidine modelio atmintimi?

Taip, ir dauguma gamybinių dirbtinio intelekto sistemų daro būtent tai. Modelis naudoja savo vidinius svorius samprotavimui, kalbos generavimui ir šablonų atpažinimui, tuo pačiu metu ištraukdamas konkrečius faktus iš išorinės saugyklos. Šis hibridinis metodas yra šiuolaikinių RAG pagrindu veikiančių asistentų pagrindas ir jį palaiko tokios sistemos kaip „LangChain“, „LlamaIndex“ ir „Haystack“.

Kiek kainuoja atnaujinti žinias kiekvienoje sistemoje?

Išorinės atminties atnaujinimas skaičiavimo požiūriu iš esmės yra nemokamas – tereikia pridėti arba modifikuoti dokumentus duomenų bazėje. Vidinės atminties atnaujinimas atliekant pakartotinį mokymą gali kainuoti nuo tūkstančių iki milijonų dolerių, priklausomai nuo modelio dydžio, o lengvesniems metodams, tokiems kaip LoRA tikslinimas, vis tiek reikia GPU valandų ir kruopštaus įvertinimo.

Ar RAG yra tas pats, kas išorinės atminties didinimas?

RAG yra populiariausias išorinės atminties papildymo įgyvendinimas, tačiau pati koncepcija yra platesnė. Išorinė atmintis taip pat gali apimti įrankių naudojimą, API iškvietimus, braižymo blokus ir epizodines atminties buferius. RAG konkrečiai reiškia teksto ištraukų gavimą iš vektorinės duomenų bazės, siekiant sąlygoti modelio atsaką.

Kuris metodas yra greitesnis išvados darymo metu?

Vidinė modelio atmintis yra greitesnė, nes jai reikia tik vieno perdavimo per neuroninį tinklą. Išorinės atminties papildymas prideda paieškos veiksmą, kuris paprastai trunka nuo 100 iki 500 milisekundžių, priklausomai nuo duomenų bazės dydžio ir įterpimo paieškos metodo. Realaus laiko programose šis delsos skirtumas gali būti reikšmingas.

Ar dideli kalbų modeliai apskritai naudoja išorinę atmintį?

Taip, vis dažniau. „ChatGPT“ naršymui ir pritaikytoms GPT funkcijoms naudoja paieškos funkciją, „Claude“ gali ieškoti dokumentuose ir įrankiuose, o „Gemini“ tiesiogiai integruoja „Google“ paieškos rezultatus. Net modeliai su didele vidine atmintimi naudojasi išorine dabartinių įvykių ir nuosavybės teise saugomos informacijos paieškos funkcija.

Kas nutinka, kai nepavyksta atkurti išorinės atminties?

Kai paieškos rezultatas negrąžina nieko reikšmingo, modelis paprastai grįžta prie savo vidinės atminties, o tai reiškia, kad haliucinacijos vis tiek gali pasireikšti. Tvirtos RAG sistemos tai sprendžia pripažindamos netikrumą, užduodamos patikslinančius klausimus arba atsisakydamos atsakyti, kai pasitikėjimas yra žemas. Todėl paieškos sistemos kokybė yra svarbiausias RAG srauto komponentas.

Ar galima redaguoti vidinę modelio atmintį be permokymo?

Taip, naudojant modelio redagavimo metodus, tokius kaip ROME, MEMIT, ir žinių distiliavimo metodus, kurie orientuojasi į konkrečius faktus svoriuose. Šie metodai gali įterpti, modifikuoti arba ištrinti atskirus faktus, tačiau jie yra mažiau patikimi nei išorinės duomenų bazės atnaujinimas ir kartais gali pabloginti bendrą modelio našumą.

Kuris metodas yra geresnis įmonių dirbtinio intelekto programoms?

Išorinės atminties didinimas paprastai yra geresnis pasirinkimas įmonių programoms, nes tai leidžia įmonėms saugoti nuosavybės teise saugomus duomenis savo saugiose duomenų bazėse be pakartotinio modelių mokymo. Tai taip pat suteikia audituojamumą per šaltinių citatas, o tai svarbu reguliuojamoms pramonės šakoms, tokioms kaip finansai, sveikatos apsauga ir teisė.

Nuosprendis

Rinkitės išorinės atminties papildymą, kai jūsų programai reikalinga naujausia informacija, šaltinių priskyrimas ir galimybė atnaujinti žinias be pakartotinio mokymo. Rinkitės vidinę modelio atmintį, kai jums reikia greito išvadų darymo, stipraus samprotavimo gebėjimo ir savarankiškos sistemos, kuri nepriklauso nuo išorinės infrastruktūros. Praktiškai šiandien pajėgiausios dirbtinio intelekto sistemos derina abu šiuos dalykus: faktams pagrįsti naudoja paiešką ir vidinius svorius jų samprotavimui.

Susiję palyginimai

„DeepSeek V4“ ir „GPT-4“ klasės modeliai

„DeepSeek V4“ yra kylantis atvirojo svorio didelių kalbų modelis, sukurtas Kinijos dirbtinio intelekto laboratorijoje, o GPT-4 klasės modeliai nurodo „OpenAI“ flagmanines uždarojo kodo sistemas. Šiame palyginime nagrinėjama jų architektūra, galimybės, kainos, prieinamumas ir našumas realiame pasaulyje, siekiant padėti kūrėjams ir įmonėms išmintingai pasirinkti.

„Google“ paieška ir žinių grafiko paieška

„Google“ paieška yra plataus masto žiniatinklio indeksavimo variklis, kurį dauguma žmonių naudoja kasdien, o „Knowledge Graph Search“ yra „Google“ struktūrizuotų objektų duomenų bazė, kurioje pateikiami tiesioginiai atsakymai ir informacijos skydeliai. Supratimas, kuo jie skiriasi, padeda paaiškinti, kodėl kai kurios užklausos pateikia išsamius faktus, o kitos – tradicines mėlynas nuorodas.

„Google“ paieškos algoritmas ir supaprastinti klasės modeliai

„Google“ paieškos algoritmas reitinguoja milijardus tinklalapių, naudodamas mašininį mokymąsi ir šimtus signalų, o supaprastinti klasių modeliai perteikia dirbtinio intelekto koncepcijas į lengvai mokomas, prieinamas sistemas. Viena sistema veikia planetos mastu gamyboje; kita tarnauja kaip pedagoginis tiltas mokiniams, mokantis, kaip iš tikrųjų veikia dirbtinis intelektas.

„Vienas su vienu“ atitikimas aptikimo ir daugelio su vienu atitikimo metodų srityse

„Vienas su vienu“ atitikimo metodas kiekvienam pagrindiniam objektui priskiria vieną numatomą langelį, o „daugelis su vienu“ atitikimo metodas leidžia kelias prognozes suderinti su vienu taikiniu. Abi strategijos formuoja tai, kaip šiuolaikiniai detektoriai, tokie kaip DETR ir „Faster R-CNN“, mokosi lokalizuoti objektus, kiekvienas iš jų turi skirtingus kompromisus tikslumo, mokymo stabilumo ir pasikartojančių aptikimų tvarkymo srityse.

A/B testavimas modelių aptarnavime ir vieno modelio diegime

A/B testavimas modeliuose nukreipia srautą tarp konkuruojančių modelio versijų, kad būtų galima įvertinti realų našumą, o diegiant vieną modelį visiems vartotojams pateikiamas vienas modelis. Komandos renkasi iš jų pagal rizikos toleranciją, srauto kiekį ir statistinio patvirtinimo poreikį prieš visišką diegimą.