Konteksto paieška ištraukia išorinę informaciją pagal poreikį, o parametrinė atmintis saugo žinias, įtrauktas į modelio svorius mokymo metu. Abu šie metodai formuoja tai, kaip dideli kalbos modeliai atsako į klausimus, tačiau jie labai skiriasi lankstumu, tikslumu ir atnaujinamumu. Jų kompromisų supratimas padeda paaiškinti, kodėl šiuolaikinės dirbtinio intelekto sistemos dažnai derina abu metodus.
Metodas, kai teisės magistro (LLM) specialistai išvados darymo metu gauna atitinkamą išorinę informaciją, kad pagrįstų savo atsakymus naujausiomis arba specializuotomis žiniomis.
Žinios, tiesiogiai užkoduotos milijarduose kalbos modelio parametrų per išankstinį mokymą ir tikslinimą.
| Funkcija | Konteksto paieška | Parametrinė atmintis LLMs |
|---|---|---|
| Žinių saugojimo vieta | Išorinė vektorinė duomenų bazė arba dokumentų saugykla | Užkoduota modelio svoriuose (parametruose) |
| Atnaujinimo metodas | Pridėti arba modifikuoti dokumentus indekse | Permokyti arba tiksliai suderinti modelį |
| Vėlavimo poveikis | Prideda paieškos sąnaudas (paprastai 50–200 ms) | Jokių papildomų delsos laiko apribojimų, viršijančių modelio išvadas |
| Haliucinacijų rizika | Mažesnis, kai paieška tiksli | Didesnis, jei faktai nėra aiškūs arba nauji |
| Žinių mastelio keitimas | Skaičiuojamas pagal duomenų bazės dydį, beveik neribotą | Apribota parametrų skaičiumi ir mokymo duomenimis |
| Atnaujinimo kaina | Mažos (tik saugojimo ir indeksavimo išlaidos) | Labai daug (grafikos procesoriaus valandos, duomenų paruošimas) |
| Šaltinio priskyrimas | Gali cituoti tikslias ištraukas ir dokumentus | Negalima nurodyti konkrečių mokymo šaltinių |
| Geriausias naudojimo atvejis | Konkrečiai sričiai būdingi, dažnai kintantys duomenys | Bendras mąstymas, kalbos sklandumas, bendros žinios |
Konteksto paieška dinamiškai kaupia žinias indeksuodama dokumentus ir ieškodama juose užklausos metu. Pats modelis išlieka nepakitęs, tačiau jo efektyvios žinios auga kaskart, kai plečiate dokumentų kolekciją. Parametrinė atmintis veikia priešingai: mokymo metu žinios suspaudžiamos į svorio atnaujinimus, todėl modelis viską neša viduje. Šis esminis skirtumas lemia viską – nuo kainos iki tikslumo.
Paieškos sistemos linkusios mažiau haliucinuoti ties faktiniais klausimais, nes modelis gali remtis tikruoju šaltinio tekstu, o ne spėlioti pagal šablonus. Tačiau jei paieškos sistema ištraukia nesusijusius dokumentus, modelis vis tiek gali pateikti užtikrintai neteisingus atsakymus. Parametrinė atmintis yra labiau linkusi į klastojimą, ypač nišinių temų ar neseniai įvykusių įvykių atveju, nes modelis turi atkurti faktus iš suspaustų reprezentacijų.
Parametrinės atminties atnaujinimas yra sudėtingas. Naujos informacijos pridėjimas paprastai reiškia modelio tikslinimą, kuriam reikia kruopščiai atrinktų duomenų rinkinių, skaičiavimo laiko ir kruopštaus vertinimo. Konteksto paieška visiškai apeina šį procesą, leisdama keisti dokumentus į indeksą ir iš jo. Pavyzdžiui, naujienų organizacija gali pateikti savo pokalbių robotui šiandienos antraštes paieškos būdu, nekeisdama modelio svorių.
Parametrinė atmintis reikalauja didelių išankstinių investicijų į mokymo infrastruktūrą, tačiau atsiperka pigiomis išvadomis dideliu mastu. Duomenų paieška perkelia išlaidas vektorinės duomenų bazės priežiūrai ir šiek tiek didesnio delsos laiko apdorojimui kiekvienai užklausai. Pradedantiesiems verslams duomenų paieška dažnai yra pragmatiškas pasirinkimas, nes taip išvengiama daugelio milijonų dolerių vertės mokymo procesų, kuriuos dengia pagrindinių modelių teikėjai.
Vienas bazinis modelis gali aptarnauti labai skirtingas sritis paieškos metu, nes tereikia sukeisti dokumentų indeksą. Norite teisininko padėjėjo šiandien, o medicininio – rytoj? Pakeiskite paieškos korpusą. Parametrinė atmintis į patį modelį įdeda specializaciją, todėl egzistuoja konkrečioms sritims skirti modeliai, tokie kaip „BloombergGPT“, tačiau norint juos pritaikyti naujoms sritims, reikia permokyti.
Dauguma šiuolaikinių gamybinių sistemų derina abu šiuos metodus. Paieška tvarko faktinius pagrindus ir nuosavybės teise saugomus duomenis, o parametrinė atmintis suteikia kalbos sklandumą, mąstymo gebėjimus ir bendras pasaulio žinias, kurios padeda atsakymus padaryti nuoseklius. Tokios sistemos kaip „LangChain“ ir „LlamaIndex“ leidžia lengvai sluoksniuoti paieškų sluoksnį ant bet kokio pagrindinio modelio, parametrines žinias laikant baze, o paieškų – patobulinimu.
RAG visiškai pašalina haliucinacijas LLMs.
Išgavimo metodas sumažina haliucinacijas, susijusias su faktiniais klausimais, bet jų nepašalina. Jei paieškos sistema atranda nesusijusius dokumentus arba modelis ignoruoja kontekstą, haliucinacijos vis tiek pasitaiko. RAG perkelia problemą nuo žinių spragų prie paieškos kokybės.
Didesni modeliai tiksliau prisimena daugiau faktų.
Didesni modeliai tam tikra prasme saugo daugiau žinių, bet jie taip pat haliucinacijas labiau. Tyrimai rodo, kad net GPT-4 fabrikuoja citatas ir išgalvoja statistiką, ypač tomis temomis, kurios yra nepakankamai atstovaujamos mokymo duomenyse.
Parametrinė atmintis ir paieška yra konkuruojantys metodai.
Jie vienas kitą papildo. Šiuolaikinės dirbtinio intelekto sistemos beveik visada derina abu, naudodamos parametrines žinias samprotavimui ir kalbos sklandumui, o faktiniam pagrindimui ir nuosavybės teise saugomiems duomenims – paiešką.
Tikslus derinimas patikimai moko modelį naujų faktų.
Tikslus mokymas geriau derinamas su stiliumi ir formatu nei įterpiamos naujos žinios. Modeliai dažnai nesugeba nuosekliai prisiminti faktų, išmoktų tikslinant duomenis – šį reiškinį tyrėjai vadina „naujumo prakeiksmu“ arba katastrofišku užmiršimu.
Vektorinės duomenų bazės supranta teksto reikšmę.
Vektorių duomenų bazėse saugomi skaitmeniniai įterpimai ir atliekama panašumų paieška. Jos nesupranta semantikos; jos tiesiog randa matematiškai artimus vektorius. Reikšmė kyla iš įterpimo modelio, kuris sukūrė tuos vektorius.
Rinkitės konteksto paiešką, kai jūsų duomenys dažnai keičiasi, kai jums reikia šaltinių nuorodų arba kai dirbate su patentuotomis ar specializuotomis žiniomis, kurių nebuvo modelio mokymo rinkinyje. Pasikliaukite parametrine atmintimi bendram samprotavimui, pokalbių sklandumui ir scenarijams, kai mažas delsos laikas yra svarbesnis už tobulą faktinį tikslumą. Praktiškai stipriausios sistemos sujungia abu, naudodamos paiešką faktams pagrįsti ir parametrines žinias viskam kitam tvarkyti.
„DeepSeek V4“ yra kylantis atvirojo svorio didelių kalbų modelis, sukurtas Kinijos dirbtinio intelekto laboratorijoje, o GPT-4 klasės modeliai nurodo „OpenAI“ flagmanines uždarojo kodo sistemas. Šiame palyginime nagrinėjama jų architektūra, galimybės, kainos, prieinamumas ir našumas realiame pasaulyje, siekiant padėti kūrėjams ir įmonėms išmintingai pasirinkti.
„Google“ paieška yra plataus masto žiniatinklio indeksavimo variklis, kurį dauguma žmonių naudoja kasdien, o „Knowledge Graph Search“ yra „Google“ struktūrizuotų objektų duomenų bazė, kurioje pateikiami tiesioginiai atsakymai ir informacijos skydeliai. Supratimas, kuo jie skiriasi, padeda paaiškinti, kodėl kai kurios užklausos pateikia išsamius faktus, o kitos – tradicines mėlynas nuorodas.
„Google“ paieškos algoritmas reitinguoja milijardus tinklalapių, naudodamas mašininį mokymąsi ir šimtus signalų, o supaprastinti klasių modeliai perteikia dirbtinio intelekto koncepcijas į lengvai mokomas, prieinamas sistemas. Viena sistema veikia planetos mastu gamyboje; kita tarnauja kaip pedagoginis tiltas mokiniams, mokantis, kaip iš tikrųjų veikia dirbtinis intelektas.
„Vienas su vienu“ atitikimo metodas kiekvienam pagrindiniam objektui priskiria vieną numatomą langelį, o „daugelis su vienu“ atitikimo metodas leidžia kelias prognozes suderinti su vienu taikiniu. Abi strategijos formuoja tai, kaip šiuolaikiniai detektoriai, tokie kaip DETR ir „Faster R-CNN“, mokosi lokalizuoti objektus, kiekvienas iš jų turi skirtingus kompromisus tikslumo, mokymo stabilumo ir pasikartojančių aptikimų tvarkymo srityse.
A/B testavimas modeliuose nukreipia srautą tarp konkuruojančių modelio versijų, kad būtų galima įvertinti realų našumą, o diegiant vieną modelį visiems vartotojams pateikiamas vienas modelis. Komandos renkasi iš jų pagal rizikos toleranciją, srauto kiekį ir statistinio patvirtinimo poreikį prieš visišką diegimą.
