Konteksta apzinīga izguve izmanto apkārtējo informāciju, piemēram, vaicājumu vēsturi, lietotāja nolūku un dokumentu attiecības, lai sniegtu atbilstošākus rezultātus, savukārt konteksta neapzinīga izguve apstrādā katru vaicājumu atsevišķi. Pirmā nodrošina mūsdienīgu sarunvalodas mākslīgo intelektu un personalizētu meklēšanu, savukārt otrā joprojām ir noderīga vienkāršām, vienreizējām meklēšanām.
Izguves pieeja, kas ņem vērā vaicājumu vēsturi, lietotāja uzvedību un dokumenta kontekstu, lai iegūtu atbilstošākus rezultātus.
Izguves pieeja, kas apstrādā katru vaicājumu neatkarīgi, neņemot vērā iepriekšēju mijiedarbību vai lietotājam raksturīgus signālus.
| Funkcija | Konteksta apzinīga izguve | Konteksta aklā atgūšana |
|---|---|---|
| Vaicājumu apstrāde | Izmanto sesiju vēsturi un lietotāju signālus | Apstrādā katru vaicājumu atsevišķi |
| Atbilstība sarunās | Augsts — saglabā dialoga saskaņotību | Zems — grūtības ar turpmākiem pasākumiem |
| Aprēķina izmaksas | Augstāks konteksta apstrādes dēļ | Zemāks un ātrāks par katru vaicājumu |
| Personalizācija | Atbalsta lietotāja līmeņa pielāgošanu | Pēc noklusējuma nav personalizācijas |
| Īstenošanas sarežģītība | Nepieciešama atmiņa, pārrakstīšana un metadati | Vienkārša apgrieztā indeksa vai vektora meklēšana |
| Labākie lietošanas gadījumi | Čatboti, asistenti, personalizēta meklēšana | Vienreizēji faktuāli vaicājumi, dokumentu meklēšana |
| Piemēru metodes | HyDE, vaicājumu pārrakstīšana, kontekstuālā iegulšana | BM25, pamata blīvā meklēšana, atslēgvārdu meklēšana |
| Uzglabāšanas prasības | Nepieciešama sesijas un metadatu krātuve | Minimāls — tikai indekss |
Konteksta apzinīga izguve interpretē vaicājumu kā daļu no notiekošas mijiedarbības, izmantojot iepriekšējos pieprasījumus, lietotāju profilus un pat dokumenta apkārtējos metadatus, lai noskaidrotu, ko kāds patiesībā domā. Turpretī konteksta neapzinīga izguve aplūko vaicājumu atsevišķi — jūsu ierakstītie vārdi ir vienīgais signāls, ko tā izmanto. Tas padara konteksta neapzinīgas sistēmas paredzamas un viegli atkļūdojamas, taču tās bieži vien kļūdās, ja jautājums ir atkarīgs no tā, kas bija pirms tā.
Kad cilvēki sarunājas ar mākslīgā intelekta asistentu, papildu jautājumi reti kad ir paši par sevi saprotami. Frāzes, piemēram, "kā ar otro?" vai "kā tas salīdzināms?", ir jēgpilnas tikai ar iepriekšējo kontekstu. Kontekstorientēta izguve šos jautājumus apstrādā dabiski, pirms meklēšanas pārrakstot neskaidrus vaicājumus par patstāvīgiem. Kontekstorientēta izguve šādos gadījumos parasti atgriež neatbilstošus rezultātus, tāpēc lielākā daļa ražošanas tērzēšanas robotu tagad izmanto kādu kontekstorientētu cauruļvadu.
Tā kā kontekstatkarīgā izguve izlaiž papildu darbu, kas saistīts ar atmiņas uzturēšanu un vaicājumu pārrakstīšanu, tā darbojas ātrāk un izmaksā mazāk, lai darbotos lielā mērogā. Kontekstatkarīga izguve palielina papildu slodzi — ir jāuzglabā sesijas stāvoklis, jāpalaiž vaicājumu pārrakstīšanas modeļi un bieži vien jāfiltrē vektoru rezultāti pēc metadatiem. Liela apjoma, zemas sarežģītības darba slodzēm, piemēram, miljonu statisku dokumentu indeksēšanai, kontekstatkarīgās metodes joprojām ir labas.
Pētījumi par blīvu sarunvalodas informācijas izgūšanu, tostarp Meta AI un Microsoft darbs ar tādiem datu kopumiem kā QReCC un TopiOCQA, konsekventi liecina, ka kontekstatkarīgas metodes MRR un nDCG rādītājos par 10–20 % pārspēj kontekstatkarīgas bāzes līnijas. Atšķirība palielinās vairāku apgriezienu vaicājumos, kuros dominē vietniekvārdi un atsauces. Tomēr viena apgrieziena faktu jautājumos atšķirība ievērojami samazinās.
Ne katrai lietojumprogrammai ir nepieciešama konteksta izpratne. Iekšējās zināšanu bāzes, juridisko dokumentu meklēšana un e-komercijas produktu meklēšana bieži vien labi darbojas ar konteksta neievērojošu izgūšanu, jo vaicājumi parasti ir specifiski un pašpietiekami. Šādos gadījumos konteksta neievērojošas izgūšanas vienkāršība, ātrums un zemākas infrastruktūras izmaksas padara to par praktiskāku izvēli.
Konteksta apzinīga atgūšana vienmēr pārspēj konteksta neievērojošu atgūšanu.
Ne obligāti. Vienreizējiem, precīzi definētiem vaicājumiem kontekstuālās aklās metodes var sakrist vai pat pārspēt kontekstuālās metodes, jo tās izvairās no trokšņa, ko dažkārt rada papildu konteksts. Kontekstuālās izguves priekšrocība visspilgtāk izpaužas vairākkārtu vai personalizētos scenārijos.
Konteksta aklā atgūšana ir novecojusi un vairs netiek izmantota.
Tālu no tā. BM25 un pamata blīvā izguve joprojām ir daudzu ražošanas meklēšanas sistēmu, tostarp uzņēmumu dokumentu meklēšanas un e-komercijas platformu, mugurkauls. Tās kalpo kā spēcīgas bāzes līnijas un bieži tiek apvienotas ar kontekstatkarīgiem slāņiem hibrīdajās arhitektūrās.
Konteksta apzinīga atgūšana nozīmē, ka modelis "atceras" visu.
Praksē šīs sistēmas izmanto ierobežotu nesenās sarunas logu, apkopotus metadatus vai pārrakstītus vaicājumus. Patiesa ilgtermiņa atmiņa joprojām ir atklāta pētniecības problēma, un lielākā daļa sistēmu aizmirst vecākus pagriezienus, tiklīdz tie atstāj konteksta logu.
Vektoru meklēšana vienmēr ir kontekstatkarīga.
Blīvu vektoru izguvi var veikt jebkurā veidā. Vienkārša vektoru meklēšana bez metadatu filtrēšanas vai vaicājumu pārrakstīšanas būtībā ir kontekstatkarīga. Sesijas vēstures, filtru vai vaicājumu paplašināšanas pievienošana padara to kontekstatkarīgu.
Konteksta apzinīga atgūšana novērš halucinācijas RAG sistēmās.
Tas tos samazina, bet neizslēdz. Pat ar labu izguvi valodas modeļi joprojām var nepareizi interpretēt fragmentus vai nepareizi apvienot informāciju. Izguves kvalitāte ir viena no puzles daļām — tikpat svarīga ir ģenerēšanas uzvedība.
Izvēlieties kontekstatkarīgu izgūšanu, ja jūsu lietojumprogramma ietver vairāku kārtu sarunas, personalizāciju vai neskaidrus papildu vaicājumus — tas ir mūsdienu RAG un AI asistentu standarts. Vienkāršām, vienas kārtas meklēšanām, kur ātrums un zemas izmaksas ir svarīgākas par sarunas dziļumu, pieturieties pie kontekstatkarīgas izgūšanas.
A/B testēšana modeļu apkalpošanā novirza trafiku starp konkurējošām modeļu versijām, lai novērtētu reālo veiktspēju, savukārt viena modeļa ieviešana visiem lietotājiem nosūta vienu modeli. Komandas izvēlas starp tiem, pamatojoties uz riska toleranci, trafika apjomu un statistiskās validācijas nepieciešamību pirms pilnīgas ieviešanas.
A/B testēšana satura izlaidumos ietver variāciju ieviešanu dažādiem auditorijas segmentiem un veiktspējas mērīšanu, savukārt vienreizēji satura izlaidumi vienlaikus nodrošina vienu versiju visiem lietotājiem. Katra pieeja atbilst dažādiem mērķiem, A/B testēšanai dodot priekšroku uz datiem balstītai optimizācijai, bet vienreizējiem izlaidumiem prioritāte ir ātrums un vienkāršība.
Adaptīvā izguve dinamiski pielāgo, kā un kādu informāciju sistēma izgūst, pamatojoties uz vaicājumu, savukārt statiskās izguves cauruļvadi ievēro fiksētus noteikumus neatkarīgi no konteksta. Abas nodrošina modernas mākslīgā intelekta lietojumprogrammas, taču tās ievērojami atšķiras pēc elastības, izmaksām un precizitātes. Izvēle starp tām ir atkarīga no darba slodzes sarežģītības un budžeta.
Šajā detalizētajā salīdzinājumā tiek pētītas adaptīvo intelekta dzinēju arhitektūras atšķirības, darbības ierobežojumi un reālā veiktspēja salīdzinājumā ar fiksētas uzvedības automatizācijas sistēmām. Mēs aplūkojam, kā sistēmas, kas nepārtraukti mācās no jauniem vides datiem, atbilst stingrām, paredzamām, uz noteikumiem balstītām sistēmām.
Aģentu apmācība vidēs ietver mācīšanos, izmantojot reāllaika mijiedarbību ar simulētu vai fizisku vidi, savukārt bezsaistes datu kopu apmācība balstās uz iepriekš apkopotiem datiem bez papildu piekļuves videi. Abas pieejas apmāca mašīnmācīšanās modeļus, taču būtiski atšķiras tas, kā aģenti apkopo pieredzi un uzlabo veiktspēju.
