Uzmanības mehānismi nodrošina mūsdienu mākslīgā intelekta darbību gan datorredzes, gan dabiskās valodas apstrādes jomā, taču tiem ir atšķirīgi mērķi un tie ir attīstījušies dažādos veidos. Redzes uzmanība palīdz modeļiem koncentrēties uz atbilstošiem attēlu reģioniem, savukārt dabiskās valodas apstrādes uzmanība ļauj izprast vārdu attiecības teksta secībās.
Metodes, kas ļauj redzes modeļiem selektīvi koncentrēties uz svarīgiem telpiskiem reģioniem vai iezīmēm attēlos un video.
Metodes, kas ļauj valodu modeļiem izvērtēt dažādu vārdu un žetonu svarīgumu, apstrādājot secīgus teksta datus.
| Funkcija | Uzmanības mehānismi redzē | Uzmanība NLP |
|---|---|---|
| Primārā ievades veids | Attēli, video kadri vai vizuālie ielāpi | Teksta žetoni, vārdi vai apakšvārdu vienības |
| Uzmanības granularitāte | Telpiskie reģioni, ielāpi vai funkciju kanāli | Žetonu savstarpējās attiecības dažādās secībās |
| Izcelsmes arhitektūra | Redzes transformators (ViT), DETR, SE-Net | Oriģinālais transformatora kodētājs-dekodētājs (Vaswani et al., 2017) |
| Skaitļošanas sarežģītība | Kvadrātveida ar attēla izšķirtspēju; uz ielāpiem balstītas metodes samazina izmaksas | Kvadrātveida ar secības garumu; pastāv reti uzmanības varianti |
| Tipiski lietošanas gadījumi | Attēlu klasifikācija, objektu noteikšana, segmentācija, video izpratne | Tulkošana, teksta ģenerēšana, jautājumu atbildēšana, kopsavilkums |
| Maskēšanas stratēģija | Parasti nav cēloņsakarības maskēšanas; bieži sastopama divvirzienu uzmanība | Cēloņsakarību maskēšana dekoderiem; divvirzienu maskēšana kodētājiem |
| Pozicionālā informācija | 2D pozicionālās iegulšanas telpiskajai struktūrai | 1D pozicionālās iegulšanas marķieru secībai |
| Datu prasības | Liela mēroga attēlu datu kopas, piemēram, ImageNet vai JFT-300M | Lieli teksta korpusi, piemēram, Common Crawl vai Wikipedia |
Redzes uzmanība palīdz modeļiem izlemt, kur meklēt attēlā, būtībā izceļot telpiskos reģionus, kas satur visatbilstošāko informāciju dotajam uzdevumam. Savukārt NLP uzmanība nosaka, kā vārdi ir savstarpēji saistīti teikumā vai dokumentā, fiksējot semantiskās atkarības neatkarīgi no attāluma. Abiem ir viena un tā pati pamatideja par svērto svarīgumu, taču struktūras, uz kurām tie darbojas, ievērojami atšķiras.
NLP uzmanība tās mūsdienu formā vispirms parādījās ar 2017. gada rakstu "Transformer", kas noteica pašuzmanību kā valodas izpratnes mugurkaulu. Redzes uzmanība lielā mērā aizguva no šiem NLP sasniegumiem, un 2020. gadā "Vision Transformers" parādīja, ka tīri uz uzmanību balstītas arhitektūras var līdzināties konvolucionārajiem tīkliem vai pat tos pārspēt. Kopš tā laika abas jomas ir turpinājušas savstarpēji apputeksnēties, un tādas metodes kā savstarpēja uzmanība tagad savieno redzi un valodu multimodālos modeļos.
Abi saskaras ar kvadrātiskās sarežģītības izaicinājumiem, taču mērogs atšķiras. NLP modeļi apstrādā secības, kas svārstās no simtiem līdz simtiem tūkstošu žetonu, savukārt redzes modeļiem ir jāapstrādā attēli, kas var saturēt tūkstošiem ielāpu augstā izšķirtspējā. Redzes pētnieki ir izstrādājuši efektīvus variantus, piemēram, Swin Transformer logu uzmanības metodi, savukārt NLP ir radījusi retas un lineāras uzmanības metodes ilgāku kontekstu apstrādei.
Galvenā atšķirība ir uzmanības plūsmā. NLP dekodētāja modeļi izmanto cēloņsakarību maskēšanu, tāpēc katrs marķieris redz tikai iepriekšējos marķierus, kas ir būtiski autoregresīvai teksta ģenerēšanai. Redzes modeļi parasti izmanto divvirzienu uzmanību, jo attēla izpratnei nav nepieciešama secība no kreisās uz labo pusi. Daži redzes uzdevumi izmanto maskētu uzmanību, īpaši maskētos autokodētājos, kur daļa ievades datu apmācības laikā tiek paslēpti.
Tā kā tekstam ir dabiska secība, dabiskā valodas apguve (NLP) izmanto 1D pozicionālos iegulumus, lai norādītu modelim, kur katrs marķieris atrodas secībā. Redzei ir nepieciešami 2D pozicionālie iegulumi, lai saglabātu telpiskās attiecības starp ielāpiem, jo attēliem ir augstuma un platuma dimensijas. Šī atšķirība ietekmē to, kā katrs domēns veido savas iegulšanas shēmas un kā modeļi vispārinās uz dažādiem ievades izmēriem.
Robeža starp redzi un NLP uzmanību ir ievērojami izplūdusi. Tādi modeļi kā CLIP, DALL-E un Flamingo izmanto krustenisko uzmanību, lai savienotu vizuālās un tekstuālās reprezentācijas, nodrošinot tādus uzdevumus kā attēlu paraksti, vizuālu jautājumu atbildes un teksta pārveidošana attēlā. Šīs multimodālās sistēmas parāda, ka uzmanības mehānismi ir ievērojami elastīgi un var apvienot dažādus datu tipus vienā arhitektūrā.
Uzmanības mehānismi redzējumā un NLP ir pilnīgi atšķirīgas tehnoloģijas.
Tiem ir vienāds matemātiskais pamats svērto summu aprēķināšanai, pamatojoties uz vaicājuma-atslēgas-vērtības mijiedarbību. Atšķirības galvenokārt ir saistītas ar ievades datu struktūru un pievienoto pozicionālo informāciju, nevis pašu pamatā esošo mehānismu.
Vision Transformers darbojas labi pat ar nelieliem datu kopumiem.
Atšķirībā no CNN, kuriem ir iebūvētas induktīvās novirzes, ViT parasti ir nepieciešami lieli datu kopumi (bieži vien simtiem miljonu attēlu), lai pārspētu konvolucionālās pieejas. Mazākās datu kopās CNN bieži vien joprojām uzvar, ja vien netiek piemērota spēcīga regularizācija vai iepriekšēja apmācība.
Uzmanība NLP nozīmē, ka modelis patiesi saprot valodu.
Uzmanība ir skaitļošanas mehānisms ievades datu svēršanai, nevis izpratnes garantija. Lieli valodu modeļi var radīt plūstošu tekstu, vienlaikus pieļaujot spriešanas kļūdas, halucinējot faktus vai nespējot izpildīt vienkāršus loģiskus uzdevumus.
Uzmanība pilnībā aizstāj konvolucionālos un rekurentos tīklus.
Hibrīdās arhitektūras joprojām ir populāras un bieži vien darbojas labāk nekā tīras uzmanības modeļi. Konvolucionālie slāņi joprojām parādās daudzās modernākajās redzes sistēmās, un daži NLP modeļi gūst labumu no uzmanības apvienošanas ar citām pieejām.
Uzmanības kartes tieši parāda, par ko modelis domā.
Uzmanības svari ne vienmēr ir uzticami modeļa uzvedības skaidrojumi. Pētījumi liecina, ka uzmanības sadalījums ne vienmēr korelē ar funkciju svarīgumu, un to interpretācijai nepieciešama piesardzība.
Izvēlieties redzes uzmanību, ja jūsu uzdevums ietver telpisko attiecību izpratni attēlos vai video, īpaši, ja jums ir lieli datu kopumi un nepieciešama detalizēta lokalizācija. Izvēlieties dabiskās valodas (NLP) uzmanību, ja strādājat ar secīgiem teksta datiem, kam nepieciešama konteksta izpratne, ģenerēšana vai tulkošana. Multimodālos projektos labākos rezultātus bieži vien sniedz abu apvienošana, izmantojot krustenisko uzmanību.
A/B testēšana modeļu apkalpošanā novirza trafiku starp konkurējošām modeļu versijām, lai novērtētu reālo veiktspēju, savukārt viena modeļa ieviešana visiem lietotājiem nosūta vienu modeli. Komandas izvēlas starp tiem, pamatojoties uz riska toleranci, trafika apjomu un statistiskās validācijas nepieciešamību pirms pilnīgas ieviešanas.
A/B testēšana satura izlaidumos ietver variāciju ieviešanu dažādiem auditorijas segmentiem un veiktspējas mērīšanu, savukārt vienreizēji satura izlaidumi vienlaikus nodrošina vienu versiju visiem lietotājiem. Katra pieeja atbilst dažādiem mērķiem, A/B testēšanai dodot priekšroku uz datiem balstītai optimizācijai, bet vienreizējiem izlaidumiem prioritāte ir ātrums un vienkāršība.
Adaptīvā izguve dinamiski pielāgo, kā un kādu informāciju sistēma izgūst, pamatojoties uz vaicājumu, savukārt statiskās izguves cauruļvadi ievēro fiksētus noteikumus neatkarīgi no konteksta. Abas nodrošina modernas mākslīgā intelekta lietojumprogrammas, taču tās ievērojami atšķiras pēc elastības, izmaksām un precizitātes. Izvēle starp tām ir atkarīga no darba slodzes sarežģītības un budžeta.
Šajā detalizētajā salīdzinājumā tiek pētītas adaptīvo intelekta dzinēju arhitektūras atšķirības, darbības ierobežojumi un reālā veiktspēja salīdzinājumā ar fiksētas uzvedības automatizācijas sistēmām. Mēs aplūkojam, kā sistēmas, kas nepārtraukti mācās no jauniem vides datiem, atbilst stingrām, paredzamām, uz noteikumiem balstītām sistēmām.
Aģentu apmācība vidēs ietver mācīšanos, izmantojot reāllaika mijiedarbību ar simulētu vai fizisku vidi, savukārt bezsaistes datu kopu apmācība balstās uz iepriekš apkopotiem datiem bez papildu piekļuves videi. Abas pieejas apmāca mašīnmācīšanās modeļus, taču būtiski atšķiras tas, kā aģenti apkopo pieredzi un uzlabo veiktspēju.
