Mehanizmi pozornosti poganjajo sodobno umetno inteligenco tako pri računalniškem vidu kot pri obdelavi naravnega jezika, vendar služijo različnim namenom in so se razvili po različnih poteh. Vidna pozornost pomaga modelom, da se osredotočijo na ustrezna področja slike, medtem ko pozornost NLP omogoča razumevanje odnosov med besedami v besedilnih zaporedjih.
Tehnike, ki omogočajo modelom vida, da se selektivno osredotočijo na pomembna prostorska območja ali značilnosti znotraj slik in videoposnetkov.
Metode, ki jezikovnim modelom omogočajo, da pri obdelavi zaporednih besedilnih podatkov pretehtajo pomen različnih besed in žetonov.
| Funkcija | Mehanizmi pozornosti v vidu | Pozornost v NLP-ju |
|---|---|---|
| Primarni tip vnosa | Slike, video okvirji ali vizualni popravki | Besedilni žetoni, besede ali podbesedne enote |
| Pozornost Granularnost | Prostorske regije, zaplate ali kanali značilnosti | Razmerja med žetoni v zaporedjih |
| Izvorna arhitektura | Vision Transformer (ViT), DETR, SE-Net | Izvirni transformatorski kodirnik-dekoder (Vaswani et al., 2017) |
| Računska kompleksnost | Kvadratna metoda z ločljivostjo slike; metode na osnovi popravkov zmanjšujejo stroške | Kvadratna z dolžino zaporedja; obstajajo različice z redko pozornostjo |
| Tipični primeri uporabe | Klasifikacija slik, zaznavanje objektov, segmentacija, razumevanje videa | Prevajanje, ustvarjanje besedila, odgovarjanje na vprašanja, povzemanje |
| Strategija maskiranja | Običajno ni vzročne maske; pogosta je dvosmerna pozornost | Vzročno maskiranje za dekoderje; dvosmerno za kodirnike |
| Pozicijske informacije | 2D pozicijske vgradnje za prostorsko strukturo | 1D pozicijske vgradnje za vrstni red žetonov |
| Zahteve glede podatkov | Obsežni nabori slikovnih podatkov, kot sta ImageNet ali JFT-300M | Veliki besedilni korpusi, kot sta Common Crawl ali Wikipedia |
Vidna pozornost pomaga modelom pri odločanju, kam na sliki iskati, v bistvu pa poudarja prostorska območja, ki vsebujejo najpomembnejše informacije za določeno nalogo. Pozornost NLP pa določa, kako so besede povezane med seboj v stavku ali v dokumentu, in zajema semantične odvisnosti ne glede na razdaljo. Obe imata isto temeljno idejo o uteženi pomembnosti, vendar se strukture, na katere delujeta, bistveno razlikujejo.
Pozornost v NLP se je najprej pojavila v svoji sodobni obliki, ko je članek Transformer iz leta 2017 uveljavil samopozornost kot hrbtenico razumevanja jezika. Vidna pozornost si je močno izposodila iz teh prebojev NLP, članek Vision Transformers pa je leta 2020 pokazal, da se lahko čiste arhitekture, ki temeljijo na pozornosti, ujemajo s konvolucijskimi mrežami ali jih celo presegajo. Od takrat se področji še naprej prepletata, pri čemer tehnike, kot je navzkrižna pozornost, zdaj premostijo vid in jezik v multimodalnih modelih.
Oba se soočata z izzivi kvadratne kompleksnosti, vendar se obseg razlikuje. Modeli NLP obravnavajo zaporedja od sto do sto tisoč žetonov, medtem ko morajo modeli vida obravnavati slike, ki lahko vsebujejo tisoče zaplat z visoko ločljivostjo. Raziskovalci vida so razvili učinkovite različice, kot je okenska pozornost Swin Transformerja, medtem ko je NLP ustvaril metode redke in linearne pozornosti za obravnavo daljših kontekstov.
Ključna razlika je v načinu pretoka pozornosti. Modeli NLP dekoderjev uporabljajo vzročno maskiranje, tako da vsak žeton vidi le prejšnje žetone, kar je bistveno za avtoregresivno generiranje besedila. Modeli vida običajno uporabljajo dvosmerno pozornost, saj razumevanje slike ne zahteva vrstnega reda od leve proti desni. Nekatere naloge vida uporabljajo maskirano pozornost, zlasti v maskiranih avtokodirnikih, kjer so deli vhodnih podatkov med učenjem skriti.
Ker ima besedilo naravni zaporedni vrstni red, NLP uporablja 1D pozicijske vgradnje, da modelu pove, kje se vsak žeton nahaja v zaporedju. Vid zahteva 2D pozicijske vgradnje, da ohrani prostorske odnose med zaplatami, saj imajo slike dimenzije višine in širine. Ta razlika vpliva na to, kako vsaka domena oblikuje svoje sheme vgradnje in kako se modeli posplošujejo na različne velikosti vhodnih podatkov.
Meja med vidom in pozornostjo NLP se je precej zabrisala. Modeli, kot so CLIP, DALL-E in Flamingo, uporabljajo navzkrižno pozornost za povezovanje vizualnih in besedilnih predstavitev, kar omogoča naloge, kot so dodajanje podnapisov slikam, vizualno odgovarjanje na vprašanja in pretvorba besedila v sliko. Ti multimodalni sistemi dokazujejo, da so mehanizmi pozornosti izjemno prilagodljivi in lahko poenotijo različne tipe podatkov znotraj ene same arhitekture.
Mehanizmi pozornosti v vidu in NLP sta popolnoma različni tehnologiji.
Imajo isto matematično osnovo za izračun uteženih vsot na podlagi interakcij med poizvedbo, ključem in vrednostjo. Razlike so predvsem v tem, kako so vhodni podatki strukturirani in katere pozicijske informacije so dodane, ne pa v samem osnovnem mehanizmu.
Vision Transformers dobro delujejo tudi z majhnimi nabori podatkov.
Za razliko od konvolucijskih verig (CNN), ki imajo vgrajene induktivne pristranskosti, ViT-ji običajno zahtevajo ogromne nabore podatkov (pogosto več sto milijonov slik), da prekašajo konvolucijske pristope. Pri manjših naborih podatkov CNN pogosto še vedno zmagajo, razen če se uporabi močna regularizacija ali predučenje.
Pozornost v NLP pomeni, da model resnično razume jezik.
Pozornost je računski mehanizem za uteževanje vhodnih podatkov, ne pa zagotovilo za razumevanje. Veliki jezikovni modeli lahko ustvarijo tekoče besedilo, hkrati pa delajo napake v sklepanju, halucinirajo dejstva ali pa ne uspejo pri preprostih logičnih nalogah.
Pozornost v celoti nadomešča konvolucijske in rekurentne mreže.
Hibridne arhitekture ostajajo priljubljene in pogosto delujejo bolje kot čisti modeli pozornosti. Konvolucijske plasti se še vedno pojavljajo v mnogih najsodobnejših sistemih vida, nekateri modeli NLP pa imajo koristi od mešanja pozornosti z drugimi pristopi.
Zemljevidi pozornosti neposredno prikazujejo, o čem model razmišlja.
Uteži pozornosti niso vedno zanesljiva razlaga vedenja modela. Raziskave so pokazale, da porazdelitve pozornosti niso nujno povezane s pomembnostjo značilnosti, zato je pri njihovi interpretaciji potrebna previdnost.
Izberite vizualno pozornost, kadar vaša naloga vključuje razumevanje prostorskih odnosov na slikah ali videoposnetkih, še posebej, kadar imate velike nabore podatkov in potrebujete natančno lokalizacijo. Izberite NLP pozornost, kadar delate z zaporednimi besedilnimi podatki, ki zahtevajo razumevanje konteksta, generiranje ali prevajanje. Pri multimodalnih projektih kombinacija obeh z navzkrižno pozornostjo pogosto prinese najboljše rezultate.
A/B testiranje pri izdajah vsebin vključuje uvajanje različic za različne segmente občinstva in merjenje uspešnosti, medtem ko enkratne izdaje vsebin hkrati vsem ponudijo eno različico. Vsak pristop ustreza različnim ciljem, pri čemer A/B testiranje daje prednost optimizaciji, ki temelji na podatkih, enkratne izdaje pa dajejo prednost hitrosti in preprostosti.
A/B testiranje pri streženju modelov usmerja promet med konkurenčnimi različicami modelov za merjenje učinkovitosti v resničnem svetu, medtem ko uvedba enega modela vsem uporabnikom dostavi en model. Ekipe izbirajo med njimi glede na toleranco tveganja, količino prometa in potrebo po statistični potrditvi pred popolno uvedbo.
Agenti umetne inteligence so avtonomni, ciljno usmerjeni sistemi, ki lahko načrtujejo, sklepajo in izvajajo naloge v različnih orodjih, medtem ko tradicionalne spletne aplikacije sledijo fiksnim delovnim procesom, ki jih vodijo uporabniki. Primerjava poudarja premik od statičnih vmesnikov k prilagodljivim, kontekstualno ozaveščenim sistemom, ki lahko proaktivno pomagajo uporabnikom, avtomatizirajo odločitve in dinamično komunicirajo med več storitvami.
Ta arhitekturna primerjava primerja deterministično inženirstvo agentov, ki temeljijo na pravilih, s prilagodljivo naravo učnih agentov, ki temeljijo na podatkih, ter ocenjuje njihovo uporabnost v resničnem svetu, omejitve skaliranja in delovanje v negotovosti.
Agentni sistemi umetne inteligence lahko načrtujejo, izvajajo večstopenjske naloge in avtonomno komunicirajo z zunanjimi orodji, medtem ko tradicionalni klepetalni roboti LLM primarno ustvarjajo besedilne odgovore v enem samem pogovornem koraku. Ključna razlika je v agenciji: agentni sistemi delujejo na podlagi ciljev, medtem ko klepetalni roboti reagirajo na pozive.
