Tähelepanu mehhanismid toetavad tänapäevast tehisintellekti nii arvutinägemise kui ka loomuliku keele töötlemise valdkonnas, kuid neil on erinevad eesmärgid ja need on arenenud erinevaid teid pidi. Nägemispõhine tähelepanu aitab mudelitel keskenduda asjakohastele pildipiirkondadele, samas kui NLP-tähelepanu võimaldab mõista sõnadevahelisi seoseid tekstijadas.
Meetodid, mis võimaldavad nägemismudelitel valikuliselt keskenduda piltide ja videote olulistele ruumilistele piirkondadele või tunnustele.
Meetodid, mis võimaldavad keelemudelitel järjestikuste tekstiandmete töötlemisel kaaluda erinevate sõnade ja märkide olulisust.
| Funktsioon | Tähelepanu mehhanismid nägemises | Tähelepanu NLP-s |
|---|---|---|
| Peamine sisendi tüüp | Pildid, videokaadrid või visuaalsed plaastrid | Tekstimärgid, sõnad või alamsõnaühikud |
| Tähelepanu detailsus | Ruumilised piirkonnad, laigud või tunnuskanalid | Tokeni-tokeni suhted järjestuste vahel |
| Päritolu arhitektuur | Vision Transformer (ViT), DETR, SE-Net | Originaalne trafo kodeerija-dekooder (Vaswani jt, 2017) |
| Arvutuslik keerukus | Ruutvõrrand pildiresolutsiooniga; plaastripõhised meetodid vähendavad kulusid | Ruutvõrrandiline järjestuse pikkusega; esinevad hõredad tähelepanuvariandid |
| Tüüpilised kasutusjuhud | Piltide klassifitseerimine, objektide tuvastamine, segmenteerimine, video mõistmine | Tõlkimine, teksti genereerimine, küsimustele vastamine, kokkuvõtete tegemine |
| Maskeerimisstrateegia | Tavaliselt põhjuslikku maskeerimist ei toimu; kahesuunaline tähelepanu on levinud | Põhjuslik maskeerimine dekoodrite jaoks; kahesuunaline kodeerijate jaoks |
| Asukohateave | Ruumilise struktuuri 2D positsioonilised manustamised | 1D positsioonilised manustamised märgijärjekorra jaoks |
| Andmenõuded | Suuremahulised pildiandmekogumid nagu ImageNet või JFT-300M | Suured tekstikorpused nagu Common Crawl või Wikipedia |
Nägemispõhine tähelepanu aitab mudelitel otsustada, kuhu pildil vaadata, tuues esile ruumilised piirkonnad, mis kannavad antud ülesande jaoks kõige olulisemat teavet. NLP-tähelepanu seevastu määrab, kuidas sõnad lauses või dokumendis üksteisega seotud on, jäädvustades semantilisi sõltuvusi olenemata kaugusest. Mõlemal on sama kaalutud tähtsuse põhiidee, kuid struktuurid, millel nad töötavad, erinevad oluliselt.
NLP tähelepanu tekkis esmakordselt oma tänapäevasel kujul 2017. aasta Transformer artiklis, mis käsitles enesetähelepanu kui keele mõistmise selgroogu. Nägemispõhine tähelepanu laekus suuresti nendest NLP läbimurretest ning 2020. aastal näitas Vision Transformers, et puhtalt tähelepanupõhised arhitektuurid võivad konvolutsioonivõrgustikega sammu pidada või neid ületada. Sellest ajast alates on need kaks valdkonda jätkanud risttolmlemist ning sellised tehnikad nagu risttähelepanu ühendavad nüüd nägemist ja keelt multimodaalsetes mudelites.
Mõlemad seisavad silmitsi ruutkeskmise keerukusega seotud väljakutsetega, kuid skaala on erinev. NLP mudelid käsitlevad järjestusi, mis ulatuvad sadadest kuni sadade tuhandete tokeniteni, samas kui nägemismudelid peavad käsitlema pilte, mis võivad sisaldada tuhandeid kõrge eraldusvõimega plaastreid. Nägemisuurijad on välja töötanud tõhusad variandid, näiteks Swin Transformeri aknalise tähelepanu meetodi, samas kui NLP on loonud hõreda ja lineaarse tähelepanu meetodid pikemate kontekstide käsitlemiseks.
Peamine erinevus seisneb tähelepanu voolamises. NLP dekoodrimudelid kasutavad põhjuslikku maskeerimist, nii et iga märk näeb ainult eelnevaid märke, mis on autoregressiivse teksti genereerimise jaoks oluline. Nägemismudelid kasutavad tavaliselt kahesuunalist tähelepanu, kuna pildi mõistmine ei nõua vasakult paremale suunda. Mõned nägemisülesanded kasutavad maskeeritud tähelepanu, eriti maskeeritud autoenkoodrites, kus sisendi osad on treeningu ajal peidetud.
Kuna tekstil on loomulik järjestuse järjekord, kasutab NLP ühemõõtmelisi positsioonilisi manuseid, et näidata mudelile iga märgi asukohta järjestuses. Nägemine nõuab kahemõõtmelisi positsioonilisi manuseid, et säilitada plaastrite vahelised ruumilised suhted, kuna piltidel on kõrguse ja laiuse mõõtmed. See erinevus mõjutab seda, kuidas iga domeen kujundab oma manustamisskeeme ja kuidas mudelid üldistuvad erinevatele sisendsuurustele.
Nägemise ja NLP tähelepanu vaheline piir on märkimisväärselt hägustunud. Mudelid nagu CLIP, DALL-E ja Flamingo kasutavad risttähelepanu visuaalsete ja tekstiliste esituste ühendamiseks, võimaldades selliseid ülesandeid nagu piltide pealkirjastamine, visuaalsetele küsimustele vastamine ja tekstist pildi genereerimine. Need multimodaalsed süsteemid näitavad, et tähelepanu mehhanismid on märkimisväärselt paindlikud ja suudavad ühendada erinevaid andmetüüpe ühe arhitektuuri piires.
Tähelepanu mehhanismid nägemises ja NLP-s on täiesti erinevad tehnoloogiad.
Neil on sama matemaatiline alus, mis põhineb kaalutud summade arvutamisel päringu-võtme-väärtuse interaktsioonide põhjal. Erinevused seisnevad peamiselt sisendite struktureerimises ja lisatud positsiooniteabes, mitte aluseks olevas mehhanismis endas.
Vision Transformers töötavad hästi isegi väikeste andmekogumitega.
Erinevalt sisseehitatud induktiivsete eelarvamustega CNN-idest vajavad ViT-id konvolutsioonilistest lähenemisviisidest paremate tulemuste saavutamiseks tavaliselt suuri andmekogumeid (sageli sadu miljoneid pilte). Väiksemate andmekogumite puhul võidavad CNN-id sageli ikkagi, kui ei rakendata tugevat regulariseerimist või eeltreeningut.
Tähelepanu NLP-s tähendab, et mudel tõeliselt mõistab keelt.
Tähelepanu on arvutuslik mehhanism sisendite kaalumiseks, mitte arusaamise garantii. Suured keelemudelid suudavad toota sujuvat teksti, tehes samal ajal arutlusvigu, hallutsineerides fakte või ebaõnnestudes lihtsate loogiliste ülesannete lahendamisel.
Tähelepanu asendab konvolutsioonilised ja rekurrentsed võrgud täielikult.
Hübriidsed arhitektuurid on endiselt populaarsed ja toimivad sageli paremini kui puhta tähelepanu mudelid. Konvolutsioonikihid esinevad endiselt paljudes tipptasemel nägemissüsteemides ning mõned NLP mudelid saavad kasu tähelepanu kombineerimisest teiste lähenemisviisidega.
Tähelepanukaardid näitavad otse, millele mudel mõtleb.
Tähelepanu kaalud ei ole alati mudeli käitumise usaldusväärsed seletused. Uuringud on näidanud, et tähelepanu jaotused ei ole tingimata seotud tunnuste olulisusega ja nende tõlgendamisel tuleb olla ettevaatlik.
Valige visuaalse tähelepanu meetod, kui teie ülesanne hõlmab piltide või videote ruumiliste suhete mõistmist, eriti kui teil on suuri andmekogumeid ja vajate täpset lokaliseerimist. Valige NLP-tähelepanu meetod, kui töötate järjestikuste tekstiandmetega, mis nõuavad konteksti mõistmist, genereerimist või tõlkimist. Multimodaalsete projektide puhul annab parima tulemuse mõlema kombineerimine risttähelepanu kaudu.
Mudeliteenuse A/B-testimine suunab liiklust konkureerivate mudeliversioonide vahel, et mõõta reaalset toimivust, samas kui ühe mudeli juurutamine saadab kõigile kasutajatele ühe mudeli. Meeskonnad valivad nende vahel riskitaluvuse, liiklusmahu ja statistilise valideerimise vajaduse alusel enne täielikku juurutamist.
Sisuväljaannete A/B-testimine hõlmab variatsioonide levitamist erinevatele sihtrühmadele ja tulemuslikkuse mõõtmist, samas kui ühekordsed sisuväljaanded suunavad ühe versiooni korraga kõigile. Igal lähenemisviisil on erinevad eesmärgid, kusjuures A/B-testimine eelistab andmepõhist optimeerimist ja ühekordsed väljaanded seavad esikohale kiiruse ja lihtsuse.
See detailne võrdlus uurib adaptiivsete intelligentsete mootorite arhitektuurilisi erinevusi, operatsioonilisi piiranguid ja reaalset jõudlust võrreldes fikseeritud käitumisega automatiseerimissüsteemidega. Vaatleme, kuidas süsteemid, mis pidevalt õpivad uutest keskkonnaandmetest, sobivad kokku jäikade ja ennustatavate reeglipõhiste raamistikega.
Adaptiivne otsing kohandab dünaamiliselt, kuidas ja millist teavet süsteem päringu põhjal hangib, samas kui staatilised otsingukanalid järgivad fikseeritud reegleid olenemata kontekstist. Mõlemad toetavad tänapäevaseid tehisintellekti rakendusi, kuid erinevad oluliselt paindlikkuse, maksumuse ja täpsuse poolest. Nende vahel valimine sõltub töökoormuse keerukusest ja eelarvest.
Agentide koolitamine keskkondades hõlmab õppimist reaalajas simuleeritud või füüsilise keskkonnaga suhtlemise kaudu, samas kui võrguühenduseta andmestiku koolitamine tugineb eelnevalt kogutud andmetele ilma täiendava keskkonnale juurdepääsuta. Mõlemad lähenemisviisid treenivad masinõppe mudeleid, kuid erinevad põhimõtteliselt selle poolest, kuidas agendid kogemusi koguvad ja jõudlust parandavad.
