Mekanizmat e vëmendjes fuqizojnë inteligjencën artificiale moderne si në shikimin kompjuterik ashtu edhe në përpunimin e gjuhës natyrore, por ato shërbejnë për qëllime të dallueshme dhe kanë evoluar përgjatë rrugëve të ndryshme. Vëmendja vizuale i ndihmon modelet të përqendrohen në rajonet përkatëse të imazhit, ndërsa vëmendja e NLP-së mundëson kuptimin e marrëdhënieve të fjalëve në sekuencat e tekstit.
Teknika që lejojnë modelet e shikimit të përqendrohen në mënyrë selektive në rajone ose karakteristika të rëndësishme hapësinore brenda imazheve dhe videove.
Metoda që u mundësojnë modeleve gjuhësore të peshojnë rëndësinë e fjalëve dhe tokenave të ndryshme gjatë përpunimit të të dhënave të njëpasnjëshme të tekstit.
| Veçori | Mekanizmat e Vëmendjes në Shikim | Vëmendje në NLP |
|---|---|---|
| Lloji i hyrjes kryesore | Imazhe, korniza video ose pjesë vizuale | Shenja teksti, fjalë ose njësi nënfjalësh |
| Granulariteti i Vëmendjes | Rajonet hapësinore, copëzat ose kanalet e veçorive | Marrëdhëniet token-token nëpër sekuenca |
| Arkitektura e Origjinës | Vision Transformer (ViT), DETR, SE-Net | Enkoder-dekodues origjinal i transformatorit (Vaswani et al., 2017) |
| Kompleksiteti llogaritës | Kuadratik me rezolucion imazhi; metodat e bazuara në copëza zvogëlojnë koston | Kuadratik me gjatësi sekuence; ekzistojnë variante të rralla të vëmendjes |
| Rastet tipike të përdorimit | Klasifikimi i imazhit, zbulimi i objektit, segmentimi, kuptimi i videos | Përkthim, gjenerim teksti, përgjigje pyetjesh, përmbledhje |
| Strategjia e maskimit | Zakonisht nuk ka maskim shkakësor; vëmendja dypalëshe e zakonshme | Maskimi shkakor për dekoderët; dypalësh për enkoderët |
| Informacion pozicional | Vendosje pozicionale 2D për strukturën hapësinore | Vendosje pozicionale 1D për rendin e tokenëve |
| Kërkesat e të Dhënave | Sete të dhënash imazhesh në shkallë të gjerë si ImageNet ose JFT-300M | Korpuse të mëdha tekstesh si Common Crawl ose Wikipedia |
Vëmendja vizuale i ndihmon modelet të vendosin se ku të shikojnë në një imazh, duke theksuar në thelb rajonet hapësinore që mbartin informacionin më të rëndësishëm për një detyrë të caktuar. Vëmendja NLP, nga ana tjetër, përcakton se si fjalët lidhen me njëra-tjetrën brenda një fjalie ose në të gjithë një dokument, duke kapur varësitë semantike pavarësisht distancës. Të dyja ndajnë të njëjtën ide themelore të rëndësisë së ponderuar, por strukturat mbi të cilat veprojnë ndryshojnë ndjeshëm.
Vëmendja ndaj NLP-së erdhi e para në formën e saj moderne, me punimin e Transformer të vitit 2017 që e vendosi vëmendjen ndaj vetes si shtyllën kurrizore të të kuptuarit të gjuhës. Vëmendja ndaj vizionit huazoi shumë nga këto përparime të NLP-së, me Vision Transformers që demonstruan në vitin 2020 se arkitekturat e pastra të bazuara në vëmendje mund të përputheshin ose të tejkalonin rrjetet konvolucionale. Që atëherë, të dy fushat kanë vazhduar të ndërthuren, me teknika si vëmendja ndaj kryqëzimit që tani lidhin vizionin dhe gjuhën në modelet multimodale.
Të dyja përballen me sfida të kompleksitetit kuadratik, por shkalla ndryshon. Modelet NLP merren me sekuenca që variojnë nga qindra deri në qindra mijëra tokena, ndërsa modelet e shikimit duhet të trajtojnë imazhe që mund të përmbajnë mijëra copëza me rezolucion të lartë. Studiuesit e shikimit kanë zhvilluar variante efikase si vëmendja e dritarezuar e Swin Transformer, ndërsa NLP ka prodhuar metoda vëmendjeje të pakta dhe lineare për të trajtuar kontekste më të gjata.
Një dallim kyç qëndron në mënyrën se si rrjedh vëmendja. Modelet e dekoderëve NLP përdorin maskimin shkakësor, kështu që çdo token sheh vetëm tokenët e mëparshëm, gjë që është thelbësore për gjenerimin e tekstit autoregresiv. Modelet e shikimit zakonisht përdorin vëmendje dypalëshe, pasi të kuptuarit e një imazhi nuk kërkon një renditje nga e majta në të djathtë. Disa detyra shikimi përdorin vëmendje të maskuar, veçanërisht në autoenkoderët e maskuar ku pjesë të të dhënave hyrëse fshihen gjatë trajnimit.
Meqenëse teksti ka një rend natyror sekuencial, NLP përdor ngulitje pozicionale 1D për t'i treguar modelit se ku ndodhet secili token në sekuencë. Vizioni kërkon ngulitje pozicionale 2D për të ruajtur marrëdhëniet hapësinore midis pjesëve, meqenëse imazhet kanë dimensione lartësie dhe gjerësie. Ky ndryshim ndikon në mënyrën se si secila fushë harton skemat e saj të ngulitur dhe si modelet përgjithësohen në madhësi të ndryshme të të dhënave hyrëse.
Kufiri midis shikimit dhe vëmendjes së NLP-së është zbehur ndjeshëm. Modele si CLIP, DALL-E dhe Flamingo përdorin vëmendjen e kryqëzuar për të lidhur përfaqësimet vizuale dhe tekstuale, duke mundësuar detyra të tilla si mbishkrimi i imazheve, përgjigjja vizuale e pyetjeve dhe gjenerimi i tekstit në imazh. Këto sisteme multimodale demonstrojnë se mekanizmat e vëmendjes janë jashtëzakonisht fleksibël dhe mund të unifikojnë lloje të ndryshme të të dhënave brenda një arkitekture të vetme.
Mekanizmat e vëmendjes në vizion dhe NLP janë teknologji krejtësisht të ndryshme.
Ato ndajnë të njëjtën bazë matematikore të llogaritjes së shumave të ponderuara bazuar në bashkëveprimet pyetje-çelës-vlerë. Dallimet qëndrojnë kryesisht në mënyrën se si strukturohen të dhënat hyrëse dhe çfarë informacioni pozicional shtohet, jo në vetë mekanizmin themelor.
Transformatorët e Vizionit funksionojnë mirë edhe me grupe të vogla të të dhënave.
Ndryshe nga CNN-të të cilat kanë paragjykime induktive të integruara, ViT-të zakonisht kërkojnë grupe të dhënash masive (shpesh qindra miliona imazhe) për të tejkaluar qasjet konvolucionale. Në grupe të dhënash më të vogla, CNN-të shpesh fitojnë nëse nuk zbatohet rregullim ose trajnim paraprak i fortë.
Vëmendja në NLP do të thotë që modeli e kupton vërtet gjuhën.
Vëmendja është një mekanizëm llogaritës për peshimin e të dhënave hyrëse, jo një garanci për të kuptuarit. Modelet e mëdha gjuhësore mund të prodhojnë tekst të rrjedhshëm, ndërkohë që bëjnë gabime arsyetimi, halucinojnë fakte ose dështojnë në detyra të thjeshta logjike.
Vëmendja po zëvendëson tërësisht rrjetet konvolucionale dhe përsëritëse.
Arkitekturat hibride mbeten të njohura dhe shpesh performojnë më mirë se modelet e pastra të vëmendjes. Shtresat konvolucionale ende shfaqen në shumë sisteme vizioni të teknologjisë së fundit, dhe disa modele NLP përfitojnë nga përzierja e vëmendjes me qasje të tjera.
Hartat e vëmendjes tregojnë drejtpërdrejt se për çfarë po mendon modeli.
Peshat e vëmendjes nuk janë gjithmonë shpjegime të besueshme të sjelljes së modelit. Hulumtimet kanë treguar se shpërndarjet e vëmendjes nuk lidhen domosdoshmërisht me rëndësinë e karakteristikave dhe interpretimi i tyre kërkon kujdes.
Zgjidhni vëmendjen vizuale kur detyra juaj përfshin kuptimin e marrëdhënieve hapësinore në imazhe ose video, veçanërisht kur keni grupe të mëdha të dhënash dhe keni nevojë për lokalizim të detajuar. Zgjidhni vëmendjen NLP kur punoni me të dhëna tekstuale sekuenciale që kërkojnë kuptim, gjenerim ose përkthim të kontekstit. Për projektet multimodale, kombinimi i të dyjave përmes vëmendjes së kryqëzuar shpesh jep rezultatet më të mira.
Agregimi i preferencave kombinon preferenca të shumta individuale në vendime kolektive, ndërsa modelimi i parashikimit individual parashikon sjelljen personale duke përdorur të mësuarit automatik në të dhënat e një përdoruesi të vetëm. Të dyja shërbejnë për qëllime të dallueshme në sistemet e inteligjencës artificiale, nga motorët e rekomandimeve deri te platformat demokratike të votimit.
Ky krahasim arkitektonik vë në kontrast inxhinierinë deterministe të Agjentëve të Bazuar në Rregulla me natyrën adaptive të të dhënave të Agjentëve të Bazuar në Mësim, duke vlerësuar zbatueshmërinë e tyre në botën reale, kufijtë e shkallëzimit dhe performancën në kushte pasigurie.
Ky udhëzues i detajuar shqyrton ndryshimet strukturore dhe operacionale midis agjentëve autonomë dhe sistemeve të automatizimit të skriptuar. Ndërsa mjetet e skriptuara ofrojnë parashikueshmëri të pakrahasueshme për rrjedha pune të ngurta dhe përsëritëse, agjentët inteligjentë modernë shfrytëzojnë arsyetimin kognitiv për të lundruar në mënyrë të pavarur në të dhëna të ndryshueshme, pengesa teknike të papritura dhe peizazhe të dhënash shumë komplekse dhe të pastrukturuara.
Agjentët autonomë të IA-së veprojnë në mënyrë të pavarur duke planifikuar, arsyetuar dhe ekzekutuar detyra shumë-hapëshe me ndërhyrje minimale njerëzore, ndërsa sistemet e IA-së të bazuara në shpejtësi u përgjigjen udhëzimeve individuale të përdoruesit, një ndërveprim në të njëjtën kohë. Dallimi kryesor qëndron në agjenci: agjentët ndjekin qëllimet nëpër seanca, ndërsa sistemet e shpejtësisë presin për drejtim.
Agjentët bisedorë përqendrohen në dialogun natyror dhe ndërveprimet e bazuara në tekst, ndërsa agjentët që përdorin mjete zgjerojnë aftësitë e IA-së duke thirrur funksione dhe API të jashtme. Të dy përfaqësojnë qasje të dallueshme ndaj sistemeve autonome të IA-së, me modelet bisedore që shkëlqejnë në komunikim dhe agjentët që përdorin mjete të specializuar në ekzekutimin e detyrave në botën reale.
