Mechanizmy pozornosti poháňajú modernú umelú inteligenciu v oblasti počítačového videnia aj spracovania prirodzeného jazyka, ale slúžia na odlišné účely a vyvíjali sa rôznymi cestami. Zraková pozornosť pomáha modelom zamerať sa na relevantné oblasti obrazu, zatiaľ čo pozornosť NLP umožňuje pochopenie vzťahov medzi slovami v textových sekvenciách.
Techniky, ktoré umožňujú modelom videnia selektívne sa zamerať na dôležité priestorové oblasti alebo prvky v obrázkoch a videách.
Metódy, ktoré umožňujú jazykovým modelom zvážiť dôležitosť rôznych slov a tokenov pri spracovaní sekvenčných textových údajov.
| Funkcia | Mechanizmy pozornosti vo videní | Pozornosť v NLP |
|---|---|---|
| Typ primárneho vstupu | Obrázky, videozáznamy alebo vizuálne záplaty | Textové tokeny, slová alebo jednotky podslov |
| Granularita pozornosti | Priestorové oblasti, záplaty alebo kanály prvkov | Vzťahy medzi tokenmi naprieč sekvenciami |
| Pôvodná architektúra | Vision Transformer (ViT), DETR, SE-Net | Pôvodný transformátorový kodér-dekodér (Vaswani a kol., 2017) |
| Výpočtová zložitosť | Kvadratické metódy s rozlíšením obrazu; metódy založené na záplatách znižujú náklady | Kvadratické s dĺžkou sekvencie; existujú varianty s riedkou pozornosťou |
| Typické prípady použitia | Klasifikácia obrazu, detekcia objektov, segmentácia, porozumenie videu | Preklad, generovanie textu, odpovede na otázky, sumarizácia |
| Stratégia maskovania | Zvyčajne žiadne kauzálne maskovanie; bežná je obojsmerná pozornosť | Kauzálne maskovanie pre dekodéry; obojsmerné pre enkodéry |
| Informácie o polohe | 2D pozičné vnorenia pre priestorovú štruktúru | 1D pozičné vnorenia pre poradie tokenov |
| Požiadavky na údaje | Rozsiahle súbory obrazových údajov ako ImageNet alebo JFT-300M | Veľké textové korpusy ako Common Crawl alebo Wikipédia |
Zraková pozornosť pomáha modelom rozhodnúť sa, kam sa v obraze pozerať, pričom v podstate zvýrazňuje priestorové oblasti, ktoré obsahujú najrelevantnejšie informácie pre danú úlohu. NLP pozornosť na druhej strane určuje, ako slová spolu súvisia vo vete alebo v dokumente, a zachytáva sémantické závislosti bez ohľadu na vzdialenosť. Obe zdieľajú rovnakú základnú myšlienku váženej dôležitosti, ale štruktúry, s ktorými fungujú, sa výrazne líšia.
NLP pozornosť sa objavila na prvom mieste v jej modernej podobe, pričom článok Transformer z roku 2017 stanovil sebapozornosť ako chrbticu porozumenia jazyku. Z týchto prelomových objavov NLP si vizuálna pozornosť vo veľkej miere požičala, pričom článok Vision Transformers v roku 2020 demonštroval, že architektúry založené na čistej pozornosti by sa mohli rovnať alebo prekonať konvolučné siete. Odvtedy sa tieto dve oblasti neustále krížovo prelínajú, pričom techniky ako krížová pozornosť teraz premosťujú zrak a jazyk v multimodálnych modeloch.
Obe čelia výzvam kvadratickej zložitosti, ale rozsah sa líši. Modely NLP pracujú so sekvenciami od stoviek do stoviek tisíc tokenov, zatiaľ čo modely videnia musia spracovať obrázky, ktoré môžu obsahovať tisíce záplat vo vysokom rozlíšení. Výskumníci v oblasti videnia vyvinuli efektívne varianty, ako napríklad okienkovú pozornosť Swin Transformera, zatiaľ čo NLP vytvorilo metódy riedkej a lineárnej pozornosti na spracovanie dlhších kontextov.
Kľúčový rozdiel spočíva v spôsobe toku pozornosti. Modely dekodérov NLP používajú kauzálne maskovanie, takže každý token vidí iba predchádzajúce tokeny, čo je nevyhnutné pre autoregresné generovanie textu. Modely videnia zvyčajne používajú obojsmernú pozornosť, pretože pochopenie obrázka nevyžaduje poradie zľava doprava. Niektoré úlohy videnia používajú maskovanú pozornosť, najmä v maskovaných autoenkodéroch, kde sú časti vstupu počas trénovania skryté.
Keďže text má prirodzené sekvenčné poradie, NLP používa 1D pozičné vnorenia na určenie miesta každého tokenu v sekvencii pre model. Zrak vyžaduje 2D pozičné vnorenia na zachovanie priestorových vzťahov medzi oblasťami, pretože obrázky majú rozmery výšky a šírky. Tento rozdiel ovplyvňuje, ako každá doména navrhuje svoje schémy vnorenia a ako sa modely zovšeobecňujú na rôzne veľkosti vstupu.
Hranica medzi zrakom a pozornosťou NLP sa značne rozmazala. Modely ako CLIP, DALL-E a Flamingo využívajú krížovú pozornosť na prepojenie vizuálnych a textových reprezentácií, čo umožňuje úlohy ako popisovanie obrázkov, vizuálne odpovede na otázky a generovanie textu do obrázka. Tieto multimodálne systémy demonštrujú, že mechanizmy pozornosti sú pozoruhodne flexibilné a dokážu zjednotiť rôzne typy údajov v rámci jednej architektúry.
Mechanizmy pozornosti vo videní a NLP sú úplne odlišné technológie.
Zdieľajú rovnaký matematický základ výpočtu vážených súm na základe interakcií medzi dopytom a kľúčom a hodnotou. Rozdiely spočívajú najmä v spôsobe štruktúrovania vstupov a v tom, aké informácie o polohe sa pridávajú, nie v samotnom základnom mechanizme.
Vision Transformers fungujú dobre aj s malými súbormi údajov.
Na rozdiel od konvolučných mutácií (CNN), ktoré majú zabudované induktívne skreslenia, ViT zvyčajne vyžadujú rozsiahle súbory údajov (často stovky miliónov obrázkov), aby prekonali konvolučné prístupy. Na menších súboroch údajov CNN často stále vyhrávajú, pokiaľ sa nepoužije silná regularizácia alebo predtrénovanie.
Pozornosť v NLP znamená, že model skutočne rozumie jazyku.
Pozornosť je výpočtový mechanizmus na váženie vstupov, nie záruka porozumenia. Rozsiahle jazykové modely môžu produkovať plynulý text a zároveň robiť chyby v uvažovaní, halucinovať fakty alebo zlyhávať v jednoduchých logických úlohách.
Pozornosť úplne nahrádza konvolučné a rekurentné siete.
Hybridné architektúry zostávajú populárne a často fungujú lepšie ako modely zamerané výlučne na pozornosť. Konvolučné vrstvy sa stále vyskytujú v mnohých najmodernejších systémoch videnia a niektoré modely NLP profitujú zo zmiešania pozornosti s inými prístupmi.
Mapy pozornosti priamo ukazujú, o čom model premýšľa.
Váhy pozornosti nie sú vždy spoľahlivým vysvetlením správania modelu. Výskum ukázal, že rozdelenie pozornosti nemusí nevyhnutne korelovať s dôležitosťou prvkov a ich interpretácia si vyžaduje opatrnosť.
Zvoľte si zrakovú pozornosť, keď vaša úloha zahŕňa pochopenie priestorových vzťahov v obrázkoch alebo videu, najmä ak máte rozsiahle súbory údajov a potrebujete jemnú lokalizáciu. Zvoľte si NLP pozornosť, keď pracujete so sekvenčnými textovými údajmi, ktoré vyžadujú pochopenie kontextu, generovanie alebo preklad. V prípade multimodálnych projektov kombinácia oboch prostredníctvom krížovej pozornosti často prináša najlepšie výsledky.
A/B testovanie v modelových službách smeruje prevádzku medzi konkurenčnými verziami modelov na meranie reálneho výkonu, zatiaľ čo nasadenie jedného modelu poskytuje jeden model všetkým používateľom. Tímy si medzi nimi vyberajú na základe tolerancie rizika, objemu prevádzky a potreby štatistického overenia pred úplným nasadením.
A/B testovanie pri vydávaní obsahu zahŕňa zavádzanie variácií pre rôzne segmenty publika a meranie výkonnosti, zatiaľ čo jednorazové vydania obsahu ponúkajú jednu verziu všetkým naraz. Každý prístup vyhovuje iným cieľom, pričom A/B testovanie uprednostňuje optimalizáciu na základe dát a jednorazové vydania uprednostňujú rýchlosť a jednoduchosť.
Toto porovnanie analyzuje strategické voľby v strojovom učení medzi adaptáciou domény, ktorá prenáša znalosti z označeného zdrojového prostredia do iného cieľového prostredia, a školením v rámci domény, ktoré vytvára modely výlučne na základe údajov získaných z presného cieľového nastavenia nasadenia.
Toto podrobné porovnanie skúma architektonické rozdiely, prevádzkové limity a reálny výkon adaptívnych inteligenčných systémov v porovnaní so systémami automatizácie s pevným správaním. Pozrieme sa na to, ako systémy, ktoré sa neustále učia z nových environmentálnych údajov, fungujú v porovnaní s rigidnými, predvídateľnými rámcami založenými na pravidlách.
Adaptívne vyhľadávanie dynamicky upravuje spôsob a aké informácie systém načítava na základe dotazu, zatiaľ čo statické vyhľadávacie kanály sa riadia pevnými pravidlami bez ohľadu na kontext. Obe poháňajú moderné aplikácie umelej inteligencie, ale výrazne sa líšia vo flexibilite, nákladoch a presnosti. Výber medzi nimi závisí od zložitosti pracovnej záťaže a rozpočtu.
