Aandachtsmechanismen vormen de basis van moderne AI, zowel in computervisie als in natuurlijke taalverwerking, maar ze dienen verschillende doelen en hebben zich langs verschillende paden ontwikkeld. Visuele aandacht helpt modellen zich te concentreren op relevante beeldregio's, terwijl aandacht in natuurlijke taalverwerking het begrijpen van woordrelaties in tekstreeksen mogelijk maakt.
Technieken waarmee visuele modellen zich selectief kunnen richten op belangrijke ruimtelijke gebieden of kenmerken binnen afbeeldingen en video's.
Methoden waarmee taalmodellen het belang van verschillende woorden en tokens kunnen afwegen bij het verwerken van sequentiële tekstgegevens.
| Functie | Aandachtsmechanismen bij het zien | Aandacht in NLP |
|---|---|---|
| Primair invoertype | Afbeeldingen, videoframes of visuele fragmenten | Teksttokens, woorden of deelwoordeenheden |
| Aandachtsgranulariteit | Ruimtelijke regio's, patches of kenmerkkanalen | Token-to-token relaties tussen sequenties |
| Oorsprong Architectuur | Vision Transformer (ViT), DETR, SE-Net | Originele Transformer-encoder-decoder (Vaswani et al., 2017) |
| Computationele complexiteit | Kwadratisch met beeldresolutie; op patches gebaseerde methoden verlagen de kosten. | Kwadratisch met sequentielengte; er bestaan varianten met schaarse aandacht. |
| Typische gebruiksscenario's | Beeldclassificatie, objectdetectie, segmentatie, videoanalyse | Vertalen, tekst genereren, vragen beantwoorden, samenvatten |
| Maskeringsstrategie | Meestal geen causale maskering; bidirectionele aandacht komt vaak voor. | Causale maskering voor decoders; bidirectionele maskering voor encoders. |
| Positie-informatie | 2D-positionele inbeddingen voor ruimtelijke structuur | 1D positionele embeddings voor tokenvolgorde |
| Gegevensvereisten | Grootschalige beelddatasets zoals ImageNet of JFT-300M | Grote tekstcorpora zoals Common Crawl of Wikipedia |
Visuele aandacht helpt modellen te bepalen waar ze in een afbeelding naar moeten kijken, in wezen door de ruimtelijke gebieden te markeren die de meest relevante informatie voor een bepaalde taak bevatten. NLP-aandacht daarentegen bepaalt hoe woorden zich tot elkaar verhouden binnen een zin of in een document, en legt semantische afhankelijkheden vast, ongeacht de afstand. Beide delen hetzelfde fundamentele idee van gewogen belangrijkheid, maar de structuren waarop ze werken verschillen aanzienlijk.
NLP-aandacht kwam in zijn moderne vorm als eerste, met het Transformer-artikel uit 2017 dat zelfaandacht vestigde als de ruggengraat van taalbegrip. Visuele aandacht leende veel van deze NLP-doorbraken, waarbij Vision Transformers in 2020 aantoonde dat puur op aandacht gebaseerde architecturen convolutionele netwerken konden evenaren of zelfs overtreffen. Sindsdien hebben de twee vakgebieden elkaar verder beïnvloed, waarbij technieken zoals kruisaandacht nu een brug slaan tussen visie en taal in multimodale modellen.
Beide disciplines staan voor uitdagingen op het gebied van kwadratische complexiteit, maar de schaal verschilt. NLP-modellen verwerken sequenties van honderden tot honderdduizenden tokens, terwijl beeldherkenningsmodellen afbeeldingen moeten verwerken die duizenden patches met een hoge resolutie kunnen bevatten. Onderzoekers op het gebied van beeldherkenning hebben efficiënte varianten ontwikkeld, zoals de windowed attention van Swin Transformer, terwijl NLP methoden voor sparse en lineaire aandacht heeft ontwikkeld om langere contexten te verwerken.
Een belangrijk verschil zit in de manier waarop aandacht stroomt. NLP-decodermodellen gebruiken causale maskering, waardoor elk token alleen de voorgaande tokens ziet. Dit is essentieel voor autoregressieve tekstgeneratie. Visiemodellen gebruiken doorgaans bidirectionele aandacht, omdat het begrijpen van een afbeelding geen links-naar-rechtsvolgorde vereist. Sommige visuele taken gebruiken wel gemaskeerde aandacht, met name in gemaskeerde autoencoders waarbij delen van de invoer tijdens de training verborgen zijn.
Omdat tekst een natuurlijke volgorde heeft, gebruikt NLP eendimensionale positionele embeddings om het model te vertellen waar elk token zich in de reeks bevindt. Beeldverwerking vereist tweedimensionale positionele embeddings om ruimtelijke relaties tussen beeldfragmenten te behouden, aangezien afbeeldingen hoogte- en breedtedimensies hebben. Dit verschil beïnvloedt hoe elk domein zijn embedding-schema's ontwerpt en hoe modellen generaliseren naar verschillende invoerformaten.
De grens tussen visie en NLP-aandacht is aanzienlijk vervaagd. Modellen zoals CLIP, DALL-E en Flamingo gebruiken kruisaandacht om visuele en tekstuele representaties met elkaar te verbinden, waardoor taken zoals het toevoegen van bijschriften aan afbeeldingen, het beantwoorden van visuele vragen en het omzetten van tekst naar afbeeldingen mogelijk worden. Deze multimodale systemen tonen aan dat aandachtmechanismen opmerkelijk flexibel zijn en verschillende gegevenstypen binnen één architectuur kunnen verenigen.
Aandachtsmechanismen in beeldherkenning en NLP zijn totaal verschillende technologieën.
Ze delen dezelfde wiskundige basis: het berekenen van gewogen sommen op basis van interacties tussen zoektermen en waarden. De verschillen zitten voornamelijk in de structuur van de invoer en de toegevoegde positionele informatie, niet in het onderliggende mechanisme zelf.
Vision Transformers werken goed, zelfs met kleine datasets.
In tegenstelling tot CNN's, die ingebouwde inductieve bias hebben, vereisen ViT's doorgaans enorme datasets (vaak honderden miljoenen afbeeldingen) om convolutionele benaderingen te overtreffen. Op kleinere datasets winnen CNN's vaak nog steeds, tenzij sterke regularisatie of pretraining wordt toegepast.
In NLP betekent aandacht dat het model de taal daadwerkelijk begrijpt.
Aandacht is een computationeel mechanisme voor het wegen van input, geen garantie voor begrip. Grote taalmodellen kunnen vloeiende tekst produceren, maar toch redeneerfouten maken, feiten hallucineren of falen in eenvoudige logische taken.
Aandachtssystemen vervangen convolutionele en terugkerende netwerken volledig.
Hybride architecturen blijven populair en presteren vaak beter dan modellen die puur op aandacht gebaseerd zijn. Convolutionele lagen komen nog steeds voor in veel geavanceerde beeldverwerkingssystemen, en sommige NLP-modellen profiteren van een combinatie van aandacht met andere benaderingen.
Aandachtskaarten laten direct zien waar het model aan denkt.
Aandachtsgewichten zijn niet altijd een betrouwbare verklaring voor het gedrag van een model. Onderzoek heeft aangetoond dat aandachtsverdelingen niet noodzakelijkerwijs correleren met het belang van kenmerken, en dat voorzichtigheid geboden is bij de interpretatie ervan.
Kies voor visuele aandacht wanneer uw taak het begrijpen van ruimtelijke relaties in afbeeldingen of video's vereist, vooral bij grote datasets en wanneer nauwkeurige lokalisatie nodig is. Kies voor NLP-aandacht wanneer u werkt met sequentiële tekstgegevens die contextbegrip, -generatie of -vertaling vereisen. Voor multimodale projecten levert de combinatie van beide via kruisaandacht vaak de beste resultaten op.
A/B-testen bij contentreleases houdt in dat varianten worden uitgerold naar verschillende doelgroepen en de prestaties worden gemeten, terwijl bij eenmalige contentreleases één versie in één keer naar iedereen wordt verzonden. Beide benaderingen zijn geschikt voor verschillende doelen: A/B-testen bevorderen datagestuurde optimalisatie, terwijl eenmalige releases prioriteit geven aan snelheid en eenvoud.
A/B-testen bij het serveren van modellen leiden het verkeer tussen concurrerende modelversies om de prestaties in de praktijk te meten, terwijl bij de implementatie van één model één model naar alle gebruikers wordt verzonden. Teams kiezen tussen beide methoden op basis van risicotolerantie, verkeersvolume en de behoefte aan statistische validatie vóór de volledige uitrol.
Aanbevelingssystemen en zoekmachines helpen gebruikers allebei relevante content te vinden, maar ze werken op fundamenteel verschillende manieren. Zoekmachines reageren op expliciete zoekopdrachten, terwijl aanbevelingssystemen anticiperen op behoeften op basis van gedragspatronen. Inzicht in deze verschillen helpt te verduidelijken hoe moderne informatieontdekking daadwerkelijk werkt.
Aanbevelingssystemen suggereren proactief gepersonaliseerde items op basis van gebruikersgedrag en -voorkeuren, terwijl zoekmachines relevante resultaten ophalen als reactie op expliciete gebruikersvragen met behulp van indexerings- en rangschikkingsalgoritmen.
Menselijke aandacht is een flexibel cognitief systeem dat zintuiglijke input filtert op basis van doelen, emoties en overlevingsbehoeften, terwijl AI-aandachtsmechanismen wiskundige raamwerken zijn die input-tokens dynamisch wegen om de voorspellingskracht en het contextbegrip in machine learning-modellen te verbeteren. Beide systemen geven prioriteit aan informatie, maar ze werken volgens fundamenteel verschillende principes en beperkingen.
