Механизмите за внимание захранват съвременния изкуствен интелект както в компютърното зрение, така и в обработката на естествен език, но те служат на различни цели и са еволюирали по различни пътища. Зрителното внимание помага на моделите да се фокусират върху съответните области на изображението, докато NLP вниманието позволява разбиране на връзките между думите в текстовите поредици.
Техники, които позволяват на визуалните модели да се фокусират селективно върху важни пространствени области или характеристики в изображения и видеоклипове.
Методи, които позволяват на езиковите модели да преценяват важността на различни думи и лексеми при обработката на последователни текстови данни.
| Функция | Механизми за внимание във зрението | Внимание в НЛП |
|---|---|---|
| Тип основен вход | Изображения, видеокадри или визуални фрагменти | Текстови токени, думи или подсловни единици |
| Гранулиране на вниманието | Пространствени региони, участъци или канали на характеристики | Връзки между токени в различните последователности |
| Произходна архитектура | Vision Transformer (ViT), DETR, SE-Net | Оригинален трансформаторен енкодер-декодер (Vaswani et al., 2017) |
| Изчислителна сложност | Квадратично с резолюция на изображението; методите, базирани на кръпки, намаляват разходите | Квадратична с дължина на последователността; съществуват варианти с рядко внимание |
| Типични случаи на употреба | Класификация на изображения, откриване на обекти, сегментиране, разбиране на видео | Превод, генериране на текст, отговаряне на въпроси, обобщаване |
| Стратегия за маскиране | Обикновено няма причинно-следствена маскировка; двупосочно внимание е често срещано | Причинно-следствено маскиране за декодери; двупосочно за енкодери |
| Позиционна информация | 2D позиционни вграждания за пространствена структура | 1D позиционни вграждания за ред на токени |
| Изисквания за данни | Мащабни набори от данни за изображения като ImageNet или JFT-300M | Големи текстови корпуси като Common Crawl или Wikipedia |
Зрителното внимание помага на моделите да решат къде да търсят в изображението, като по същество подчертава пространствените области, които носят най-подходящата информация за дадена задача. НЛП вниманието, от друга страна, определя как думите се свързват една с друга в изречение или в документ, като улавя семантични зависимости, независимо от разстоянието. И двете споделят една и съща фундаментална идея за претеглена важност, но структурите, върху които работят, се различават значително.
В съвременната си форма, вниманието, основано на НЛП, се появява на първо място, като в статията „Трансформър“ от 2017 г. се установява самовниманието като гръбнак на разбирането на езика. Зрителното внимание е заимствано в голяма степен от тези НЛП пробиви, като през 2020 г. „Трансформъри на зрението“ демонстрира, че чисто базираните на внимание архитектури могат да съответстват или да надминат конволюционните мрежи. Оттогава двете области продължават да се допълват, като техники като кръстосаното внимание сега свързват зрението и езика в мултимодални модели.
И двата метода са изправени пред предизвикателства на квадратичната сложност, но мащабът се различава. NLP моделите боравят с последователности, вариращи от стотици до стотици хиляди маркери, докато визуалните модели трябва да обработват изображения, които могат да съдържат хиляди участъци с висока резолюция. Изследователите на зрението са разработили ефективни варианти като прозоречното внимание на Swin Transformer, докато NLP е създал методи за разредено и линейно внимание за обработка на по-дълги контексти.
Ключова разлика се крие в начина, по който се разпределя вниманието. NLP декодерните модели използват причинно-следствено маскиране, така че всеки маркер вижда само предишни маркери, което е от съществено значение за генерирането на авторегресивн текст. Зрителните модели обикновено използват двупосочно внимание, тъй като разбирането на изображение не изисква ред отляво надясно. Някои зрителни задачи използват маскирано внимание, особено в маскирани автоенкодери, където части от входа са скрити по време на обучението.
Тъй като текстът има естествен последователен ред, NLP използва 1D позиционни вграждания, за да каже на модела къде се намира всеки токен в последователността. Зрението изисква 2D позиционни вграждания, за да запази пространствените взаимоотношения между частите, тъй като изображенията имат размери за височина и ширина. Тази разлика влияе върху начина, по който всеки домейн проектира своите схеми за вграждане и как моделите се обобщават към различни входни размери.
Границата между зрението и вниманието, използвано от NLP, се разми значително. Модели като CLIP, DALL-E и Flamingo използват кръстосано внимание, за да свържат визуални и текстови представяния, което позволява задачи като надписване на изображения, визуално отговаряне на въпроси и генериране на текст в изображение. Тези мултимодални системи демонстрират, че механизмите за внимание са изключително гъвкави и могат да обединят различни типове данни в рамките на една архитектура.
Механизмите за внимание във зрението и НЛП са напълно различни технологии.
Те споделят една и съща математическа основа за изчисляване на претеглени суми, базирани на взаимодействията между заявка и ключ и стойност. Разликите се състоят главно в начина, по който са структурирани входните данни и каква позиционна информация се добавя, а не в самия основен механизъм.
Vision Transformers работят добре дори с малки набори от данни.
За разлика от конволюционните конволюционни мрежи (CNN), които имат вградени индуктивни отклонения, ViT-овете обикновено изискват огромни набори от данни (често стотици милиони изображения), за да превъзхождат конволюционните подходи. При по-малки набори от данни CNN често все още печелят, освен ако не се приложи силна регуларизация или предварително обучение.
Вниманието в НЛП означава, че моделът наистина разбира езика.
Вниманието е изчислителен механизъм за претегляне на входните данни, а не гаранция за разбиране. Големите езикови модели могат да генерират плавен текст, като същевременно допускат грешки в разсъжденията, халюцинират факти или се провалят в прости логически задачи.
Вниманието замества изцяло конволюционните и рекурентните мрежи.
Хибридните архитектури остават популярни и често се представят по-добре от моделите, основани единствено на внимание. Конволюционните слоеве все още се срещат в много съвременни визуални системи, а някои NLP модели се възползват от смесването на вниманието с други подходи.
Картите на вниманието показват директно за какво мисли моделът.
Тежестите на вниманието не винаги са надеждни обяснения за поведението на модела. Изследванията показват, че разпределенията на вниманието не са непременно свързани с важността на характеристиките и тълкуването им изисква предпазливост.
Изберете визуално внимание, когато задачата ви включва разбиране на пространствените взаимоотношения в изображения или видео, особено когато имате големи набори от данни и се нуждаете от прецизна локализация. Изберете NLP внимание, когато работите с последователни текстови данни, изискващи разбиране на контекста, генериране или превод. За мултимодални проекти, комбинирането на двете чрез кръстосано внимание често дава най-добри резултати.
A/B тестването при обслужване на модели насочва трафика между конкуриращи се версии на модели, за да измери реалната производителност, докато внедряването на един модел предоставя един модел на всички потребители. Екипите избират между тях въз основа на толерантността към риск, обема на трафика и необходимостта от статистическа валидация преди пълното внедряване.
A/B тестването при пускането на съдържание включва пускане на вариации към различни сегменти от аудиторията и измерване на ефективността, докато еднократните пускания на съдържание предлагат една версия на всички наведнъж. Всеки подход е подходящ за различни цели, като A/B тестването предпочита оптимизацията, основана на данни, а еднократните пускания дават приоритет на скоростта и простотата.
AI компаньоните се фокусират върху разговорното взаимодействие, емоционалната подкрепа и адаптивната помощ, докато традиционните приложения за продуктивност дават приоритет на структурираното управление на задачи, работните процеси и инструментите за ефективност. Сравнението подчертава преминаването от твърд софтуер, предназначен за задачи, към адаптивни системи, които съчетават продуктивност с естествено, подобно на човека взаимодействие и контекстуална подкрепа.
„ИИ слоп“ се отнася до нискоусилно, масово произведено ИИ съдържание, създадено с минимално наблюдение, докато работата с ИИ, ръководена от човек, съчетава изкуствен интелект с внимателно редактиране, режисура и творческа преценка. Разликата обикновено се свежда до качество, оригиналност, полезност и дали истински човек активно оформя крайния резултат.
Агентите с изкуствен интелект са автономни, целенасочени системи, които могат да планират, разсъждават и изпълняват задачи в различни инструменти, докато традиционните уеб приложения следват фиксирани работни процеси, управлявани от потребителя. Сравнението подчертава преминаването от статични интерфейси към адаптивни, контекстно-осъзнати системи, които могат проактивно да подпомагат потребителите, да автоматизират решенията и да взаимодействат динамично между множество услуги.
