Mechanizmy uwagi napędzają współczesną sztuczną inteligencję, zarówno w zakresie widzenia komputerowego, jak i przetwarzania języka naturalnego, ale służą one różnym celom i ewoluowały różnymi ścieżkami. Uwaga wzrokowa pomaga modelom skupić się na istotnych obszarach obrazu, podczas gdy uwaga NLP umożliwia zrozumienie relacji między wyrazami w sekwencjach tekstu.
Techniki umożliwiające modelom wizji selektywne skupianie się na ważnych obszarach przestrzennych lub cechach obrazów i filmów.
Metody umożliwiające modelom językowym ocenę ważności różnych słów i tokenów podczas przetwarzania sekwencyjnych danych tekstowych.
| Funkcja | Mechanizmy uwagi w widzeniu | Uwaga w NLP |
|---|---|---|
| Typ wejścia podstawowego | Obrazy, klatki wideo lub fragmenty wizualne | Tokeny tekstowe, słowa lub jednostki podwyrazów |
| Granularność uwagi | Regiony przestrzenne, łatki lub kanały obiektów | Relacje token-token w sekwencjach |
| Architektura pochodzenia | Transformator wizyjny (ViT), DETR, SE-Net | Oryginalny koder-dekoder transformatorowy (Vaswani i in., 2017) |
| Złożoność obliczeniowa | Kwadratowe z rozdzielczością obrazu; metody oparte na łatkach obniżają koszty | Kwadratowy z długością sekwencji; istnieją rzadkie warianty uwagi |
| Typowe przypadki użycia | Klasyfikacja obrazów, wykrywanie obiektów, segmentacja, rozumienie wideo | Tłumaczenie, generowanie tekstu, odpowiadanie na pytania, podsumowywanie |
| Strategia maskowania | Zwykle brak maskowania przyczynowego; powszechna jest uwaga dwukierunkowa | Maskowanie przyczynowe dla dekoderów; dwukierunkowe dla koderów |
| Informacje o położeniu | Osadzenia pozycyjne 2D dla struktury przestrzennej | Osadzenia pozycyjne 1D dla kolejności tokenów |
| Wymagania dotyczące danych | Duże zbiory danych obrazowych, takie jak ImageNet lub JFT-300M | Duże korpusy tekstowe, takie jak Common Crawl czy Wikipedia |
Uwaga wzrokowa pomaga modelom decydować, gdzie patrzeć na obrazie, zasadniczo podkreślając obszary przestrzenne niosące najistotniejsze informacje dla danego zadania. Uwaga NLP z kolei określa, jak słowa są ze sobą powiązane w zdaniu lub w dokumencie, rejestrując zależności semantyczne niezależnie od odległości. Oba systemy opierają się na tej samej fundamentalnej idei ważonej ważności, ale struktury, na których operują, znacząco się różnią.
Uwaga NLP pojawiła się najpierw w swojej współczesnej formie, a artykuł w Transformer z 2017 roku ustanowił samouważność jako podstawę rozumienia języka. Uwaga wizyjna w dużej mierze czerpała z tych przełomowych odkryć NLP, a publikacja Vision Transformers z 2020 roku pokazała, że architektury oparte wyłącznie na uwadze mogą dorównać, a nawet przewyższyć sieci konwolucyjne. Od tego czasu te dwie dziedziny nieustannie się przenikają, a techniki takie jak uwaga krzyżowa łączą obecnie wizję i język w modelach multimodalnych.
Oba modele mierzą się z wyzwaniami związanymi ze złożonością kwadratową, ale skala jest różna. Modele NLP obsługują sekwencje od setek do setek tysięcy tokenów, podczas gdy modele wizyjne muszą obsługiwać obrazy, które mogą zawierać tysiące fragmentów w wysokiej rozdzielczości. Badacze wizji opracowali wydajne warianty, takie jak uwaga okienkowa Swin Transformer, podczas gdy NLP stworzyło rzadkie i liniowe metody uwagi do obsługi dłuższych kontekstów.
Kluczowe rozróżnienie dotyczy przepływu uwagi. Modele dekoderów NLP wykorzystują maskowanie przyczynowe, dzięki czemu każdy token widzi tylko poprzednie tokeny, co jest niezbędne do autoregresyjnego generowania tekstu. Modele widzenia zazwyczaj wykorzystują uwagę dwukierunkową, ponieważ rozumienie obrazu nie wymaga kolejności od lewej do prawej. Niektóre zadania związane z widzeniem wykorzystują maskowanie uwagi, szczególnie w maskowanych autokoderach, w których fragmenty danych wejściowych są ukryte podczas treningu.
Ponieważ tekst ma naturalny, sekwencyjny porządek, przetwarzanie języka naturalnego (NLP) wykorzystuje jednowymiarowe osadzenia pozycyjne, aby wskazać modelowi, gdzie znajduje się każdy token w sekwencji. Wizja wymaga dwuwymiarowych osadzeń pozycyjnych, aby zachować relacje przestrzenne między fragmentami, ponieważ obrazy mają wymiary wysokości i szerokości. Ta różnica wpływa na sposób, w jaki każda domena projektuje swoje schematy osadzenia oraz na sposób, w jaki modele generalizują się dla różnych rozmiarów danych wejściowych.
Granica między widzeniem a uwagą w przetwarzaniu języka naturalnego znacznie się zatarła. Modele takie jak CLIP, DALL-E i Flamingo wykorzystują uwagę krzyżową do łączenia reprezentacji wizualnych i tekstowych, umożliwiając zadania takie jak tworzenie podpisów do obrazów, wizualne odpowiadanie na pytania i generowanie tekstu na obrazy. Te multimodalne systemy dowodzą, że mechanizmy uwagi są niezwykle elastyczne i mogą łączyć różne typy danych w ramach jednej architektury.
Mechanizmy uwagi w widzeniu i NLP to zupełnie różne technologie.
Łączy je ta sama matematyczna podstawa obliczania sum ważonych w oparciu o interakcje zapytanie-klucz-wartość. Różnice dotyczą głównie struktury danych wejściowych i dodawanych informacji o położeniu, a nie samego mechanizmu.
Vision Transformers dobrze sprawdzają się nawet w przypadku małych zbiorów danych.
W przeciwieństwie do sieci neuronowych (CNN), które mają wbudowane błędy indukcyjne, sieci ViT zazwyczaj wymagają ogromnych zbiorów danych (często setek milionów obrazów), aby przewyższyć metody splotowe. W przypadku mniejszych zbiorów danych sieci CNN często nadal wygrywają, chyba że zastosuje się silną regularyzację lub wstępne trenowanie.
Uwaga w NLP oznacza, że model naprawdę rozumie język.
Uwaga to mechanizm obliczeniowy służący do ważenia danych wejściowych, a nie gwarancja zrozumienia. Duże modele językowe mogą generować płynny tekst, jednocześnie popełniając błędy w rozumowaniu, urojenia faktów lub nie radząc sobie z prostymi zadaniami logicznymi.
Uwaga całkowicie zastępuje sieci konwolucyjne i rekurencyjne.
Architektury hybrydowe pozostają popularne i często działają lepiej niż modele oparte wyłącznie na uwadze. Warstwy splotowe nadal pojawiają się w wielu najnowocześniejszych systemach wizyjnych, a niektóre modele przetwarzania języka naturalnego (NLP) korzystają z połączenia uwagi z innymi podejściami.
Mapy uwagi bezpośrednio pokazują, o czym myśli model.
Wagi uwagi nie zawsze stanowią wiarygodne wyjaśnienie zachowania modelu. Badania wykazały, że rozkłady uwagi niekoniecznie korelują z ważnością cech, a ich interpretacja wymaga ostrożności.
Wybierz uwagę wizualną, gdy Twoje zadanie wymaga zrozumienia relacji przestrzennych w obrazach lub filmach, zwłaszcza gdy dysponujesz dużymi zbiorami danych i potrzebujesz precyzyjnej lokalizacji. Wybierz uwagę NLP, gdy pracujesz z sekwencyjnymi danymi tekstowymi wymagającymi zrozumienia kontekstu, generowania lub tłumaczenia. W projektach multimodalnych połączenie obu tych aspektów poprzez uwagę krzyżową często przynosi najlepsze rezultaty.
W tym porównaniu analizuje się strategiczne wybory w uczeniu maszynowym między adaptacją domeny, która przenosi wiedzę z oznaczonego środowiska źródłowego do innego środowiska docelowego, a uczeniem w domenie, które buduje modele wyłącznie w oparciu o dane zebrane w konkretnym środowisku wdrożenia docelowego.
Adaptacja językowa w sztucznej inteligencji koncentruje się na uczeniu modeli obsługi konkretnych języków poprzez precyzyjne dostrajanie i transfer wiedzy, podczas gdy systemy sztucznej inteligencji niezależne od języka dążą do przetwarzania dowolnego języka bez szkolenia językowego. Oba podejścia radzą sobie z wyzwaniami wielojęzyczności, ale różnią się zasadniczo pod względem architektury, danych szkoleniowych i wdrożenia w warunkach rzeczywistych.
Adaptacyjne pobieranie dynamicznie dostosowuje sposób i rodzaj informacji pobieranych przez system na podstawie zapytania, podczas gdy statyczne potoki pobierania podążają za stałymi regułami niezależnie od kontekstu. Oba te rozwiązania napędzają nowoczesne aplikacje AI, ale różnią się znacząco elastycznością, kosztami i dokładnością. Wybór między nimi zależy od złożoności obciążenia i budżetu.
Agenci AI to autonomiczne, zorientowane na cel systemy, które potrafią planować, wnioskować i wykonywać zadania w różnych narzędziach, podczas gdy tradycyjne aplikacje internetowe podążają za sztywnymi, sterowanymi przez użytkownika przepływami pracy. Porównanie podkreśla przejście od statycznych interfejsów do adaptacyjnych, kontekstowych systemów, które mogą proaktywnie wspierać użytkowników, automatyzować decyzje i dynamicznie wchodzić w interakcje z wieloma usługami.
Agenci AI zorientowani na zadania są stworzeni do autonomicznego wykonywania określonych przepływów pracy, podczas gdy uniwersalne modele językowe służą jako wszechstronne generatory tekstu, reagujące na szeroki zakres podpowiedzi. Wybór między nimi zależy od tego, czy potrzebujesz niezawodnego wykonywania zadań, czy elastycznej inteligencji konwersacyjnej.
