Modele wizyjno-językowe przetwarzają obrazy i tekst jednocześnie, umożliwiając zadania takie jak wizualne odpowiadanie na pytania i tworzenie podpisów do obrazów. Modele czysto językowe koncentrują się wyłącznie na tekście, doskonale radząc sobie z pisaniem, rozumowaniem i zadaniami konwersacyjnymi bez możliwości wprowadzania danych wizualnych.
Systemy sztucznej inteligencji, które wspólnie rozumieją i generują treści na podstawie danych wizualnych i tekstowych, łącząc widzenie komputerowe z przetwarzaniem języka naturalnego.
Systemy sztucznej inteligencji zaprojektowane wyłącznie do zadań opartych na tekście, trenowane na dużych korpusach treści pisanych w celu rozumienia i generowania języka ludzkiego.
| Funkcja | Modele wizyjno-językowe | Czyste modele językowe |
|---|---|---|
| Modalności wejściowe | Obrazy i tekst (multimodalne) | Tylko tekst (unimodalny) |
| Architektura rdzeniowa | Koder wizji + model języka z fuzją międzymodalną | Tylko model języka oparty na transformatorach |
| Dane treningowe | Pary obraz-tekst, podpisy, wizualne zestawy danych QA oraz korpusy tekstowe | Duże korpusy tekstowe z Internetu, książek i kodu |
| Kluczowe możliwości | Podpisy do obrazów, rozumowanie wizualne, analiza dokumentów, czat multimodalny | Generowanie tekstu, rozumowanie, tłumaczenie, kodowanie, konwersacja |
| Przykładowe modele | GPT-4V, Gemini 1.5, LLaVA, Qwen-VL, Claude 3.5 Sonnet | GPT-4, Llama 3, Mistral, Claude 3.5, Phi-3 |
| Koszt obliczeniowy | Wyższe ze względu na obciążenie przetwarzaniem obrazu | Niższy, zoptymalizowany pod kątem wnioskowania wyłącznie na podstawie tekstu |
| Typowe punkty odniesienia | MMMU, VQA, MMStar, MathVista, DocVQA | MMLU, HumanEval, GSM8K, HellaSwag, BIG-Bench |
| Najlepsze przypadki użycia | Analiza wizualna, dostępność, sztuczna inteligencja dokumentów, asystenci oparty na obrazach | Pisanie, kodowanie, analiza, chatboty, wyszukiwanie wiedzy |
Modele wizyjno-językowe łączą komponent przetwarzania wizualnego, zazwyczaj Vision Transformer lub koder typu CLIP, z modelem języka. Te dwie części są połączone za pomocą warstw projekcyjnych lub mechanizmów wzajemnej uwagi, które pozwalają modelowi na dopasowanie cech wizualnych do reprezentacji tekstowych. Modele czysto językowe całkowicie pomijają komponent wizualny, opierając się wyłącznie na warstwach transformatorowych, które przetwarzają tokenizowany tekst. Dzięki temu są prostsze w projektowaniu, ale jednocześnie wysoce zoptymalizowane pod kątem wzorców językowych.
Trening modelu wizyjno-językowego wymaga sparowanych danych obrazowo-tekstowych, takich jak zdjęcia z podpisami, wizualne zbiory danych instruktażowych oraz obrazy dokumentów z adnotacjami. Model uczy się kojarzenia pikseli ze słowami i pojęciami. Modele języka czystego trenują na ogromnych korpusach tekstowych, ucząc się gramatyki, faktów i wzorców rozumowania poprzez przewidywanie kolejnych tokenów. Oba podejścia wykorzystują samonadzorowane uczenie się na dużą skalę, ale modele wizyjno-językowe wymagają dodatkowego treningu dopasowania, aby połączyć te dwie modalności.
Modele wizyjno-językowe sprawdzają się doskonale, gdy istotny jest kontekst wizualny, na przykład przy opisywaniu wykresu, czytaniu tekstu z obrazu lub odpowiadaniu na pytania dotyczące fotografii. Modele oparte na czystym języku dominują w zadaniach wymagających dużej ilości tekstu, takich jak pisanie esejów, generowanie kodu i logiczne rozumowanie bez udziału bodźców wizualnych. Co ciekawe, wiele współczesnych systemów jest domyślnie multimodalnych, co oznacza, że to rozróżnienie zaciera się, ponieważ wiodące laboratoria integrują wizję ze swoimi flagowymi modelami.
Firmy wdrażają modele wizyjno-językowe do automatyzacji dokumentów, wyszukiwania wizualnego, narzędzi ułatwień dostępu i obsługi klienta, wykorzystując zrzuty ekranu lub zdjęcia produktów. Modele oparte na czystym języku napędzają chatboty, narzędzia do tworzenia treści, asystentów kodowania i systemy wyszukiwania korporacyjnego. Wybór między nimi zależy od tego, czy Twój przepływ pracy obejmuje treści wizualne. W przypadku przepływów pracy opartych wyłącznie na tekście, modele językowe pozostają szybsze i tańsze w obsłudze.
Modele wizyjno-językowe wymagają więcej pamięci i mocy obliczeniowej, ponieważ przetwarzają wielowymiarowe dane obrazowe wraz z tekstem. Przekłada się to na wyższe koszty wnioskowania i nieco dłuższy czas reakcji. Modele czysto językowe są bardziej wydajne, zwłaszcza w przypadku mniejszych, otwartych modeli, takich jak Llama 3 8B lub Mistral 7B. W przypadku aplikacji tekstowych o dużej objętości różnica w kosztach może być znacząca w dużej skali.
Modele wizyjno-językowe czasami mają halucynacje dotyczące szczegółów obrazów lub mają trudności z precyzyjnym rozumowaniem wizualnym, takim jak liczenie małych obiektów. Modele czysto językowe w ogóle nie widzą obrazów, co ogranicza ich użyteczność w zadaniach wymagających bodźców wzrokowych. Żaden z tych typów nie rozumie świata tak naprawdę jak ludzie, ale modele wizyjno-językowe zbliżają się do tego, osadzając język w rzeczywistości wizualnej.
Modele wizyjno-językowe naprawdę potrafią widzieć i rozumieć obrazy w taki sam sposób, jak ludzie.
Przetwarzają obrazy jako wzory pikseli i uczą się statystycznych powiązań z tekstem podczas treningu. Brakuje im rzeczywistego rozumienia wizualnego i mogą dać się zwieść obrazom przeciwników lub przegapić szczegóły, które człowiek z łatwością by wychwycił.
Czyste modele językowe stają się przestarzałe ze względu na multimodalną sztuczną inteligencję.
Czyste modele językowe pozostają podstawą większości aplikacji AI i często sprawdzają się lepiej w przypadku zadań opartych wyłącznie na tekście. Wiele systemów wykorzystuje modele językowe równolegle z modelami wizyjnymi, zamiast je zastępować.
Model wizyjno-językowy to po prostu model języka z dołączonym klasyfikatorem obrazów.
Nowoczesne modele wizyjno-językowe wykorzystują zaawansowaną intermodalną uwagę i trening łączony, a nie prostą klasyfikację. Komponenty wizyjne i językowe są głęboko zintegrowane poprzez wyuczone warstwy dopasowania.
Czyste modele językowe w ogóle nie są w stanie rozumować na temat pojęć wizualnych.
Modele językowe wytrenowane na wystarczającej ilości tekstu mogą rozwijać zaskakującą wiedzę wizualną poprzez same opisy. Potrafią omawiać style artystyczne, opisywać sceny i rozumować na temat pojęć wizualnych bez konieczności przetwarzania obrazu.
Modele wizyjno-językowe zawsze wypadają lepiej niż modele czysto językowe w zadaniach wymagających rozumowania.
W testach wnioskowania czysto tekstowego, modele wizyjno-językowe często osiągają wyniki podobne lub nieco gorsze niż ich odpowiedniki oparte wyłącznie na tekście. Dodanie możliwości wizualnych nie poprawia automatycznie rozumowania logicznego ani matematycznego.
Wybierz model wizyjno-językowy, jeśli Twoja aplikacja musi interpretować obrazy, dokumenty lub treści wizualne w kontekście tekstu. Wybierz model czystego języka w przypadku przepływów pracy wyłącznie tekstowych, gdzie szybkość, koszt i dogłębne rozumowanie lingwistyczne mają największe znaczenie. Wiele współczesnych wdrożeń korzysta z obu tych rozwiązań, wykorzystując modele wizyjno-językowe do zadań wizualnych, a modele czystego języka do wszystkich innych zadań.
W tym porównaniu analizuje się strategiczne wybory w uczeniu maszynowym między adaptacją domeny, która przenosi wiedzę z oznaczonego środowiska źródłowego do innego środowiska docelowego, a uczeniem w domenie, które buduje modele wyłącznie w oparciu o dane zebrane w konkretnym środowisku wdrożenia docelowego.
Adaptacja językowa w sztucznej inteligencji koncentruje się na uczeniu modeli obsługi konkretnych języków poprzez precyzyjne dostrajanie i transfer wiedzy, podczas gdy systemy sztucznej inteligencji niezależne od języka dążą do przetwarzania dowolnego języka bez szkolenia językowego. Oba podejścia radzą sobie z wyzwaniami wielojęzyczności, ale różnią się zasadniczo pod względem architektury, danych szkoleniowych i wdrożenia w warunkach rzeczywistych.
Adaptacyjne pobieranie dynamicznie dostosowuje sposób i rodzaj informacji pobieranych przez system na podstawie zapytania, podczas gdy statyczne potoki pobierania podążają za stałymi regułami niezależnie od kontekstu. Oba te rozwiązania napędzają nowoczesne aplikacje AI, ale różnią się znacząco elastycznością, kosztami i dokładnością. Wybór między nimi zależy od złożoności obciążenia i budżetu.
Agenci AI to autonomiczne, zorientowane na cel systemy, które potrafią planować, wnioskować i wykonywać zadania w różnych narzędziach, podczas gdy tradycyjne aplikacje internetowe podążają za sztywnymi, sterowanymi przez użytkownika przepływami pracy. Porównanie podkreśla przejście od statycznych interfejsów do adaptacyjnych, kontekstowych systemów, które mogą proaktywnie wspierać użytkowników, automatyzować decyzje i dynamicznie wchodzić w interakcje z wieloma usługami.
Agenci AI zorientowani na zadania są stworzeni do autonomicznego wykonywania określonych przepływów pracy, podczas gdy uniwersalne modele językowe służą jako wszechstronne generatory tekstu, reagujące na szeroki zakres podpowiedzi. Wybór między nimi zależy od tego, czy potrzebujesz niezawodnego wykonywania zadań, czy elastycznej inteligencji konwersacyjnej.
