Візуальні відповіді на запитання (VQA) інтерпретують зображення, щоб відповісти на запитання щодо візуального контенту, тоді як текстові відповіді на запитання (Text QA) зосереджені на вилученні або генеруванні відповідей з письмових уривків. Обидва підпадають під обробку природної мови, але принципово відрізняються способами введення та методами штучного інтелекту, на які вони спираються.
Завдання штучного інтелекту, де моделі аналізують зображення та відповідають на запитання природною мовою щодо їхнього візуального контенту.
Завдання штучного інтелекту, де моделі читають та розуміють письмові уривки, щоб відповідати на запитання на основі текстової інформації.
| Функція | Візуальні відповіді на запитання | Відповіді на текстові запитання |
|---|---|---|
| Спосіб введення | Зображення в поєднанні з текстовими питаннями | Уривки з тексту, поєднані з текстовими питаннями |
| Основні методи штучного інтелекту | Комп'ютерний зір, мультимодальні трансформатори, моделі мови зору | Обробка природної мови, трансформаторні моделі, пошук інформації |
| Типові архітектури моделей | ViLBERT, LLaVA, GPT-4V, BLIP-2, Flamingo | BERT, RoBERTa, T5, GPT, системи з доповненим пошуком |
| Ключові показники | VQA v2, GQA, OK-VQA, TextVQA | SQUAD, Природничі питання, TriviaQA, MS MARCO |
| Основні виклики | Візуальне обґрунтування, оптичне розпізнавання символів (OCR) у зображеннях, просторове мислення, обробка неоднозначних візуальних посилань | Розуміння прочитаного, обробка питань без відповіді, багатоетапне мислення, розуміння довгого контексту |
| Вимоги до даних | Триплети зображення-питання-відповідь, що потребують як візуальних, так і текстових анотацій | Пари питань і відповідей на основі документів, що часто потребують експертних анотацій від людини |
| Обчислювальна складність | Вища завдяки одночасній обробці візуальних та текстових даних | Зазвичай нижчий, зосереджений на токенізації тексту та увазі трансформатора |
| Реальні застосування | Допоміжні технології для незрячих користувачів, пошук на основі зображень, медична діагностика, спостереження | Пошукові системи, віртуальні помічники, освітні інструменти, аналіз юридичних документів |
| Історичний розвиток | Виникла як окрема галузь приблизно у 2014-2015 роках із розвитком глибокого навчання | Розроблявся протягом десятиліть, зі значним прогресом після трансформаторної революції у 2017 році |
Найбільш фундаментальна відмінність між цими двома завданнями полягає в тому, що вони обробляють. Візуальне відповідання на запитання вимагає від моделей інтерпретації піксельних даних із зображень разом із текстовими запитаннями, що вимагає складних кодерів зору, які можуть витягувати значущі ознаки з візуального контенту. Текстове відповідання на запитання, навпаки, працює виключно з письмовою мовою, дозволяючи моделям зосередити свої обчислювальні ресурси на лінгвістичному розумінні, а не розділяти увагу між двома дуже різними типами даних.
Системи VQA зазвичай поєднують кодер зору (наприклад, CNN або Vision Transformer) з мовною моделлю, об'єднуючи ці представлення через шари перехресної уваги або проекції. Така мультимодальна архітектура додає значної складності. Моделі текстового QA можуть спиратися виключно на мовні трансформатори без потреби в компонентах візуальної обробки, що загалом робить їх простішим для навчання та розгортання, хоча вони все ще потребують значних обчислювальних ресурсів для розуміння мови у великих масштабах.
Аудиторна оцінка якості тексту часто вимагає складних міркувань над довгими уривками, включаючи багатоступеневі висновки, де відповіді вимагають поєднання інформації з кількох речень або документів. Аудиторна оцінка якості (VQA) створює додаткові проблеми міркування, такі як просторове розуміння (де розташовані об'єкти), підрахунок (скільки елементів з'являється) та візуальний здоровий глузд (що зазвичай відбувається в сцені). Обидва завдання вимагають знань про світ, але VQA має ґрунтуватися на візуальних доказах.
Забезпечення якості тексту (QA) досягло значного прогресу: моделі тепер відповідають або перевищують людські показники за такими тестами, як SQuAD 2.0. VQA також значно просунулося, хоча ця галузь стикається з постійними викликами, пов'язаними з питаннями, що вимагають зовнішніх знань, окрім тих, що видно на зображенні. Впровадження OK-VQA підкреслило цю прогалину, підштовхнувши дослідників до більш наукоємних підходів до візуального мислення.
Технічне забезпечення якості тексту (VQA) домінує в сценаріях пошуку інформації, забезпечуючи роботу всього: від фрагментів вибраних кодів у Пошуку Google до баз знань підприємства. VQA знаходить своє найсильніше застосування там, де візуальний контекст є важливим, наприклад, допомагає користувачам із вадами зору розуміти своє оточення, аналізує медичні скани або дозволяє роботам взаємодіяти з навколишнім середовищем на основі візуальних запитів. Обидві технології все більше сходяться в мультимодальних помічниках зі штучним інтелектом, які можуть безперешкодно обробляти як текст, так і зображення.
Моделі VQA можуть справді «бачити» та розуміти зображення так само, як це роблять люди.
Системи VQA обробляють зображення як числові представлення та вивчають статистичні закономірності, а не досягають справжнього візуального розуміння. Вони можуть зазнати невдачі у питаннях, що вимагають здорового глузду, або коли візуальні елементи неоднозначні, навіть коли правильна відповідь здається очевидною для спостерігача-людини.
Системи контролю якості тексту завжди надають точні, фактичні відповіді.
Навіть найсучасніші мовні моделі можуть генерувати правдоподібні, але неправильні відповіді, явище, відоме як галюцинація. Системи контролю якості тексту також можуть мати труднощі із запитаннями, що потребують інформації, якої немає в їхніх навчальних даних або вихідних документах, і їхня продуктивність значно варіюється залежно від різних областей та типів запитань.
VQA — це просто класифікація зображень з додатковими кроками.
VQA вимагає набагато складніших можливостей, ніж класифікація. Моделі повинні розуміти просторові відносини, підраховувати об'єкти, зчитувати текст на зображеннях, інтерпретувати сцени контекстуально та міркувати про візуальні елементи у зв'язку із запитами природної мови. Це робить цю задачу значно складнішою, ніж просте маркування зображень.
Контроль якості тексту стане застарілим, оскільки штучний інтелект рухається до мультимодальних систем.
Забезпечення якості тексту залишається фундаментальним, навіть попри розвиток мультимодального штучного інтелекту. Більшість інформації з реального світу все ще існує в текстовій формі, а чисто текстові системи часто перевершують мультимодальні моделі в задачах, що працюють лише з текстом, вимагаючи при цьому менше обчислювальних ресурсів. Мультимодальні системи зазвичай базуються на можливостях забезпечення якості тексту, а не замінюють їх.
Як VQA, так і Text QA вимагають однакового типу та обсягу навчальних даних.
VQA вимагає дорогих анотованих наборів даних, що поєднують зображення із запитаннями та відповідями, часто потребуючи краудворкерів для генерування різноманітних запитань щодо візуального контенту. QA тексту може використовувати існуючі документи та уривки, хоча створення високоякісних пар запитання-відповідей все ще вимагає значних зусиль людини щодо анотування.
Оберіть візуальні відповіді на запитання, коли ваша програма вимагає розуміння зображень, відеокадрів або візуальних документів, де одного лише тексту недостатньо. Текстові відповіді на запитання залишаються кращим вибором для аналізу документів, пошукових систем та сценаріїв, де інформація існує переважно у письмовій формі. Сучасні системи штучного інтелекту все частіше поєднують обидві можливості, тому найпрактичніший підхід часто передбачає розгортання мультимодальних моделей, які обробляють як візуальні, так і текстові дані.
A/B-тестування в моделюванні спрямовує трафік між конкуруючими версіями моделей для вимірювання реальної продуктивності, тоді як розгортання однієї моделі надає одну модель усім користувачам. Команди обирають між ними на основі толерантності до ризику, обсягу трафіку та необхідності статистичної перевірки перед повним розгортанням.
A/B-тестування в релізах контенту передбачає розгортання варіацій для різних сегментів аудиторії та вимірювання ефективності, тоді як одноразові релізи контенту пропонують одну версію всім одночасно. Кожен підхід відповідає різним цілям, причому A/B-тестування надає перевагу оптимізації на основі даних, а одноразові релізи надають пріоритет швидкості та простоті.
DeepSeek V4 — це нова модель великої мови програмування відкритої ваги від китайської лабораторії штучного інтелекту, тоді як моделі класу GPT-4 відносяться до флагманських систем із закритим кодом OpenAI. Це порівняння досліджує їхні архітектури, можливості, ціни, доступність та реальну продуктивність, щоб допомогти розробникам та компаніям робити правильний вибір.
LLM, що використовують інструменти, розширюють автономні мовні моделі, підключаючи їх до зовнішніх API, калькуляторів та баз даних, що дозволяє отримувати інформацію та виконувати завдання в режимі реального часу. Автономні LLM покладаються виключно на навчені параметри, що робить їх самостійними, але обмеженими знаннями з навчальних даних.
LLM з відкритим кодом пропонують налаштовувані, самостійно розміщені моделі штучного інтелекту з повним доступом до коду, тоді як власні API LLM надають керовані, відшліфовані послуги через хмарні кінцеві точки з ціноутворенням на основі використання.
