Виявлення об'єктів на основі множин розглядає виявлення як задачу прогнозування множин, безпосередньо виводячи обмежувальні рамки без попередньо визначених якорів. Виявлення на основі якорів спирається на попередньо визначені рамки в різних масштабах і співвідношеннях сторін, а потім уточнює їх. Обидва підходи є основою сучасних систем комп'ютерного зору, але принципово відрізняються тим, як вони локалізують об'єкти.
Сучасна парадигма виявлення, яка передбачає об'єкти як невпорядковані множини, усуваючи необхідність у ручно створених опорних блоках.
Традиційний підхід до виявлення, який використовує попередньо визначені опорні рамки різних розмірів та співвідношень для локалізації об'єктів на зображеннях.
| Функція | Виявлення об'єктів на основі множин | Виявлення об'єктів на основі прив'язки |
|---|---|---|
| Основний підхід | Пряме прогнозування наборів за допомогою трансформаторів | Класифікація та регресія попередньо визначених якорів |
| Необхідні анкерні коробки | Ні | Так |
| Післяобробка | Мінімальний або відсутній (без НМС) | Потрібне немаксимальне придушення |
| Стабільність тренувань | Історично складний, покращений у новіших варіантах | Загалом стабільний з добре налаштованими гіперпараметрами |
| Час навчання | Довший, особливо для ранніх моделей DETR | Зазвичай швидша конвергенція |
| Чутливість гіперпараметрів | Нижчий (менше варіантів дизайну) | Вищі (шкали опорних точок, коефіцієнти, пороги IoU) |
| Репрезентативні моделі | DETR, деформований DETR, DINO, Co-DETR | Швидший R-CNN, RetinaNet, SSD, YOLOv3/v4/v5 |
| COCO mAP (типова) | 50-63% залежно від варіанту | 37-50% залежно від варіанту |
| Дублікати прогнозів | Виключено за допомогою двочастинкового зіставлення | Обробляється через NMS |
Виявлення на основі множин фундаментально переосмислює проблему, просячи модель вивести набір прогнозів фіксованого розміру за один прохід, де кожен елемент відповідає одному об'єкту. Це усуває необхідність у компонентах, розроблених вручну. Виявлення на основі прив'язок, навпаки, починається з щільної сітки заздалегідь визначених блоків і просить модель класифікувати та уточнювати кожен з них, що концептуально простіше, але вводить багато проектних рішень.
Детектори на основі множин зазвичай використовують трансформаторні архітектури з механізмами самоуважності та перехресної уваги, що дозволяє моделі глобально міркувати про взаємозв'язки між об'єктами. Методи на основі якорів спираються переважно на згорткові магістралі з мережами пропозицій регіонів або пірамідальними мережами ознак. Архітектурний перехід від згорткових нейронних мереж (CNN) до трансформаторів приносить різні індуктивні зміщення та обчислювальні характеристики.
Ранні моделі на основі множин, такі як DETR, були відомі своєю повільною конвергенцією, часто вимагаючи 500 епох, щоб досягти продуктивності Faster R-CNN за 50 епох. Подальша робота над Deformable DETR та DINO значно скоротила час навчання завдяки кращим механізмам уваги та методам шумозаглушення. Моделі на основі якорів отримують користь від добре зрозумілих рецептів навчання та загалом швидше конвергенції зі стандартними налаштуваннями.
Детектори на основі якорів залишаються домінуючими у виробничих системах завдяки своїй зрілості, широкому набору інструментів та передбачуваній поведінці. Детектори на основі наборів набирають обертів у дослідженнях та деяких комерційних застосуваннях, де їхня наскрізна природа спрощує конвеєри розгортання. Відсутність NMS у моделях на основі наборів особливо цінна для систем реального часу, де важлива затримка постобробки.
За показником COCO, сучасні детектори на основі множин, такі як DINO та Co-DETR, перевершили методи на основі якорів, досягнувши понад 63% mAP. Однак моделі на основі якорів, такі як YOLOv8 та EfficientDet, залишаються дуже конкурентоспроможними, особливо якщо враховувати швидкість виведення. Вибір часто залежить від того, що є пріоритетом: точність чи обчислювальна ефективність.
Виявлення на основі множин повністю замінює виявлення на основі якорів на практиці.
Хоча методи на основі множин привернули значну увагу досліджень, детектори на основі якорів, такі як варіанти YOLO, залишаються широко поширеними у виробничих системах. Обидва підходи співіснують, причому вибір залежить від конкретних випадків використання, апаратних обмежень та вимог до точності.
Детектори на основі наборів взагалі не потребують жодної постобробки.
Хоча методи на основі множин усувають немаксимальне придушення завдяки двочастинковому зіставленню під час навчання, деякі варіанти все ще застосовують полегшену фільтрацію під час виведення. Ключовою перевагою є видалення ручно налаштованого порогу NMS, а не повна пост-обробка.
Виявлення на основі якорів є застарілим та неактуальним.
Методи на основі якорів продовжують розвиватися та залишаються дуже конкурентоспроможними. Такі моделі, як YOLOv8, EfficientDet та їхні новіші варіанти, досягають чудових компромісів між швидкістю та точністю, з якими методи на основі множин не повністю зрівнялися в реальних сценаріях.
Виявлення на основі множин завжди вимагає трансформаторів.
Більшість детекторів на основі множин використовують трансформаторні архітектури, але сама структура прогнозування множин не залежить від архітектури. Основну ідею прогнозування невпорядкованої множини з унікальними призначеннями теоретично можна реалізувати за допомогою інших архітектур, хоча трансформатори виявилися найефективнішими на практиці.
Якірні блоки є довільними та не сильно впливають на продуктивність моделі.
Конструкція якоря суттєво впливає на продуктивність детектора на основі якоря. Вибір масштабів, співвідношень сторін та порогів IO для позитивного/негативного призначення може змінити mAP на кілька відсоткових пунктів. Погана конструкція якоря призводить до пропуску об'єктів, особливо для незвичайних форм або масштабів.
Оберіть виявлення об'єктів на основі множин, коли вам потрібен наскрізний конвеєр без пост-обробки, ви працюєте над дослідницькими проектами або хочете використовувати трансформаторні архітектури для глобального мислення. Оберіть виявлення на основі прив'язок, коли вам потрібні перевірені, готові до використання моделі з широкою підтримкою спільноти, швидшим навчанням та добре зрозумілою поведінкою в різних сценаріях розгортання.
A/B-тестування в моделюванні спрямовує трафік між конкуруючими версіями моделей для вимірювання реальної продуктивності, тоді як розгортання однієї моделі надає одну модель усім користувачам. Команди обирають між ними на основі толерантності до ризику, обсягу трафіку та необхідності статистичної перевірки перед повним розгортанням.
A/B-тестування в релізах контенту передбачає розгортання варіацій для різних сегментів аудиторії та вимірювання ефективності, тоді як одноразові релізи контенту пропонують одну версію всім одночасно. Кожен підхід відповідає різним цілям, причому A/B-тестування надає перевагу оптимізації на основі даних, а одноразові релізи надають пріоритет швидкості та простоті.
DeepSeek V4 — це нова модель великої мови програмування відкритої ваги від китайської лабораторії штучного інтелекту, тоді як моделі класу GPT-4 відносяться до флагманських систем із закритим кодом OpenAI. Це порівняння досліджує їхні архітектури, можливості, ціни, доступність та реальну продуктивність, щоб допомогти розробникам та компаніям робити правильний вибір.
LLM, що використовують інструменти, розширюють автономні мовні моделі, підключаючи їх до зовнішніх API, калькуляторів та баз даних, що дозволяє отримувати інформацію та виконувати завдання в режимі реального часу. Автономні LLM покладаються виключно на навчені параметри, що робить їх самостійними, але обмеженими знаннями з навчальних даних.
LLM з відкритим кодом пропонують налаштовувані, самостійно розміщені моделі штучного інтелекту з повним доступом до коду, тоді як власні API LLM надають керовані, відшліфовані послуги через хмарні кінцеві точки з ціноутворенням на основі використання.
