машинно обучениедълбоко обучениефункции на загубитекомпютърно зрениеоптимизацияизкуствен интелект
Функции за съвпадение на разходите срещу функции за загуба от класификация
Функциите за съвпадение на разходите и функциите за загуба на класификация изпълняват различни роли в машинното обучение. Разходите за съвпадение измерват сходството между прогнозираните и реално съществуващите съответствия, докато загубите на класификация оптимизират моделите, за да присвоят входните данни на дискретни категории. Разбирането на техните разлики помага на практикуващите да изберат правилната цел за всяка задача.
Акценти
Разходите за съвпадение оценяват съответствията, докато загубите от класификация оформят границите на вземане на решения между категориите.
Загубите от класификация, като например кръстосаната ентропия, доминират в контролираното обучение, докато разходите за съвпадение са причина за проследяването и подравняването на каналите.
Разходите за съвпадение захранват комбинаторните решатели, докато загубите от класификация се интегрират директно с оптимизатори, базирани на градиент.
Двете функционални семейства рядко се конкурират директно, но понякога се комбинират в хибридни системи за вграждане и съпоставяне.
Какво е Функции за съвпадение на разходите?
Математически мерки, които количествено определят сходството или различието между прогнозираните и целевите съответствия в задачи като проследяване на обекти и съпоставяне на характеристики.
Функциите за съвпадение на разходите присвояват числова оценка на двойки кандидати, където по-ниските стойности обикновено показват по-добри съвпадения между прогнозираните и действителните съответствия.
Те се използват широко в оценката на оптичния поток, стерео съвпадението и тръбопроводите за проследяване на обекти, за да се оцени доколко добре прогнозираното съвпадение съвпада с реалното състояние.
Често срещани примери включват Сума от абсолютни разлики (SAD), Сума от квадрати на разлики (SSD) и нормализирана кръстосана корелация (NCC).
За разлика от загубите от класификация, разходите за съвпадение работят на базата на прогнози с непрекъснати стойности, а не на вероятности за дискретни класове.
Те често служат като първи етап в по-голям конвейер, подавайки резултати към решаващи програми като унгарския алгоритъм за задачи с присвояване.
Какво е Функции за загуба на класификация?
Целеви функции, които обучават моделите да категоризират правилно входните данни в предварително дефинирани дискретни класове, като санкционират неправилните прогнози.
Загубите от класификация измерват несъответствието между прогнозираните вероятности за класове и истинските етикети на класове, насочвайки моделите към точна категоризация.
Загубата на кръстосана ентропия и нейните варианти (бинарни, категорични, разредени) са най-широко използваните цели за класификация в дълбокото обучение.
Те са в основата на задачи като разпознаване на изображения, откриване на спам, анализ на настроенията и медицинска диагноза.
Съвременни рамки като PyTorch и TensorFlow предоставят вградени имплементации на загуби от класификация за бързо прототипиране.
За разлика от разходите за съвпадение, загубите от класификация обикновено работят върху вероятностни разпределения, получени от softmax или сигмоидни активации.
Сравнителна таблица
Функция
Функции за съвпадение на разходите
Функции за загуба на класификация
Основна цел
Количествено определяне на сходството между прогнозираните и реално съществуващите съответствия
Оптимизирайте моделите, за да присвоите входните данни на правилните дискретни категории
Тип изход
Непрекъснати резултати за сходство или разстояние
Разпределения на вероятностите по класове
Често срещани примери
Сума от абсолютни разлики, сума от квадрати на разлики, нормализирана кръстосана корелация
Кръстосана ентропия, загуба на панти, фокална загуба, KL дивергенция
Типични приложения
Проследяване на обекти, оптичен поток, стерео съвпадение, съвпадение на характеристики
Класификация на изображения, категоризация на текст, медицинска диагноза, анализ на настроенията
Математическата природа
Метрики, базирани на разстояние, сравняващи сурови или векторни характеристики
Вероятностни мерки, сравняващи прогнозираните разпределения с етикети с еднократна гореща или мека класификация
Роля в тръбопровода
Често се използва за решаване на задачи, като например унгарския алгоритъм.
Директно обучава класификатори чрез градиентен спускащ механизъм върху етикетирани данни
Градиентно поведение
Градиентите зависят от суровите грешки при прогнозиране, често линейни или квадратични
Градиентите зависят от увереността в прогнозите, с по-резки сигнали за уверени грешни прогнози
Формат на етикета
Непрекъснати целеви стойности или съвпадащи двойки
Дискретни индекси на класове или вектори, кодирани с еднократно кодиране
Подробно сравнение
Основни цели
Функциите за съвпадение на разходите съществуват, за да отговорят на един прост въпрос: колко близо е това предсказание до правилния отговор? Те генерират скаларен резултат, който отразява качеството на съответствието, което следващите алгоритми използват, за да правят присвоявания. Функциите за загуба на класификация, за разлика от тях, целят да научат модела на границите между категориите. Те изместват прогнозираните вероятности към правилния клас, като същевременно потискат неправилните, оформяйки повърхността за вземане на решения на модела върху много примери за обучение.
Математически основи
Цените на съвпадението често зависят от геометрични или статистически мерки за разстояние. SAD сумира абсолютните разлики по пиксели, SSD ги повдига на квадрат за по-голямо наказание при големи грешки, а NCC нормализира за вариации в яркостта. Загубите от класификация се основават на теорията на информацията. Кръстосаната ентропия, например, измерва броя на битовете, необходими за кодиране на прогноза при дадено истинско разпределение, което я прави естествено подходяща за вероятностни класификатори.
Примери за употреба на практика
Когато изграждат многообектно тракерче, инженерите разчитат на съпоставящите се разходи, за да асоциират засечките в различните кадри, често комбинирайки IoU разстояния с вграждания на външен вид. В класификатор за медицински изображения, диагностициращ тумори, загубата на кръстосана ентропия кара модела да разграничава злокачествените от доброкачествените случаи. Двете функционални семейства рядко се припокриват директно, въпреки че хибридните системи понякога използват загуби на класификация, за да научат вграждания, които по-късно сравняват разходите за съпоставяне.
Динамика на обучението
Разходите за съвпадение обикновено водят до градиенти, които се мащабират с величината на грешката при прогнозиране, което може да причини нестабилност, когато грешките са големи. Загубите от класификация, като кръстосаната ентропия, се държат по различен начин: те генерират силни градиенти, когато моделът е уверено грешен, но по-малки градиенти, когато прогнозите се приближават до коректност. Това свойство помага на класификаторите да се сближават плавно, докато разходите за съвпадение може да изискват внимателно настройване на скоростта на обучение или нормализиране.
Интеграция с алгоритми
Разходите за съвпадение рядко съществуват самостоятелно. Техните резултати се използват в комбинаторни решатели, като например унгарския алгоритъм или метода на Йонкер-Волгенант, за да се получат оптимални едно-към-едно присвоявания. Загубите от класификация се интегрират директно с оптимизатори, базирани на градиент, като Adam или SGD, актуализирайки теглата на модела с еднократно обратно преминаване. Сложността на конвейера се различава съществено между двата подхода.
Избор на правилната функция
Изберете цена на съвпадение, когато задачата ви включва сдвояване на прогнози с цели, като например свързване на засечки или подравняване на характеристики. Изберете загуба на класификация, когато целта ви е да научите модел да разпознава към коя категория принадлежи даден вход. В някои напреднали системи и двете се появяват заедно: загубата на класификация обучава мрежа за вграждане, а цената на съвпадение сравнява тези вграждания по време на извод.
Предимства и Недостатъци
Функции за съвпадение на разходите
Предимства
+Лесен за изпълнение
+Интерпретируеми резултати
+Работи със сурови функции
+Подходящо е за решаване на задачи
Потребителски профил
−Чувствителен към мащаба
−Ограничено до задачи по двойки
−Няма вероятностен изход
−Може да бъде нестабилно за оптимизиране
Функции за загуба на класификация
Предимства
+Силни градиентни сигнали
+Вероятностна интерпретация
+Вграден в основни рамки
+Мащабира се в много класове
Потребителски профил
−Изисква етикетирани данни
−Чувствителен към класовия дисбаланс
−Може да класифицира погрешно прекалено самоуверено
−По-малко полезно за регресионни задачи
Често срещани заблуди
Миф
Функциите за съвпадение на разходите и загубите от класификация са взаимозаменяеми.
Реалност
Те служат за съвсем различни цели. Цените на съвпадението оценяват сходството между двойките, докато загубите от класификация обучават моделите да предсказват дискретни категории. Заместването на едната с другата обикновено води до лоши резултати.
Миф
Загубата на кръстосана ентропия винаги работи по-добре от другите загуби при класификация.
Реалност
Кръстосаната ентропия е силно изразена по подразбиране, но фокалната загуба често я превъзхожда при небалансирани набори от данни, а загубата на панти остава конкурентна за машините с опорни вектори и някои класификатори, базирани на маржини.
Миф
Съпоставянето на разходите се прилага само за задачи, свързани с компютърно зрение.
Реалност
Макар и често срещани в зрението, разходите за съвпадение се появяват и в обработката на естествен език за подравняване на обекти, в биоинформатиката за съвпадение на последователности и в системите за препоръки за сдвояване потребител-елемент.
Миф
По-ниската цена на съвпадение винаги означава по-добър модел.
Реалност
Цените на съвпадението измерват сходството по двойки, а не цялостното качество на модела. Моделът може да генерира евтини съвпадения, които са систематично грешни, ако функцията на цената не успее да обхване съответните характеристики.
Миф
Загубите от класификация не могат да се използват за регресионни задачи.
Реалност
Строго погледнато, загубите от класификация изискват дискретни етикети. Ординалната регресия и някои задачи за класиране обаче адаптират целите в стил класификация към подредени непрекъснати изходи.
Често задавани въпроси
Каква е основната разлика между функциите за съвпадение на разходите и функциите за загуба от класификация?
Функциите за съвпадение на разходите оценяват колко добре дадено прогнозирано съответствие съвпада с цел, като по този начин се получава стойност за сходство или разстояние. Функциите за загуба на класификация измерват доколко прогнозираните вероятности за клас съвпадат с истинските етикети, насочвайки моделите към точна категоризация. Първата отговаря на въпроса „колко близко е това съвпадение?“, докато втората отговаря на въпроса „вярна ли е тази прогноза?“.
Могат ли съпоставящите се функции на разходите да се използват за класификация?
Не директно. Цените на съвпадението сравняват двойки елементи, вместо да оценяват принадлежността към клас. Въпреки това, научените вграждания, обучени със загуби от класификация, могат по-късно да бъдат сравнени с помощта на цените на съвпадението при задачи за извличане или проверка.
Коя функция за загуба на класификация се използва най-често?
Загубата на кръстосана ентропия е най-широко използваната цел за класификация в дълбокото обучение. Неговите бинарни и категориални варианти обработват съответно двукласови и многокласови проблеми и се интегрират чисто с изходите на softmax.
Диференцируеми ли са съвпадащите функции на разходите?
Много често срещани разходи за съпоставяне, като SAD и SSD, са диференцируеми, което им позволява да се използват в обучителни тръбопроводи от край до край. Някои усъвършенствани формулировки за съпоставяне обаче включват дискретни стъпки на присвояване, които изискват приближения, като алгоритъма на Синкхорн, за да се даде възможност за градиентен поток.
Кога трябва да използвам фокална загуба вместо кръстосана ентропия?
Загубата на фокус е за предпочитане, когато вашият набор от данни има сериозен дисбаланс в класовете, тъй като намалява тежестта на лесните примери и фокусира обучението върху трудни случаи. За балансирани набори от данни, стандартната кръстосана ентропия обикновено се представя също толкова добре, без допълнителна сложност.
Изискват ли функциите за съпоставяне на разходите етикетирани данни за обучение?
Самите съпоставящи се разходи са математически формули, които не изискват обучение. Въпреки това, обучението за създаване на характеристики, които съпоставящите се разходи могат ефективно да сравняват, често изисква етикетирани данни, особено в системи за съпоставяне, базирани на дълбоко обучение.
Как се справят загубите от класификация с множество правилни класове?
Стандартната кръстосана ентропия приема точно един правилен клас за всеки вход. За проблеми с множество валидни етикети, като например класификация с множество етикети, практикуващите използват варианти на двоична кръстосана ентропия, базирана на сигмоид, или варианти на меки етикети, които позволяват вероятностна маса в няколко класа.
Каква роля играе унгарският алгоритъм при съпоставянето на разходите?
Унгарският алгоритъм решава проблема с разпределението, като намира оптимални едно-към-едно сдвоявания, като е дадена матрица на разходите. Разходите за съвпадение попълват тази матрица и алгоритъмът избира комбинацията от сдвоявания с най-ниска обща цена.
Мога ли да комбинирам разходите за съвпадение и загубите от класификация в един модел?
Да, хибридните архитектури често правят точно това. Загуба на класификация може да обучи мрежа за вграждане, а цената на съвпадение след това сравнява тези вграждания по време на извода. Този модел се появява в системите за разпознаване на лица, повторна идентификация на хора и метрично обучение.
Защо съпоставянето на разходите е важно при проследяването на обекти?
Проследяването изисква свързване на засечки в различните видеокадри, което е фундаментален проблем с присвояването. Цените на съвпадението количествено определят колко е вероятно две засечки да се отнасят до един и същ обект, което позволява на алгоритмите да поддържат последователни идентичности във времето.
Загубата на панти все още ли е релевантна в сравнение с кръстосаната ентропия?
Загубата на шарнири остава актуална, особено за машините с опорни вектори и класификаторите, базирани на маржове. Съвременните невронни мрежи често предпочитат кръстосаната ентропия, защото тя произвежда калибрирани вероятности, но загубата на шарнири може да предложи по-добри свойства на маржовете в определени настройки.
Решение
Функциите за съвпадение на разходите и функциите за загуба на класификация разглеждат фундаментално различни проблеми, така че изборът зависи изцяло от вашата задача. Потърсете съвпадение на разходите, когато трябва да оцените съответствията между прогнози и цели при проблеми с проследяване или подравняване. Изберете загуби на класификация, когато обучавате модел за категоризиране на входните данни в дискретни етикети, което обхваща повечето приложения за контролирано обучение.