машинно обучениеобучение с подсилванеконтролирано обучениеизкуствен интелектобучение с изкуствен интелект
Обучение чрез проба и грешка срещу обучение с етикетирани набори от данни
Обучението чрез проба-грешка, често наричано обучение с подсилване, обучава ИИ чрез награди и наказания от взаимодействия със среда. Обучението с етикетирани набори от данни, известно като контролирано обучение, обучава модели, използвайки предварително маркирани примери. И двата подхода оформят начина, по който машините придобиват умения, но се различават фундаментално по изискванията за данни и механизмите за обратна връзка.
Акценти
Обучението чрез проба-грешка открива стратегии чрез екологични награди, докато обучението с етикетирани набори от данни следва примери, предоставени от човека.
Контролираното обучение изисква скъпи анотирани данни; обучението с подсилване се нуждае от реалистични среди или симулатори.
Обучението с подсилване се отличава с последователни решения и може да намери нови решения отвъд човешкото познание.
Съвременният изкуствен интелект все по-често комбинира и двата метода, както се вижда в RLHF, използван за обучение на разговорни модели.
Какво е Учене чрез проба и грешка?
Подход за обучение, при който агентите с изкуствен интелект учат оптимално поведение чрез обратна връзка от околната среда, получавайки награди за добри действия и наказания за лоши.
Известно като обучение с подсилване, е клон на машинното обучение, вдъхновен от поведенческата психология.
Пионер в практическия изкуствен интелект от изследователи като Ричард Сътън и Андрю Барто, чиято работа формализира областта през 90-те години на миналия век
Известни приложения включват AlphaGo, което победи световните шампиони по Go, като се учеше чрез самостоятелна игра.
Не изисква предварително маркирани данни, вместо това генерира собствен обучителен сигнал чрез резултати от взаимодействието
Използва се широко в роботиката, игрите, автономните превозни средства и динамичните ценови системи.
Какво е Обучение с етикетирани набори от данни?
Метод за обучение, при който моделите на изкуствен интелект изучават модели от набори от данни, съдържащи двойки вход-изход, които хората ръчно са анотирали с правилни отговори.
Официално наричано контролирано обучение, то остава най-широко използваната парадигма за машинно обучение в индустрията.
Захранва приложения като филтри за спам по имейл, разпознаване на изображения, инструменти за медицинска диагностика и езиков превод
Изисква значителни човешки усилия за създаване на етикетирани набори от данни, което може да бъде скъпо и отнемащо време.
Гръбнакът на съвременните модели на големи езици по време на началните им фази на обучение върху курирани текстови корпуси
Алгоритмите включват дървета на решенията, машини с опорни вектори, невронни мрежи и методи за усилване на градиента.
Сравнителна таблица
Функция
Учене чрез проба и грешка
Обучение с етикетирани набори от данни
Парадигма на обучението
Обучение с подсилване (RL)
Контролирано обучение (SL)
Изисквания за данни
Среда или симулатор за взаимодействие
Предварително обозначени входно-изходни двойки
Сигнал за обратна връзка
Скаларни награди или наказания от действия
Етикети за основна истина за всеки пример
Усилие за човешка анотация
Минимално до никакво по време на тренировка
Необходимо е предварително обстойно етикетиране
Скорост на тренировка
Често бавно поради нуждите от проучване
Обикновено по-бързо с директни градиентни сигнали
Ефективност на пробата
Обикновено ниско, изисква много взаимодействия
По-високо, учи се директно от примери
Най-добри случаи на употреба
Последователни решения, игри, роботика
Класификация, регресия, прогнозиране
Възможности за проучване
Вграден, открива нови стратегии
Ограничено до модели в данните за обучение
Ключови алгоритми
Q-обучение, PPO, DQN, A3C
Линейна регресия, CNN, трансформатори, SVM
Подробно сравнение
Как всеки метод придобива знания
Обучението чрез проба-грешка работи, като позволява на агент да взаимодейства със среда и да наблюдава последствията от своите действия. Когато агентът направи нещо полезно, той получава числена награда; когато направи грешка, получава наказание или нищо. В продължение на хиляди или милиони итерации агентът постепенно изгражда политика, която максимизира кумулативната награда. Обучението с етикетирани набори от данни поема по съвсем различен път. Тук хората подготвят набор от данни, където всеки вход е сдвоен с правилния изход, а моделът настройва вътрешните си параметри, за да съответстват възможно най-точно на тези отговори.
Подготовка на данни и разходи
Една от най-големите практически разлики се крие в начина, по който се набавят данни за обучение. Контролираното обучение изисква внимателно обозначени набори от данни, а създаването им може да бъде мащабно начинание. Проектите за медицинска образна диагностика, например, често изискват експерти рентгенолози да анотират хиляди сканирания, което води до разходи, достигащи стотици хиляди долари. Обучението с подсилване заобикаля това пречка, като генерира собствен обучителен сигнал чрез взаимодействие, въпреки че заменя този проблем с друг: необходимостта от реалистична среда или симулатор, където агентът може безопасно да експериментира.
Силни страни в различни сценарии
Когато целта включва последователно вземане на решения, където дългосрочната стратегия е от значение, ученето чрез проба-грешка блести. Игри като шах, Го и StarCraft са завладени от RL агенти, които са открили стратегии, непредвидени от човек. Контролираното обучение доминира, когато имате ясни примери за правилно поведение и се нуждаете от надеждни прогнози за нови данни. Задачи като откриване на измамни транзакции, разпознаване на лица на снимки или превод между езици разчитат до голяма степен на етикетирани обучителни набори, защото съпоставянето от вход към изход е добре дефинирано.
Ограничения и предизвикателства
Обучението с подсилване се бори с неефективността на извадките, понякога изисквайки милиони епизоди, за да се научат задачи, които човек би могъл да схване за минути. То също така е изправено пред дилемата „изследване-експлоатация“, при която агентът трябва да балансира между изпробването на нови действия и придържането към познати добри. Контролираното обучение, от друга страна, е ограничено от качеството и разнообразието на своите етикети за обучение. Моделите могат да наследят човешки пристрастия, да се провалят при входни данни извън разпределението и да се задържат на плато, когато етикетираните данни се изчерпят. И двата подхода споделят предизвикателства, свързани с интерпретируемостта и безопасността, въпреки че се проявяват по различен начин.
Хибридни подходи в съвременния изкуствен интелект
Границата между тези парадигми се разми значително през последните години. Техники като RLHF (Обучение с подсилване от човешка обратна връзка) комбинират двата свята, като използват човешките предпочитания като сигнали за възнаграждение, за да прецизират моделите, първоначално обучени върху етикетирани данни. Самостоятелното обучение също се очертава като среден вариант, при който моделите създават свои собствени етикети от немаркирани данни, преди да бъдат прецизирани върху по-малки, курирани набори. Тези хибридни методи често превъзхождат чистите подходи, което предполага, че бъдещето на обучението на ИИ е в комбинирането на силните страни на двете стратегии.
Предимства и Недостатъци
Учене чрез проба и грешка
Предимства
+Не са необходими етикетирани данни
+Открива нови стратегии
+Адаптира се към динамични среди
+Фокус върху дългосрочната оптимизация
Потребителски профил
−Неефективна проба
−Изисква симулационна среда
−Нестабилен тренировъчен процес
−Трудно за отстраняване на грешки и интерпретация
Обучение с етикетирани набори от данни
Предимства
+Бързо и стабилно обучение
+Добре разбрана теория
+Висока точност на прогнозиране
+Широка поддръжка на инструменти
Потребителски профил
−Скъпо етикетиране на данни
−Ограничено от данни за обучение
−Наследява човешките предразсъдъци
−Слаби данни за продукти извън дистрибуцията
Често срещани заблуди
Миф
Обучението с подсилване винаги се нуждае от физически робот, за да работи.
Реалност
Повечето съвременни изследвания в областта на релативното обучение (RL) се извършват изцяло в софтуерни симулатори. Средите варират от видеоигри и физични двигатели до персонализирани виртуални светове. Физическите роботи се използват само когато крайното приложение изисква внедряване в реалния свят и дори тогава обучението обикновено започва в симулация, преди да се прехвърли към хардуер.
Миф
Контролираното обучение може да реши всеки проблем, стига просто да му предоставите достатъчно данни.
Реалност
Повече данни помагат само до определен момент. Ако етикетите са шумни, предубедени или не покриват важни гранични случаи, моделът ще научи тези недостатъци. Качеството и разнообразието на анотациите са толкова важни, колкото и количеството, а някои проблеми просто не могат да бъдат формулирани като задачи за контролирано прогнозиране.
Миф
Ученето чрез проба-грешка е напълно без надзор.
Реалност
Обучението с подсилване всъщност е отделна категория, отделна както от контролираното, така и от неконтролираното обучение. Въпреки че не се нуждае от етикетирани входни данни, то разчита на сигнали за възнаграждение, които трябва да бъдат проектирани от хора. Създаването на добра функция за възнаграждение само по себе си е труден инженерен проблем.
Миф
Обучението с етикетирани набори от данни е остаряло поради самоконтролираните методи.
Реалност
Контролираното обучение остава основната работна сила на производствените системи с изкуствен интелект. Самостоятелното предварително обучение често намалява количеството необходими етикетирани данни, но фината настройка върху етикетирани примери все още е от съществено значение за повечето внедрени приложения. Двата подхода се допълват, а не се заместват взаимно.
Миф
Агентите за обучение с подсилване винаги намират оптималното решение, ако им е дадено достатъчно време.
Реалност
RL агентите могат да се зациклят в неоптимални политики, особено когато сигналите за награди са оскъдни или лошо проектирани. Проучването е фундаментално трудно и агентите може никога да не открият по-добри стратегии, ако наградите са подвеждащи или ако пространството на състоянията е твърде обширно, за да се извърши задълбочено търсене.
Често задавани въпроси
Каква е основната разлика между обучението с подсилване и обучението с контролиран контрол?
Основната разлика се състои в начина, по който се генерира обучителният сигнал. Контролираното обучение използва предварително обозначени примери, където хората са предоставили правилния отговор за всеки входен сигнал. Обучението с подсилване генерира собствена обратна връзка чрез взаимодействие със средата, получавайки награди за добри действия и наказания за лоши. Това прави обучението с подсилване (RL) подходящо за задачи с последователни решения, докато SL се отличава в задачи за разпознаване на модели.
Кой подход изисква повече данни, метод на проба-грешка или етикетирано обучение по набор от данни?
Зависи как го измервате. Обучението с подсилване често изисква значително повече взаимодействия, понякога милиони епизоди, за да се научат сложни задачи. Обучението с контролиран достъп обаче изисква повече човешки усилия предварително, защото всеки пример трябва да бъде етикетиран ръчно. Обучението с контролиран достъп заменя времето за човешко етикетиране с време за изчислително проучване, което може да бъде по-евтино, но по-бавно.
Може ли обучението с подсилване да работи без човешка намеса?
Чистото обучение с подсилване може да протича с минимално човешко участие по време на обучението, но хората все пак проектират функцията за възнаграждение, изграждат средата и задават хиперпараметри за обучение. Функцията за възнаграждение е критична, защото кодира за какво агентът трябва да оптимизира. Лошо проектираните награди водят до непредвидено поведение, както се вижда, когато RL агент се научи да използва грешка, вместо да изпълни възложената му задача.
ChatGPT обучава ли се чрез контролирано обучение или чрез обучение с подсилване?
ChatGPT използва и двете. Базовият модел първоначално е обучен с помощта на техники за самоконтрол и контролиране върху големи текстови набори от данни. Етапът на фина настройка, който го направи разговорен, използва обучение с подсилване от човешка обратна връзка (RLHF), където човешки оценители сравняват резултатите от модела и тези предпочитания обучават модел за награждаване. Този хибриден подход комбинира силните страни на обучението с етикетирани данни с оптимизация, базирана на награди.
Кой метод е по-добър за класификация на изображения?
Контролираното обучение е изключително предпочитано за класификация на изображения. Модели като конволюционни невронни мрежи и трансформатори на зрение се обучават върху набори от данни като ImageNet, където всяко изображение е обозначено с правилната му категория. Обучението с подсилване рядко се използва за чиста класификация, защото би било далеч по-неефективно по отношение на извадките и по-трудно за стабилизиране от директното контролирано обучение.
Защо обучението с подсилване е толкова популярно за изкуствения интелект, свързан с игри?
Игрите осигуряват перфектна среда за RL, защото имат ясни правила, бърза симулация и добре дефинирани сигнали за награди (победа, отбелязване на точки). Агентите могат да играят милиони игри паралелно, изследвайки стратегии, които хората никога не биха обмислили. Тази комбинация от безопасно експериментиране и ясна обратна връзка е довела до свръхчовешки резултати в Go, шах, покер, Dota 2 и StarCraft.
Как да разберете кой подход на обучение да използвате за нов проект?
Започнете, като се запитате дали имате етикетирани данни и дали проблемът ви включва последователни решения. Ако имате много етикетирани примери и трябва да предвидите изходи от входни данни, контролираното обучение е естественият избор. Ако проблемът ви изисква поредица от действия с дългосрочни последици и можете да симулирате средата, си струва да проучите обучението с подсилване. Много проекти в крайна сметка използват и двете на различни етапи.
Може ли етикетираното обучение с набор от данни да се справи с вземането на решения в реално време?
Да, веднъж обучени, контролираните модели могат да правят прогнози за милисекунди, което е достатъчно бързо за много приложения в реално време, като например откриване на измами, системи за препоръки и модули за възприемане на автономно шофиране. Фазата на обучение отнема повече време, но изводите са бързи. Обучението с подсилване обикновено е запазено за ситуации, в които решенията влияят на бъдещи състояния, а не само на непосредствени прогнози.
Какво е RLHF и как съчетава двата метода на обучение?
RLHF е съкращение от Reinforcement Learning from Human Feedback (Обучение с подсилване от човешка обратна връзка). Започва с модел, обучен върху етикетирани данни, след което използва човешки предпочитания, за да създаде сигнал за възнаграждение. Моделът за възнаграждение се научава да предсказва кои резултати предпочитат хората, а обучението с подсилване настройва фино оригиналния модел, за да увеличи максимално прогнозираното възнаграждение. Тази техника захранва подравняването на модели като GPT-4 и Claude.
Има ли проблеми, при които нито един от двата подхода не работи добре?
Да, някои проблеми остават трудни и за двете парадигми. Задачите с отворен край, разсъжденията, основани на здравия разум, в нови ситуации и проблемите, изискващи истинско разбиране, а не съпоставяне на модели, представляват предизвикателство и за двата подхода. Това е мотивирало изследванията на нови парадигми като самоконтролирано обучение, обучение с малко опити и невросимволични методи, които целят да комбинират силните страни на множество техники.
Решение
Изберете обучение чрез проба-грешка, когато проблемът ви включва последователни решения, динамични среди или ситуации, в които предварителното определяне на правилно поведение е трудно, като например управление на роботика или стратегически игри. Изберете обучение с етикетирани набори от данни, когато имате достъп до качествени анотирани данни и се нуждаете от надеждни прогнози за добре дефинирани задачи като класификация, регресия или разпознаване на модели. Много реални системи се възползват от комбинирането на двата подхода, вместо да избират само един.
