Стратегиите за изследване в обучението с подсилване помагат на агентите да открият възнаграждаващи поведения в непозната среда, докато допълването на данни в контролираното обучение разширява наборите от данни за обучение, за да подобри обобщението на модела. И двете се справят с недостига на данни, но работят в коренно различни парадигми на обучение.
Методи, които помагат на агентите за обучение с подсилване да откриват нови състояния и действия за научаване на оптимални политики.
Техники, които изкуствено разширяват наборите от данни за обучение чрез създаване на модифицирани версии на съществуващи извадки.
| Функция | Стратегии за проучване в RL | Допълване на данни в контролирано обучение |
|---|---|---|
| Парадигма на обучението | Обучение с подсилване | Контролирано обучение |
| Основна цел | Открийте възнаграждаващи състояния и действия | Увеличете разнообразието и размера на наборите от данни |
| Основното предизвикателство е адресирано | Оскъдни награди и непозната среда | Ограничени данни за обучение и преобучение |
| Ключови техники | Епсилон-алчни, UCB, ICM, RND, Go-Explore | Ротация, Смесване, Изрязване, Автоматично увеличаване, обратно преобразуване |
| Сигнал за обратна връзка | Сигнали за възнаграждение от околната среда | Етикети за основна информация от набор от данни |
| Изчислителни разходи | Често високо поради взаимодействие с околната среда | Обикновено умерено, извършва се офлайн |
| Въздействие на ефективността на пробата | Намалява необходимите взаимодействия с околната среда | Намалява изискванията за етикетирани данни |
| Общи домейни | Игри, роботика, навигация | Компютърно зрение, НЛП, разпознаване на реч |
Съществуват стратегии за изследване, за да се реши дилемата изследване-експлоатация в обучението с подсилване, където агентът трябва да реши между опитването на нови действия за откриване на по-добри награди и придържането към познати възнаграждаващи действия. Допълването на данните служи на различна, но свързана цел: то изкуствено разширява ефективния размер на етикетиран набор от данни, помагайки на контролираните модели да се обобщават по-добре към невидими примери. И двете техники в крайна сметка целят да подобрят ефективността на обучението, но те се справят с фундаментално различни пречки в съответните си рамки за обучение.
Методите за изследване на RL обикновено променят политиката за избор на действия на агента или добавят присъщи награди, за да насърчат посещението на нови състояния. Техники като обучение, основано на любопитство, възнаграждават агента за грешки в прогнозирането, тласкайки го към непозната територия. Допълването на данни работи чрез прилагане на трансформации към съществуващи извадки, създавайки нови примери за обучение, които запазват етикетите, като същевременно променят входните характеристики. Например, завъртяно изображение на котка все още е обозначено като котка, но моделът вижда малко по-различен входен модел.
Стратегиите за изследване са най-ценни в среди с оскъдни или забавени награди, където е малко вероятно случайните действия да доведат до успех. Игри като Montezuma's Revenge, известна с наказващото си изследване, са движеща сила на голяма част от иновациите в тази област. Допълването на данни се отличава, когато етикетираните данни са скъпи или ограничени, което е често срещано при медицинското изобразяване, сателитните изображения и специализираните NLP задачи. То е от решаващо значение и за изграждането на модели, устойчиви на реални вариации в осветлението, ориентацията или шума.
Внедряването на стратегии за проучване изисква интерактивна среда, в която агентът може да предприема действия и да наблюдава последствията, което ги прави изчислително интензивни и често бавни за обучение. Допълването на данни обикновено се прилага като стъпка от предварителна обработка или в рамките на обучителни цикли, което го прави сравнително евтино и лесно за интегриране в съществуващи тръбопроводи. Практикуващият може да добави допълнения към контролиран модел за минути, докато настройването на хиперпараметрите за проучване за RL агент може да отнеме дни или седмици.
Интересното е, че тези два подхода се сливат в някои съвременни системи. Самостоятелното обучение комбинира елементи от двата, използвайки техники, подобни на допълващи, за да създава обучителни сигнали без изрични етикети. Някои скорошни RL методи също използват допълване на данни, като DrQ и RAD, които прилагат допълвания на изображения, за да подобрят ефективността на извадките при визуалното обучение с подсилване. Това кръстосано опрашване предполага, че границите между парадигмите стават все по-флуидни.
Стратегиите за изследване винаги забавят обучението на RL, защото губят време за случайни действия.
Докато наивното изследване, като например случайни действия, може да бъде неефективно, сложни стратегии като методите, водени от любопитство, всъщност ускоряват обучението, като насочват агентите към информативни състояния. Методи като RND и Go-Explore са решили игри, които преди са се смятали за неразрешими за RL агенти.
Увеличаването на данните е просто обръщане и завъртане на изображения.
Съвременното допълване обхваща заучени политики (AutoAugment), генеративни подходи (синтез, базиран на GAN) и сложни техники за смесване (CutMix, Mixup). В NLP допълването включва обратен превод, контекстуално заместване на думи и дори използване на големи езикови модели за генериране на перифрази.
Повече подобрения винаги водят до по-добра производителност на модела.
Прекомерното или неподходящо допълване може всъщност да навреди на производителността, като въвежда нереалистични примери или унищожава характеристики, свързани с етикетите. Ключът е да се намерят допълнения, които запазват семантичното съдържание, като същевременно променят повърхностните характеристики, което често изисква експертни познания в областта или заучени правила.
Проучването и експлоатацията са противоположни сили, които трябва да бъдат балансирани.
Съвременните стратегии за проучване не правят просто компромис между проучване и експлоатация. Методи като дистрибутивно учене на живо (RL) и подходи, основани на любопитство, съчетават двете цели в унифицирани рамки, където проучването естествено води до по-добра експлоатация, тъй като агентът научава повече за своята среда.
Увеличаването на данните е полезно само за данни за изображения.
Техниките за аугментация са се доказали като ценни в различни модалности, включително аудио (specAugment за реч), текст (обратен превод, EDA), времеви серии (трептене, мащабиране) и дори графични данни (изпускане на възли, смущения на ръба). Принципът на създаване на смислени вариации се прилага широко в областите на машинното обучение.
Изберете стратегии за изследване в RL, когато създавате агенти, които трябва да учат чрез взаимодействие със среда, особено когато наградите са оскъдни или пространството на състоянията е огромно. Изберете допълване на данни в контролирано обучение, когато имате фиксиран набор от данни и искате да увеличите максимално производителността на модела, без да събирате повече етикетирани примери. Много съвременни системи с изкуствен интелект се възползват от комбинирането на двата подхода, особено в области като роботиката, където визуалното възприятие се среща с последователното вземане на решения.
A/B тестването при обслужване на модели насочва трафика между конкуриращи се версии на модели, за да измери реалната производителност, докато внедряването на един модел предоставя един модел на всички потребители. Екипите избират между тях въз основа на толерантността към риск, обема на трафика и необходимостта от статистическа валидация преди пълното внедряване.
A/B тестването при пускането на съдържание включва пускане на вариации към различни сегменти от аудиторията и измерване на ефективността, докато еднократните пускания на съдържание предлагат една версия на всички наведнъж. Всеки подход е подходящ за различни цели, като A/B тестването предпочита оптимизацията, основана на данни, а еднократните пускания дават приоритет на скоростта и простотата.
AI компаньоните се фокусират върху разговорното взаимодействие, емоционалната подкрепа и адаптивната помощ, докато традиционните приложения за продуктивност дават приоритет на структурираното управление на задачи, работните процеси и инструментите за ефективност. Сравнението подчертава преминаването от твърд софтуер, предназначен за задачи, към адаптивни системи, които съчетават продуктивност с естествено, подобно на човека взаимодействие и контекстуална подкрепа.
„ИИ слоп“ се отнася до нискоусилно, масово произведено ИИ съдържание, създадено с минимално наблюдение, докато работата с ИИ, ръководена от човек, съчетава изкуствен интелект с внимателно редактиране, режисура и творческа преценка. Разликата обикновено се свежда до качество, оригиналност, полезност и дали истински човек активно оформя крайния резултат.
Агентите с изкуствен интелект са автономни, целенасочени системи, които могат да планират, разсъждават и изпълняват задачи в различни инструменти, докато традиционните уеб приложения следват фиксирани работни процеси, управлявани от потребителя. Сравнението подчертава преминаването от статични интерфейси към адаптивни, контекстно-осъзнати системи, които могат проактивно да подпомагат потребителите, да автоматизират решенията и да взаимодействат динамично между множество услуги.
