Изследването и експлоатацията представляват двете конкуриращи се стратегии в обучението с подсилване, които определят как агентът събира знания, а как използва това, което вече знае. Балансирането на тези подходи е едно от централните предизвикателства при обучението на интелигентни системи да вземат оптимални решения във времето.
Стратегията за изпробване на нови действия за откриване на непознати награди и събиране на информация за околната среда.
Стратегията за избор на най-известното действие, основано на текущите знания, за максимизиране на незабавната награда.
| Функция | Проучване | Експлоатация в обучението с подсилване |
|---|---|---|
| Основна цел | Открийте нова информация за околната среда | Максимизирайте незабавната награда, използвайки известна информация |
| Ниво на риск | По-висок краткосрочен риск, по-голямо дългосрочно учене | По-нисък краткосрочен риск, потенциална дългосрочна стагнация |
| Типични методи | Епсилон-алчни, UCB, Thompson Sampling, награди, водени от любопитство | Алчна политика, Болцман с ниска температура, селекция на най-добри действия |
| Изисквания за знания | Работи най-добре, когато агентът има малко предварителни данни | Работи най-добре, когато агентът има надеждни оценки на стойността |
| Поведение на възнаграждението | Може да жертва текущото възнаграждение за бъдещи печалби | Постоянно се стреми към най-високата известна награда |
| Режим на повреда | Губи време за непродуктивни действия | Засяда в неоптимални локални максимуми |
| Сила на случая на използване | Оскъдни награди, големи пространства на състоянията, ранно обучение | Късно обучение, стабилна среда, фина настройка |
| Получена информация | Високо — разкрива нови резултати от действията на държавата | Ниско — потвърждава съществуващите убеждения |
Изследването и експлоатацията служат на коренно различни цели в цикъла на обучение с подсилване. Изследването умишлено се отдръпва от действието, което се смята за най-добро, за да разбере дали съществува нещо по-добро. Експлоатацията, за разлика от това, се ангажира изцяло с текущата най-добра оценка на агента. Напрежението между тях често се формулира като компромис между събирането на знания и действието въз основа на тях.
Агент, който проучва твърде много, може никога да не се спре на силна политика, докато такъв, който експлоатира твърде рано, може да се заключи в посредствена стратегия. Изследвания върху многоръки бандити показват, че оптималният баланс се променя с течение на времето: в началото проучването се отплаща, защото несигурността е висока, но с нарастването на доверието експлоатацията се превръща в рационален избор. Алгоритми като UCB1 и разпадащ се епсилон-алчен формализират тази промяна математически.
Техниките за изследване са склонни да въвеждат случайност или бонус сигнали в избора на действие, като например епсилон-алчни случайни избори или модули за любопитство, които възнаграждават нови състояния. Експлоатацията обикновено се осъществява чрез просто избиране на argmax на стойностната функция или действието с най-висока вероятност от мрежа от политики. В дълбокото обучение с подсилване, методи като шумни мрежи и ентропийни бонуси размиват границата, като вграждат изследването директно в параметрите на мрежата.
Относителната важност на всяка стратегия зависи силно от средата. В среди с високо ниво на награди, където обратната връзка е честа, експлоатацията може да доминира по-рано, защото агентът се учи бързо. В среди с ниско ниво на награди, като например „Отмъщението на Монтесума“ или реални задачи, свързани с роботиката, изследването се превръща в по-труден проблем, често изискващ сложна вътрешна мотивация, за да се постигне някакъв напредък.
Нито една от стратегиите не е по-добра сама по себе си, поради което в областта те се третират като свързана дилема, а не като конкуриращи се опции. Ефективните алгоритми планират проучването динамично, като го намаляват с напредването на обучението или с намаляването на несигурността относно конкретни действия. Известната теорема за липсата на безплатен обяд напомня на практикуващите, че нито един график за проучване не работи най-добре за всеки проблем.
Проучването и експлоатацията са два отделни алгоритъма, между които избирате.
Те са допълващи се стратегии, които почти всеки алгоритъм за обучение с подсилване комбинира в някаква пропорция. Дори алчната политика имплицитно изследва по време на ранното обучение, когато оценките ѝ за стойност са все още неточни и ефективно случайни.
Повече проучване винаги води до по-добро крайно представяне.
Прекомерното проучване може да попречи на агента да се ангажира със силна политика, особено в среди, където добрите действия са рядкост. Изкуството се крие в планирането на проучването, така че то да избледнява с подобряването на знанията.
Компромисът между изследване и експлоатация има значение само при обучението с подсилване.
Същата дилема се появява и при многоръките бандити, байесовата оптимизация, еволюционното търсене и дори при вземането на решения от хора. Обучението с подсилване е само една от най-изучаваните области за него.
След като агентът е проучил достатъчно, експлоатацията винаги е правилният избор.
В нестационарни среди, където функцията за възнаграждение се променя с течение на времето, продължителното проучване остава ценно завинаги. Агентът трябва да проверява дали старите му предположения все още са валидни.
Случайните действия са единственият начин за изследване.
Съвременните стратегии за изследване са далеч по-сложни от чистата случайност. Модулите за горни граници на доверие, семплиране от Томпсън и присъщо любопитство изследват по структурирани, информирани начини, които са далеч по-ефективни по отношение на извадките.
Изберете стратегии, насочени към проучване, когато средата е непозната, наградите са оскъдни или пространството на състоянията е достатъчно голямо, че е вероятно да съществуват неоткрити региони с висока стойност. Преминете към експлоатация, след като агентът е изградил надеждни оценки на стойността и цената на опитването на непознати действия надвишава потенциалния растеж. Най-добрите системи за обучение с подсилване третират двамата като партньори, а не като съперници, като ги планират внимателно в процеса на обучение.
A/B тестването при обслужване на модели насочва трафика между конкуриращи се версии на модели, за да измери реалната производителност, докато внедряването на един модел предоставя един модел на всички потребители. Екипите избират между тях въз основа на толерантността към риск, обема на трафика и необходимостта от статистическа валидация преди пълното внедряване.
A/B тестването при пускането на съдържание включва пускане на вариации към различни сегменти от аудиторията и измерване на ефективността, докато еднократните пускания на съдържание предлагат една версия на всички наведнъж. Всеки подход е подходящ за различни цели, като A/B тестването предпочита оптимизацията, основана на данни, а еднократните пускания дават приоритет на скоростта и простотата.
AI компаньоните се фокусират върху разговорното взаимодействие, емоционалната подкрепа и адаптивната помощ, докато традиционните приложения за продуктивност дават приоритет на структурираното управление на задачи, работните процеси и инструментите за ефективност. Сравнението подчертава преминаването от твърд софтуер, предназначен за задачи, към адаптивни системи, които съчетават продуктивност с естествено, подобно на човека взаимодействие и контекстуална подкрепа.
„ИИ слоп“ се отнася до нискоусилно, масово произведено ИИ съдържание, създадено с минимално наблюдение, докато работата с ИИ, ръководена от човек, съчетава изкуствен интелект с внимателно редактиране, режисура и творческа преценка. Разликата обикновено се свежда до качество, оригиналност, полезност и дали истински човек активно оформя крайния резултат.
Агентите с изкуствен интелект са автономни, целенасочени системи, които могат да планират, разсъждават и изпълняват задачи в различни инструменти, докато традиционните уеб приложения следват фиксирани работни процеси, управлявани от потребителя. Сравнението подчертава преминаването от статични интерфейси към адаптивни, контекстно-осъзнати системи, които могат проактивно да подпомагат потребителите, да автоматизират решенията и да взаимодействат динамично между множество услуги.
