Методите, базирани на политики, и тези, базирани на ценности, представляват два основни подхода в обучението с подсилване. Методите, базирани на политики, директно изучават стратегия за избор на действие, докато методите, базирани на ценности, оценяват колко добро е всяко действие и извеждат поведение от тези оценки. Всеки от тях има различни силни страни, подходящи за различни типове проблеми.
Подходи за обучение с подсилване, които директно оптимизират политиката за избор на действия на агента, без да е необходима стойностна функция.
Подходите за обучение с подсилване, които изучават колко добри са състоянията или двойките състояние-действие, след което извеждат политика от тези оценки на стойностите.
| Функция | Методи, базирани на политики | Методи, базирани на стойност |
|---|---|---|
| Основен подход | Директно оптимизира политиката | Изучава стойностна функция и след това действа върху нея |
| Пространство за действие | Работи добре с непрекъснати и високоразмерни действия | Най-подходящ за дискретни, нискоразмерни действия |
| Ефективност на пробата | Обикновено по-малко ефективно при вземане на проби, често изисква повече данни | Обикновено по-ефективно при семплиране, особено с буфери за повторно възпроизвеждане |
| Стабилност | Стабилни актуализации, но могат да се сближат с локални оптимуми | Може да бъде нестабилно с апроксимация на функции, изисква трикове |
| Проучване | Стохастичните политики позволяват естествено изследване | Разчита на евристики като епсилон-алчен метод или инжектиране на шум |
| Градиентна дисперсия | Високи градиенти на дисперсия, необходимо е намаляване на дисперсията | Няма градиент на политиката, така че няма проблем с отклонението в същия смисъл |
| Забележителни алгоритми | АРМИРАНЕ, PPO, TRPO, A2C | Q-обучение, DQN, Двойно DQN, Дуелиране на DQN |
| Гаранция за конвергенция | Сближава се към локален оптимум при стандартни условия | Сближава се с оптимална политика в таблични настройки |
Методите, базирани на политики, поемат по-директен път: те параметризират самата политика, често като невронна мрежа, която генерира вероятности за действия, и коригира тези параметри, за да се даде предимство на действия, водещи до по-високи награди. Методите, базирани на стойност, поемат по живописния път, като първо оценяват колко ценно е всяко действие във всяко състояние, след което просто избират най-добре изглеждащия вариант. Тази фундаментална разлика оформя всичко останало за това как двете семейства се държат на практика.
Когато пространството на действие е непрекъснато, като например управление на роботизирана ръка или управление на автомобил, методите, базирани на политики, са отлични, защото могат да изведат разпределение на вероятностите в непрекъснат диапазон. Методите, базирани на стойност, се затрудняват тук, защото няма начин да се изброят всички възможни действия, за да се намери максимумът. За проблеми с малък набор от дискретни действия, като например игра на Atari или вземане на решения „да“ или „не“, методите, базирани на стойност, често са по-прости и по-ефективни.
Методите, базирани на стойности, като DQN, са по-ефективни по отношение на извадките, защото използват повторно минали преживявания, съхранени в буфери за повторно възпроизвеждане, и се учат от всеки преход многократно. Те обаче могат да бъдат нестабилни, когато се комбинират с дълбоки невронни мрежи, поради което бяха въведени техники като целевите мрежи. Методите, базирани на политики, се актуализират по-плавно, но обикновено се нуждаят от повече извадки, за да се сближат, а техните оценки на градиента могат да бъдат шумни.
Хубаво свойство на методите, базирани на политики, е, че самата политика може да бъде стохастична, което означава, че агентът естествено изследва чрез вземане на проби от разпределението на действията си. Методите, базирани на стойност, се нуждаят от ясни стратегии за изследване, като епсилон-алчността е класическият избор, въпреки че съществуват и по-сложни подходи като шумни мрежи или горни граници на доверие. Това прави методите, базирани на политики, особено привлекателни в среди, където изследването е сложно.
Границата между тези две семейства не винаги е ясна. Методите „актьор-критик“, включително PPO и A2C, съчетават и двете идеи, като използват стойностна функция (критикът), за да насочват актуализациите на политиката (актьорът). Този хибриден подход често получава най-доброто от двата свята: по-ниска дисперсия от чистите градиенти на политиката и по-добро обработване на непрекъснати действия от чистите методи, базирани на стойност. Съвременните най-съвременни алгоритми в много области са варианти на „актьор-критик“.
Методите, базирани на политики, винаги превъзхождат методите, базирани на стойности, в дълбокото обучение с подсилване.
Нито едно от семействата не е универсално превъзходно. Методите, базирани на стойност, като DQN, постигнаха революционни резултати в Atari, докато методите, базирани на политики, се отличават с непрекъснат контрол. Най-добрият избор зависи от пространството за действие, динамиката на средата и количеството налични данни.
Методите, базирани на стойности, не могат да работят с пространства за непрекъснато действие.
Докато стандартното Q-обучение се затруднява с непрекъснатите действия, варианти като Deep Deterministic Policy Gradient (DDPG) и Twin Delayed DDPG (TD3) разширяват идеи, базирани на стойности, до непрекъснати домейни, като използват архитектури „актьор-критик“. Строгото разделение между двете семейства е по-скоро опростяване на обучението, отколкото твърдо правило.
Градиентите на политиката винаги се сближават към оптималната политика.
Методите за градиент на политиката гарантирано се сближават към локално оптимална политика при стандартни предположения за гладкост, а не към глобално оптимална. Оптимизационният ландшафт може да има много пикове и алгоритъмът ще се спре на този, до който води началната му точка.
Методите, базирани на стойност, не се нуждаят от никакво представяне на политики.
Дори методите, базирани на стойност, имплицитно дефинират политика чрез правилото си за избор на действие, като например „алчен“ или „епсилон-алчен“. Разликата е, че политиката не е директно параметризирана и научена; тя се извлича от оценките на стойността.
Повече проби винаги решават проблема с нестабилността в методите, базирани на дълбоки стойности.
Нестабилността в дълбокото Q-обучение произтича от проблема с движещата се цел, където функцията на стойността преследва собствените си актуализации. Простото добавяне на повече данни не решава това; за стабилизиране на обучението са необходими техники като целеви мрежи, двойно Q-обучение и приоритизирано повторение.
Изберете методи, базирани на политики, когато проблемът ви включва непрекъснати действия, изисква естествено стохастично изследване или когато искате плавни и стабилни актуализации на политиките. Използвайте методи, базирани на стойност, за задачи с дискретни действия, където ефективността на извадката е от значение и можете да използвате повторението на опита. За много задачи от реалния свят, хибридите между актьор и критик предлагат практичен компромис, който съчетава силните страни и на двете.
A/B тестването при обслужване на модели насочва трафика между конкуриращи се версии на модели, за да измери реалната производителност, докато внедряването на един модел предоставя един модел на всички потребители. Екипите избират между тях въз основа на толерантността към риск, обема на трафика и необходимостта от статистическа валидация преди пълното внедряване.
A/B тестването при пускането на съдържание включва пускане на вариации към различни сегменти от аудиторията и измерване на ефективността, докато еднократните пускания на съдържание предлагат една версия на всички наведнъж. Всеки подход е подходящ за различни цели, като A/B тестването предпочита оптимизацията, основана на данни, а еднократните пускания дават приоритет на скоростта и простотата.
AI компаньоните се фокусират върху разговорното взаимодействие, емоционалната подкрепа и адаптивната помощ, докато традиционните приложения за продуктивност дават приоритет на структурираното управление на задачи, работните процеси и инструментите за ефективност. Сравнението подчертава преминаването от твърд софтуер, предназначен за задачи, към адаптивни системи, които съчетават продуктивност с естествено, подобно на човека взаимодействие и контекстуална подкрепа.
„ИИ слоп“ се отнася до нискоусилно, масово произведено ИИ съдържание, създадено с минимално наблюдение, докато работата с ИИ, ръководена от човек, съчетава изкуствен интелект с внимателно редактиране, режисура и творческа преценка. Разликата обикновено се свежда до качество, оригиналност, полезност и дали истински човек активно оформя крайния резултат.
Агентите с изкуствен интелект са автономни, целенасочени системи, които могат да планират, разсъждават и изпълняват задачи в различни инструменти, докато традиционните уеб приложения следват фиксирани работни процеси, управлявани от потребителя. Сравнението подчертава преминаването от статични интерфейси към адаптивни, контекстно-осъзнати системи, които могат проактивно да подпомагат потребителите, да автоматизират решенията и да взаимодействат динамично между множество услуги.
