Проксимальна оптимізація політики (PPO) впроваджує обрізані цільові функції та мислення на основі довірчих областей у навчання з підкріпленням, що значно зменшує волатильність, яка є проблемою для звичайних градієнтних підходів до політики. У той час як традиційні методи, такі як REINFORCE та стандартні алгоритми «актор-критик», можуть розходитися або руйнуватися під час навчання, конструкція PPO забезпечує обмеженість оновлень та їх відтворюваність протягом усіх прогонів.
Обрізана сурогатна мета, яка утримує оновлення політики в безпечному діапазоні, запобігаючи деструктивним крокам навчання.
Класичні алгоритми навчання з підкріпленням, які оновлюють політики безпосередньо вздовж градієнта очікуваної прибутковості, часто створюючи нестабільні криві навчання.
| Функція | Стабільне навчання в PPO | Методи градієнта нестабільної політики |
|---|---|---|
| Механізм оновлення | Обрізана сурогатна мета з коефіцієнтом ймовірності, обмеженим поблизу 1,0 | Необроблений градієнтний підйом при очікуваному поверненні без жорсткого обмеження оновлення |
| Стабільність тренувань | Високий — відновлюється після невдалих кроків і рідко відхиляється від норми | Низький — чутливий до швидкості навчання та шкали винагород, схильний до колапсу |
| Ефективність вибірки | Помірний; використовує кілька епох міні-пакету SGD на розгортання | Часто погано, якщо не поєднувати з базовими рівнями або хитрощами щодо зменшення дисперсії |
| Складність впровадження | Простий — приблизно такий самий розмір коду, як і звичайний градієнт політики | Простий у базовій формі, але його стабілізація вимагає додаткової інженерії |
| Чутливість гіперпараметрів | Відносно прощає недоліки в широкому діапазоні коефіцієнтів кліпів та швидкостей навчання | Висока чутливість; невеликі зміни можуть повністю перервати тренування |
| Обробка відхилень | Вбудоване відсікання діє як неявний засіб зменшення дисперсії | Потрібні окремі методи, такі як базові лінії, GAE або нормалізація переваг |
| Виконання настінного годинника | Швидка робота на сучасному обладнанні завдяки оптимізації першого порядку | Порівнянно за кроком, але нестабільність часто витрачає час настінних годинників на невдалі прогони |
| Типові випадки використання | RLHF для мовних моделей, робототехніки, ігор, безперервного керування | Теоретичний аналіз, прості середовища, навчання з підкріпленням |
Визначальна ідея PPO полягає в тому, що оновлення політик повинні бути невеликими та оборотними. Зменшуючи коефіцієнт ймовірності між новими та старими політиками, алгоритм запобігає кроку оптимізатора, який би занадто різко змінив поведінку за одну ітерацію. Методи градієнта нестабільної політики використовують протилежний підхід: вони дотримуються необробленого градієнта очікуваної прибутковості, сподіваючись, що добре налаштована швидкість навчання дозволить контролювати ситуацію. На практиці ця довіра часто виявляється хибною.
Проведення PPO зазвичай демонструє шумну, але монотонно покращувальну криву навчання з випадковими спадами, які відновлюються протягом кількох ітерацій. Градієнти ванільної політики, навпаки, можуть стабілізуватися протягом тисяч кроків, а потім раптово руйнуватися, коли рідкісна траєкторія високої винагороди зміщує параметри в погану область. Обмежена ціль у PPO діє як запобіжне гальмо, обмежуючи вплив будь-якої окремої партії досвіду.
Надійна робота градієнтів стандартної політики часто означає ручне налаштування швидкості навчання, коефіцієнтів дисконтування, бонусів ентропії та порогів відсікання градієнтів. PPO консолідує значну частину цієї інженерії в один гіперпараметр відсікання, зазвичай встановлений на значення від 0,1 до 0,3, який є стійким для широкого кола завдань. Для команд, що розробляють RL-системи у виробничому середовищі, таке зменшення навантаження на налаштування безпосередньо призводить до швидших циклів ітерацій.
PPO повторно використовує кожне розгортання протягом кількох епох міні-пакетних оновлень, що покращує ефективність вибірки порівняно з чисто політиковими методами, такими як REINFORCE. Однак, саме це повторне використання також є причиною важливості відсікання: без нього алгоритм перенавчився б до застарілих траєкторій. Методи нестабільного градієнта політики зазвичай є однопрохідними за розгортання, що робить їх менш ефективними щодо вибірки, але також менш схильними до цього конкретного режиму відмови.
PPO став фактичним вибором для прикладного навчання з підкріпленням, що забезпечує роботу систем від агентів Dota 5v5 від OpenAI до конвеєрів RLHF, що стоять за ChatGPT та іншими сучасними чат-ботами. Методи градієнта політики Vanilla залишаються цінними як навчальні інструменти та базові показники в дослідницьких роботах, але вони рідко зустрічаються у виробничих системах, де важлива надійність. Перехід до PPO відображає ширшу тенденцію в машинному навчанні до методів, які працюють «нестандартно».
PPO — це просто вигадлива версія REINFORCE без реального теоретичного обґрунтування.
PPO базується на ідеї довірчої області з TRPO, але замінює обмежену оптимізацію на відсіканий сурогат першого порядку. Відсікання забезпечує практичне наближення обмеження довірчої області, тому воно так добре працює емпірично, незважаючи на простішу реалізацію.
Градієнти ванільної політики завжди сходяться, якщо використовувати достатньо малий коефіцієнт навчання.
Невеликий коефіцієнт навчання уповільнює дивергенцію, але не усуває її. Негативні траєкторії все ще можуть призвести до виродження політики, а висока дисперсія результатів Монте-Карло означає, що періодичні великі ефективні оновлення практично неминучі без явних обмежень.
PPO не може використовуватися для завдань безперервного контролю.
PPO надзвичайно добре працює на тестах безперервного керування, таких як локомоція MuJoCo та роботизована маніпуляція. Відсічена ціль не залежить від простору дії, а PPO з гауссовими політиками залишається сильною основою для задач, починаючи від ходьби на четвероногих і закінчуючи спритними маніпуляціями руками.
Нестабільні градієнти політики застаріли та більше не використовуються в дослідженнях.
Ванільні градієнти політики залишаються основоположними в дослідженнях навчання з підкріпленням. Вони фігурують як базові показники майже в кожній новій роботі про алгоритми, а такі варіанти, як природні градієнти політики, досі впливають на сучасні дослідження довірчих регіонів та обмеженої оптимізації.
PPO гарантує монотонне покращення на кожному тренувальному запуску.
PPO значно покращує стабільність, але не гарантує монотонного прогресу. Криві навчання все ще містять шум, а патологічні функції винагороди або надзвичайно розріджені сигнали все ще можуть спричиняти збої. Стабільність означає менше катастрофічних збоїв, а не нульову кількість збоїв.
Оберіть PPO, коли вам потрібен надійний універсальний алгоритм навчання з підкріпленням, який працює в різноманітних середовищах без значного налаштування. Звертайтеся до методів градієнта політики звичайних знань переважно для освітніх цілей, теоретичного аналізу або коли ви спеціально хочете вивчити режими відмов, для усунення яких був розроблений PPO.
A/B-тестування в моделюванні спрямовує трафік між конкуруючими версіями моделей для вимірювання реальної продуктивності, тоді як розгортання однієї моделі надає одну модель усім користувачам. Команди обирають між ними на основі толерантності до ризику, обсягу трафіку та необхідності статистичної перевірки перед повним розгортанням.
A/B-тестування в релізах контенту передбачає розгортання варіацій для різних сегментів аудиторії та вимірювання ефективності, тоді як одноразові релізи контенту пропонують одну версію всім одночасно. Кожен підхід відповідає різним цілям, причому A/B-тестування надає перевагу оптимізації на основі даних, а одноразові релізи надають пріоритет швидкості та простоті.
DeepSeek V4 — це нова модель великої мови програмування відкритої ваги від китайської лабораторії штучного інтелекту, тоді як моделі класу GPT-4 відносяться до флагманських систем із закритим кодом OpenAI. Це порівняння досліджує їхні архітектури, можливості, ціни, доступність та реальну продуктивність, щоб допомогти розробникам та компаніям робити правильний вибір.
LLM, що використовують інструменти, розширюють автономні мовні моделі, підключаючи їх до зовнішніх API, калькуляторів та баз даних, що дозволяє отримувати інформацію та виконувати завдання в режимі реального часу. Автономні LLM покладаються виключно на навчені параметри, що робить їх самостійними, але обмеженими знаннями з навчальних даних.
LLM з відкритим кодом пропонують налаштовувані, самостійно розміщені моделі штучного інтелекту з повним доступом до коду, тоді як власні API LLM надають керовані, відшліфовані послуги через хмарні кінцеві точки з ціноутворенням на основі використання.
