Методи, що базуються на політиці, та методи, що базуються на цінностях, представляють два фундаментальні підходи до навчання з підкріпленням. Методи, що базуються на політиці, безпосередньо вивчають стратегію вибору дій, тоді як методи, що базуються на цінностях, оцінюють, наскільки добра кожна дія, та виводять поведінку з цих оцінок. Кожен з них має різні сильні сторони, що підходять для різних типів проблем.
Підходи до навчання з підкріпленням, які безпосередньо оптимізують політику вибору дій агента без потреби у функції цінності.
Підходи до навчання з підкріпленням, які вивчають, наскільки хорошими є стани або пари стан-дія, а потім виводять політику на основі цих оцінок значень.
| Функція | Методи, засновані на політиці | Методи, що базуються на цінностях |
|---|---|---|
| Основний підхід | Безпосередньо оптимізує політику | Вивчає функцію значення, а потім діє на неї |
| Простір дій | Добре працює з безперервними та багатовимірними діями | Найкраще підходить для дискретних, низьковимірних дій |
| Ефективність вибірки | Зазвичай менш ефективний вибірковий підхід, часто потребує більше даних | Зазвичай ефективніше для семплів, особливо з буферами відтворення |
| Стабільність | Стабільні оновлення, але можуть сходитися до локальних оптимумів | Може бути нестабільним з апроксимацією функцій, вимагає хитрощів |
| Розвідка | Стохастична політика дозволяє досліджувати природні ресурси | Спирається на евристики, такі як епсилон-жадібний аналіз або введення шуму |
| Градієнтна дисперсія | Високі градієнти дисперсії, потребує зменшення дисперсії | Немає градієнта політики, отже, немає проблеми з відхиленням у тому ж сенсі |
| Відомі алгоритми | АРМУВАННЯ, ППО, ТРПО, A2C | Q-навчання, DQN, подвійне DQN, дуельне DQN |
| Гарантія конвергенції | Збіжиться до локального оптимуму за стандартних умов | Збігається до оптимальної політики в табличних налаштуваннях |
Методи, що базуються на політиці, обирають більш прямий шлях: вони параметризують саму політику, часто як нейронну мережу, яка виводить ймовірності дій, і коригують ці параметри, щоб надати перевагу діям, що призводять до вищих винагород. Методи, що базуються на цінності, обирають мальовничий шлях, спочатку оцінюючи, наскільки цінною є кожна дія в кожному стані, а потім просто вибираючи найкращий варіант. Ця фундаментальна різниця формує все інше щодо того, як ці дві групи поводяться на практиці.
Коли простір дій є безперервним, як-от керування роботом-маніпулятором або автомобілем, методи на основі політик є найефективнішими, оскільки вони можуть виводити розподіл ймовірностей у безперервному діапазоні. Методи на основі цінностей тут мають труднощі, оскільки немає способу перерахувати всі можливі дії, щоб знайти максимум. Для задач з невеликим набором дискретних дій, таких як гра в Atari або прийняття рішень «так чи ні», методи на основі цінностей часто є простішими та ефективнішими.
Методи на основі цінностей, такі як DQN, як правило, ефективніші для вибірок, оскільки вони повторно використовують минулий досвід, що зберігається в буферах відтворення, і навчаються на кожному переході кілька разів. Однак вони можуть бути нестабільними в поєднанні з глибокими нейронними мережами, саме тому були введені такі методи, як цільові мережі. Методи на основі політик оновлюються плавніше, але зазвичай потребують більшої кількості вибірок для збіжності, а їхні оцінки градієнтів можуть бути шумними.
Приємною властивістю методів, заснованих на політиці, є те, що сама політика може бути стохастичною, тобто агент природним чином досліджує, вибірково вибираючи зі свого розподілу дій. Методи, засновані на цінності, потребують явних стратегій дослідження, причому епсилон-жадібний підхід є класичним вибором, хоча існують і більш складні підходи, такі як шумові мережі або верхні довірчі межі. Це робить методи, засновані на політиці, особливо привабливими в середовищах, де дослідження є складним.
Межа між цими двома сімействами не завжди чітка. Методи «актор-критик», включаючи PPO та A2C, поєднують обидві ідеї, використовуючи функцію значення (критика) для керування оновленнями політики (актора). Цей гібридний підхід часто отримує найкраще з обох світів: меншу дисперсію, ніж у чистих градієнтів політики, та краще обробляє безперервні дії, ніж у чистих методах, заснованих на значеннях. Сучасні найсучасніші алгоритми в багатьох областях є варіантами методів «актор-критик».
Методи, засновані на політиці, завжди перевершують методи, засновані на цінностях, у глибокому навчанні з підкріпленням.
Жодне з сімейств не є універсально кращим. Методи, що базуються на цінностях, такі як DQN, досягли проривних результатів на Atari, тоді як методи, що базуються на політиках, перевершують у безперервному контролі. Найкращий вибір залежить від простору дій, динаміки середовища та обсягу доступних даних.
Методи на основі значень не можуть працювати з просторами безперервних дій.
Хоча стандартне Q-навчання має труднощі з безперервними діями, такі варіанти, як глибокий детермінований градієнт політики (DDPG) та подвійний затримуваний DDPG (TD3), розширюють ідеї, засновані на цінностях, на безперервні домени, використовуючи архітектури актор-критик. Суворий поділ між двома сімействами є скоріше спрощенням навчання, ніж жорстким правилом.
Градієнти політики завжди сходяться до оптимальної політики.
Методи градієнта політики гарантовано збігаються до локально оптимальної політики за стандартних припущень гладкості, а не до глобально оптимальної. Ландшафт оптимізації може мати багато піків, і алгоритм зупиниться на тому з них, до якого веде його початкова точка.
Методи, що базуються на цінностях, не потребують жодного представлення політики.
Навіть методи, що базуються на цінностях, неявно визначають політику через правило вибору дій, таке як жадібний або епсилон-жадібний. Різниця полягає в тому, що політика не параметризується та не вивчається безпосередньо; вона походить з оцінок цінностей.
Більша кількість зразків завжди вирішує проблему нестабільності в глибоких методах, заснованих на значеннях.
Нестабільність у глибокому Q-навчанні виникає через проблему рухомої цілі, де функція значення женеться за власними оновленнями. Просте додавання більшої кількості даних не вирішує цю проблему; для стабілізації навчання необхідні такі методи, як цільові мережі, подвійне Q-навчання та пріоритетне відтворення.
Обирайте методи, засновані на політиках, коли ваша проблема передбачає безперервні дії, вимагає природного стохастичного дослідження або коли вам потрібні плавні та стабільні оновлення політик. Використовуйте методи, засновані на цінностях, для задач дискретних дій, де важлива ефективність вибірки, і ви можете використовувати відтворення досвіду. Для багатьох реальних завдань гібриди актора та критика пропонують практичну золоту середину, яка поєднує сильні сторони обох.
A/B-тестування в моделюванні спрямовує трафік між конкуруючими версіями моделей для вимірювання реальної продуктивності, тоді як розгортання однієї моделі надає одну модель усім користувачам. Команди обирають між ними на основі толерантності до ризику, обсягу трафіку та необхідності статистичної перевірки перед повним розгортанням.
A/B-тестування в релізах контенту передбачає розгортання варіацій для різних сегментів аудиторії та вимірювання ефективності, тоді як одноразові релізи контенту пропонують одну версію всім одночасно. Кожен підхід відповідає різним цілям, причому A/B-тестування надає перевагу оптимізації на основі даних, а одноразові релізи надають пріоритет швидкості та простоті.
DeepSeek V4 — це нова модель великої мови програмування відкритої ваги від китайської лабораторії штучного інтелекту, тоді як моделі класу GPT-4 відносяться до флагманських систем із закритим кодом OpenAI. Це порівняння досліджує їхні архітектури, можливості, ціни, доступність та реальну продуктивність, щоб допомогти розробникам та компаніям робити правильний вибір.
LLM, що використовують інструменти, розширюють автономні мовні моделі, підключаючи їх до зовнішніх API, калькуляторів та баз даних, що дозволяє отримувати інформацію та виконувати завдання в режимі реального часу. Автономні LLM покладаються виключно на навчені параметри, що робить їх самостійними, але обмеженими знаннями з навчальних даних.
LLM з відкритим кодом пропонують налаштовувані, самостійно розміщені моделі штучного інтелекту з повним доступом до коду, тоді як власні API LLM надають керовані, відшліфовані послуги через хмарні кінцеві точки з ціноутворенням на основі використання.
