强化学习机器学习人工智能政策梯度q学习

基于政策的方法与基于价值的方法

策略导向型方法和价值导向型方法是强化学习中的两种基本方法。策略导向型方法直接学习动作选择策略，而价值导向型方法则评估每个动作的优劣，并根据这些评估结果来推断行为。两者各有优势，适用于不同类型的问题。

亮点

基于策略的方法直接优化行动，而基于价值的方法首先估计每个行动的好坏。
连续行动空间更适合基于策略的方法；离散空间则更适合基于价值的方法。
由于经验重放，像 DQN 这样的基于价值的方法通常样本效率更高。
Actor-criteria 算法结合了这两种方法，并在许多现代强化学习基准测试中占据主导地位。

基于政策的方法是什么？

强化学习方法可以直接优化智能体的动作选择策略，而无需价值函数。

基于策略的方法直接对策略进行参数化和优化，通常使用期望奖励的梯度上升法。
REINFORCE 算法由 Ronald Williams 于 1992 年开发，是最早也是最有影响力的策略梯度算法之一。
这些方法能够自然地处理连续和高维的动作空间，而基于值的方法则很难做到这一点。
政策梯度估计值往往存在较大的方差，因此需要基线和优势估计等技术。
由于梯度方法会跟随政策格局变化，因此它们往往会收敛到局部最优解而不是全局最优解。

基于价值的方法是什么？

强化学习方法学习状态或状态-动作对的好坏，然后从这些价值估计中得出策略。

基于价值的方法会估计价值函数（例如 Q 值），并根据这些估计值选择行动。
Q学习由克里斯托弗·沃特金斯在其1989年的博士论文中提出，至今仍是一种基础算法。
DeepMind 于 2013 年发布的 Deep Q-Networks (DQN) 将 Q 学习与深度神经网络相结合，并精通了 Atari 游戏。
这些方法通常需要离散的动作空间，因为它们会选择估计值最高的动作。
经验重放和目标网络是深度价值方法中常用的稳定性技巧。

比较表

功能	基于政策的方法	基于价值的方法
核心方法	直接优化策略	学习一个价值函数，然后根据该函数采取行动。
行动空间	适用于连续性和高维度的动作	最适合离散、低维度的动作
样品效率	通常样本效率较低，往往需要更多数据	通常采样效率更高，尤其是在使用回放缓冲区时。
稳定	更新稳定，但可能收敛到局部最优解	使用函数逼近时可能不稳定，需要一些技巧。
勘探	随机策略能够促进自然探索	依赖于诸如ε-贪婪算法或噪声注入等启发式算法
梯度方差	高方差梯度，需要降低方差	由于不存在政策梯度，因此也不存在相同意义上的方差问题。
值得关注的算法	加强、PPO、TRPO、A2C	Q学习、DQN、双DQN、决斗DQN
融合保证	在标准条件下收敛到局部最优解	在表格环境中收敛到最优策略

详细对比

他们学习方式的不同之处

基于策略的方法采取更直接的方式：它们将策略本身参数化，通常使用神经网络来输出动作概率，并调整这些参数以优先选择能够带来更高回报的动作。基于价值的方法则采取迂回的方式，首先估计每个动作在每种状态下的价值，然后选择看起来最佳的选项。这种根本性的差异决定了这两类方法在实践中表现的方方面面。

处理动作空间

当动作空间是连续的，例如控制机械臂或驾驶汽车时，基于策略的方法优势明显，因为它们可以输出连续范围内的概率分布。基于值的方法在这种情况下则较为困难，因为无法枚举所有可能的动作来找到最大值。对于动作数量较少且离散性较高的问题，例如玩雅达利游戏或做出“是/否”决策，基于值的方法通常更简单有效。

稳定性和样品效率

基于价值的方法（例如 DQN）通常更节省样本，因为它们可以重用存储在回放缓冲区中的历史经验，并多次从每次状态转换中学习。然而，当它们与深度神经网络结合使用时，可能会变得不稳定，因此引入了目标网络等技术。基于策略的方法更新更平滑，但通常需要更多样本才能收敛，并且它们的梯度估计可能存在噪声。

探索策略

基于策略的方法的一个优点是策略本身可以是随机的，这意味着智能体可以通过从其动作分布中采样来自然地进行探索。基于价值的方法需要明确的探索策略，ε-贪婪算法是经典之选，但也存在更复杂的方法，例如噪声网络或置信上限。这使得基于策略的方法在探索较为棘手的环境中尤为吸引人。

何时将它们结合起来

这两类算法之间的界限并非总是泾渭分明。Actor-Critic 方法，例如 PPO 和 A2C，融合了这两种思想，它使用一个价值函数（评论家）来指导策略（执行者）的更新。这种混合方法通常能兼顾两者的优势：比纯策略梯度方法方差更低，并且比纯价值方法更好地处理连续动作。许多领域的现代先进算法都是 Actor-Critic 算法的变体。

优点与缺点

基于政策的方法

优点

+ 处理连续动作
+ 自然探索
+ 平滑更新
+ 随机策略
+ 端到端优化

继续

− 高方差梯度
− 样本效率较低
− 局部最优风险
− 收敛速度较慢

基于价值的方法

优点

+ 样品效率
+ 强大的理论基础
+ 易于实施
+ 与回放功能配合良好

继续

− 仅限于离散行为
− 可能不稳定
− 需要探索技巧
− 难以持续扩展

常见误解

神话

在深度强化学习中，基于策略的方法总是优于基于价值的方法。

现实

这两种方法各有优劣。基于价值的方法（例如 DQN）在 Atari 平台上取得了突破性成果，而基于策略的方法则在连续控制方面表现出色。最佳选择取决于动作空间、环境动态以及可用数据量。

神话

基于价值的方法无法应用于连续行动空间。

现实

虽然标准的Q学习在处理连续动作时存在困难，但像深度确定性策略梯度（DDPG）和孪生延迟DDPG（TD3）这样的变体通过使用Actor-Critic架构，将基于价值的思想扩展到了连续领域。严格区分这两类算法更多的是一种教学上的简化，而非硬性规定。

神话

策略梯度总是会收敛到最优策略。

现实

在标准的平滑性假设下，策略梯度方法保证收敛到局部最优策略，而非全局最优策略。优化空间可能存在多个峰值，算法最终会收敛到其起始点所指向的某个峰值。

神话

基于价值的方法不需要任何策略表示。

现实

即使是基于价值的方法，例如贪婪算法或ε-贪婪算法，也会通过其动作选择规则隐式地定义策略。区别在于，策略并非直接参数化和学习得到的；它源自价值估计。

神话

在基于深度价值的方法中，更多的样本总能解决不稳定性问题。

现实

深度Q学习的不稳定性源于移动目标问题，即值函数会追逐自身的更新。简单地增加数据量并不能解决这个问题；需要采用目标网络、双Q学习和优先级重放等技术来稳定训练过程。

常见问题解答

基于政策的方法和基于价值的方法的主要区别是什么？

基于策略的方法直接学习状态到动作的映射，并使用梯度法对其进行优化。基于价值的方法首先学习估计每个状态下采取每个动作的预期收益，然后通过选择估计收益最高的动作来推导出策略。二者的区别在于，学习的主要对象是策略还是价值函数。

对于连续动作空间，哪种方法更好？

对于连续动作空间，基于策略的方法通常是首选，因为它们可以输出连续分布的参数，例如高斯分布的均值和方差。基于值的方法则面临挑战，因为它们需要比较所有可能的动作以找到最大值，而当动作为实值时，这种方法难以处理。在这些场景中，通常使用 DDPG 和 PPO 等 Actor-Critic 方法。

为什么策略梯度具有高方差？

策略梯度估计取决于状态、动作和奖励的完整轨迹，而这些轨迹在不同回合之间可能差异很大。一次幸运或不幸的部署都可能显著改变梯度估计。诸如基线、优势函数和广义优势估计 (GAE) 等技术用于在不引入过多偏差的情况下降低这种方差。

Q学习是一种基于价值的方法还是基于策略的方法？

Q学习是一种基于价值的方法。它学习动作价值函数Q(s, a)，该函数估计在状态s下采取动作a的预期收益。然后，通过选择Q值最高的动作来推导策略，通常会在训练过程中添加一些探索性噪声。

什么是演员批评方法？

Actor-Critic 方法结合了基于策略和基于价值的方法。Actor 代表策略，用于选择行动；Critic 代表价值函数，用于评估这些行动的优劣。Critic 的评估结果用于降低 Actor 梯度更新的方差。常见的例子包括 A2C、A3C、PPO 和 DDPG。

基于价值的方法能否处理随机策略？

像 Q 学习这样的标准基于价值的方法通常通过选择价值最高的动作来学习确定性策略。要获得随机行为，需要修改动作选择规则或使用专门的变体。另一方面，基于策略的方法自然而然地产生随机策略，因为它们输出的是动作的概率分布。

在现代深度强化学习中，哪种算法最流行？

近端策略优化（PPO）可以说是目前实践中最广泛使用的算法，尤其是在机器人和游戏人工智能等领域。它是一种基于策略的方法，融合了 Actor-Critic 元素。然而，像 DQN 及其变体这样的基于价值的方法在离散动作问题中仍然很受欢迎，而 SAC（软 Actor-Critic）则是连续控制的理想选择。

基于策略的方法是否需要价值函数？

纯粹的基于策略的方法，例如原始的 REINFORCE 算法，并不需要值函数，但通常会使用值函数作为基准来降低方差。Actor-Critic 算法的变体则在其架构中明确地使用了值函数。因此，虽然值函数并非绝对必要，但通常会将其包含在内以提高性能。

经验回放如何帮助基于价值的方法？

经验回放将过去的转换存储在缓冲区中，并在训练过程中随机采样。这打破了连续样本之间的相关性，从而稳定了深度Q学习中的梯度。它还允许智能体从每个经验中多次学习，提高了采样效率。基于策略的方法也可以使用回放缓冲区，但它并非其设计的核心。

是否存在基于价值的方法比基于策略的方法收敛速度更快的情况？

是的，在许多离散动作环境中，基于值的方法收敛速度更快，因为它们可以通过贝尔曼方程直接在不同状态间传播值信息。基于策略的方法通常需要多次迭代才能准确估计梯度。然而，在连续或高维动作空间中，情况则相反，基于策略的方法会变得更加实用。

裁决

当问题涉及连续动作、需要自然的随机探索，或者需要平滑稳定的策略更新时，应选择基于策略的方法。对于离散动作问题，如果样本效率至关重要且可以利用经验回放，则应选择基于价值的方法。对于许多实际应用场景，Actor-Critic混合模型提供了一种兼具两者优势的实用折衷方案。