強化学習機械学習人工知能政策勾配Q学習

政策に基づく手法と価値に基づく手法

強化学習における2つの基本的なアプローチは、ポリシーベース法と価値ベース法である。ポリシーベース法は行動選択戦略を直接学習するのに対し、価値ベース法は各行動の良し悪しを推定し、その推定値に基づいて行動を導き出す。それぞれに異なる強みがあり、異なる問題タイプに適している。

ハイライト

政策ベースの手法は行動を直接最適化するのに対し、価値ベースの手法はまず各行動の良し悪しを推定する。
連続的な行動空間は政策に基づく手法を有利にする一方、離散的な空間は価値観に基づく手法を有利にすることが多い。
DQNのような価値ベースの手法は、経験再生のおかげで、一般的にサンプル効率が高い。
アクタークリティックアルゴリズムは、両方のアプローチを組み合わせたものであり、多くの最新の強化学習ベンチマークにおいて圧倒的な性能を発揮している。

政策に基づく手法とは？

価値関数を必要とせずに、エージェントの行動選択ポリシーを直接最適化する強化学習アプローチ。

ポリシーベースの手法では、ポリシーを直接パラメータ化して最適化し、通常は期待報酬に対する勾配上昇法を用いる。
1992年にロナルド・ウィリアムズによって開発されたREINFORCEは、最も初期かつ最も影響力のある方策勾配アルゴリズムの一つである。
これらの手法は、連続的で高次元の行動空間を自然に扱うことができるが、これは価値ベースのアプローチでは難しい。
政策勾配は、勾配推定値に大きなばらつきが生じることが多く、ベースラインや優位性推定などの手法が必要となる。
勾配法は政策ランドスケープに従うため、グローバル最適解よりもローカル最適解に収束する傾向がある。

価値に基づく手法とは？

強化学習の手法では、状態や状態と行動のペアがどれほど優れているかを学習し、その価値推定値から方策を導き出します。

価値に基づく手法は、Q値などの価値関数を推定し、その推定値に基づいて行動を選択する。
Q学習は、クリストファー・ワトキンスが1989年の博士論文で提唱したもので、現在でも基礎的なアルゴリズムとして用いられている。
DeepMindが2013年に発表したDeep Q-Networks（DQN）は、Q学習と深層ニューラルネットワークを組み合わせ、Atariのゲームをマスターした。
これらの手法は、推定値が最も高い行動を選択するため、通常は離散的な行動空間を必要とする。
経験再生とターゲットネットワークは、ディープラーニングにおける価値ベースの手法でよく用いられる安定性向上のためのテクニックである。

比較表

機能	政策に基づく手法	価値に基づく手法
コアアプローチ	ポリシーを直接最適化します	価値関数を学習し、それに基づいて行動する
アクションスペース	連続的かつ高次元のアクションによく適合します。	離散的で低次元の動作に最適
サンプル効率	一般的にサンプル効率が悪く、より多くのデータが必要となることが多い。	通常、特にリプレイバッファを使用する場合、サンプル効率が向上します。
安定性	安定したアップデートだが、局所最適解に収束する可能性がある	関数近似では不安定になる可能性があり、工夫が必要
探査	確率的政策により自然探査が可能になる	ε-greedy法やノイズ注入法などのヒューリスティックに依存する
勾配分散	分散勾配が大きいため、分散低減が必要です。	政策勾配がないため、同じ意味での分散の問題もありません。
注目すべきアルゴリズム	強化、PPO、TRPO、A2C	Q学習、DQN、ダブルDQN、デュエリングDQN
収束保証	標準条件下では局所最適値に収束する	表形式設定では最適ポリシーに収束する

詳細な比較

彼らはどのように異なる学習方法をとるのか

政策ベースの手法はより直接的なアプローチをとります。政策自体をパラメータ化し、多くの場合、行動確率を出力するニューラルネットワークとして表現し、より高い報酬につながる行動を優先するようにパラメータを調整します。一方、価値ベースの手法は遠回りなアプローチをとります。まず各状態における各行動の価値を推定し、次に最も魅力的な選択肢を選びます。この根本的な違いが、両手法の実際の動作のあらゆる側面を決定づけます。

アクションスペースの取り扱い

ロボットアームの制御や自動車の操縦など、行動空間が連続的な場合、ポリシーベースの手法は連続的な範囲にわたる確率分布を出力できるため、非常に有効です。一方、価値ベースの手法は、すべての可能な行動を列挙して最大値を求めることができないため、このような状況では苦戦します。アタリゲームをプレイしたり、イエスかノーかの意思決定をしたりといった、少数の離散的な行動を扱う問題では、価値ベースの手法の方が多くの場合、よりシンプルで効果的です。

安定性とサンプル効率

DQNのような価値ベースの手法は、リプレイバッファに保存された過去の経験を再利用し、各遷移から複数回学習するため、サンプル効率が高い傾向があります。しかし、ディープニューラルネットワークと組み合わせると不安定になる場合があり、そのためターゲットネットワークなどの手法が導入されました。ポリシーベースの手法はよりスムーズに更新されますが、収束には通常より多くのサンプルが必要となり、勾配推定値にノイズが含まれる場合があります。

探査戦略

ポリシーベースの手法の優れた特性の一つは、ポリシー自体が確率的であることです。つまり、エージェントは行動分布からサンプリングすることで自然に探索を行います。価値ベースの手法では、明示的な探索戦略が必要となり、古典的な選択肢としてはε-greedy法がありますが、ノイズネットや信頼区間上限といったより洗練された手法も存在します。このため、探索が難しい環境では、ポリシーベースの手法が特に魅力的に映ります。

それらを組み合わせるタイミング

これら2つの手法の境界線は必ずしも明確ではありません。PPOやA2Cなどのアクタークリティック手法は、価値関数（クリティック）を用いてポリシー（アクター）の更新を誘導することで、両方の考え方を融合させています。このハイブリッドアプローチは、多くの場合、両方の利点を兼ね備えています。純粋なポリシー勾配法よりも分散が小さく、純粋な価値ベースの手法よりも連続的な行動の処理能力に優れています。多くの分野における最新のアルゴリズムは、アクタークリティックの派生形です。

長所と短所

政策に基づく手法

長所

+ 連続的なアクションを処理する
+ 自然探検
+ スムーズなアップデート
+ 確率的ポリシー
+ エンドツーエンドの最適化

コンス

− 高分散勾配
− サンプル効率が低い
− 局所最適リスク
− 収束速度が遅い

価値に基づく手法

長所

+ サンプル効率
+ 強力な理論的基盤
+ 実装は簡単
+ リプレイとの相性も良好

コンス

− 個別の動作に限定される
− 不安定になる可能性がある
− 探索のコツが必要
− 継続的に延長するのは難しい

よくある誤解

神話

深層強化学習においては、ポリシーベースの手法は常に価値ベースの手法よりも優れた性能を発揮する。

現実

どちらの手法も普遍的に優れているわけではありません。DQNのような価値ベースの手法はAtariで画期的な成果を上げましたが、ポリシーベースの手法は連続制御において優れた性能を発揮します。最適な選択は、行動空間、環境の動態、利用可能なデータの量によって異なります。

神話

価値に基づく手法は、連続的な行動空間には適用できない。

現実

標準的なQ学習は連続的な行動への対応に苦慮する一方、ディープ決定論的方策勾配（DDPG）やツイン遅延DDPG（TD3）といった派生手法は、アクター・クリティック・アーキテクチャを用いることで、価値ベースの概念を連続的な領域へと拡張している。これら2つの手法を厳密に区別するのは、厳密なルールというよりは、むしろ教育上の簡略化と言えるだろう。

神話

政策勾配は常に最適政策に収束する。

現実

方策勾配法は、標準的な平滑化仮定の下では、大域的に最適な方策ではなく、局所的に最適な方策に収束することが保証されている。最適化ランドスケープには多くのピークが存在する可能性があり、アルゴリズムは開始点が導くいずれかのピークに落ち着く。

神話

価値に基づく手法は、政策表現を必要としない。

現実

価値に基づく手法であっても、貪欲法やイプシロン貪欲法などの行動選択ルールを通して、暗黙のうちにポリシーを定義している。違いは、ポリシーが直接パラメータ化されて学習されるのではなく、価値推定値から導き出される点にある。

神話

より多くのサンプルを用いることで、深層値に基づく手法における不安定性の問題は必ず解決される。

現実

深層Q学習における不安定性は、価値関数が自身の更新を追いかける「動く標的問題」に起因します。単にデータ量を増やすだけではこの問題は解決せず、ターゲットネットワーク、ダブルQ学習、優先順位付きリプレイなどの手法を用いて学習を安定化させる必要があります。

よくある質問

政策に基づく手法と価値に基づく手法の主な違いは何ですか？

ポリシーベースの手法は、状態から行動へのマッピングを直接学習し、勾配法を用いて最適化します。一方、価値ベースの手法は、まず各状態における各行動の期待収益を推定し、次に推定値が最も高い行動を選択することでポリシーを導出します。両者の違いは、学習対象がポリシーか価値関数かという点にあります。

連続的な行動空間には、どちらの方法が適していますか？

政策ベースの手法は、ガウス分布の平均や分散といった連続分布のパラメータを出力できるため、連続行動空間において一般的に最適な選択肢となります。一方、価値ベースの手法は、すべての可能な行動を比較して最大値を求める必要があるため、実数値の行動を扱う場合には困難を伴います。DDPGやPPOといったアクタークリティック手法は、このような状況でよく用いられます。

政策勾配の分散が大きいのはなぜか？

政策勾配の推定値は、状態、行動、報酬の全体的な軌跡に依存しますが、これらはエピソードごとに大きく変動する可能性があります。たった一度の幸運または不運な展開によって、勾配推定値は劇的に変化する可能性があります。ベースライン、アドバンテージ関数、一般化アドバンテージ推定（GAE）などの手法は、過度のバイアスを導入することなく、この変動を低減するために使用されます。

Q学習は、価値に基づく手法なのか、それとも政策に基づく手法なのか？

Q学習は価値に基づく手法です。状態sにおいて行動aをとった場合の期待収益を推定する行動価値関数Q(s, a)を学習します。そして、最も高いQ値を持つ行動を選択することで方策が導き出されます。多くの場合、学習中に探索ノイズが加えられます。

俳優批評家法とは何ですか？

アクター・クリティック法は、ポリシーベースと価値ベースのアプローチを組み合わせた手法です。アクターは行動を選択するポリシーであり、クリティックは選択された行動の良し悪しを評価する価値関数です。クリティックの評価は、アクターの勾配更新におけるばらつきを低減するために使用されます。代表的な例としては、A2C、A3C、PPO、DDPGなどが挙げられます。

価値に基づく手法は、確率的な政策を扱うことができるか？

Q学習のような標準的な価値ベースの手法は、通常、最も価値の高い行動を選択することで決定論的な方策を学習します。確率的な挙動を得るには、行動選択ルールを変更するか、特殊なバリアントを使用する必要があります。一方、方策ベースの手法は、行動に関する確率分布を出力するため、自然に確率的な方策を生成します。

現代の深層強化学習において、最も人気のあるアルゴリズムはどれですか？

PPO（近接方策最適化）は、特にロボット工学やゲームAIなどの分野で、今日最も広く用いられているアルゴリズムと言えるでしょう。これは、アクタークリティック要素を取り入れた方策ベースの手法です。しかし、離散行動問題においては、DQNとその派生手法のような価値ベースの手法が依然として人気があり、連続制御においてはSAC（ソフトアクタークリティック）が有力な選択肢となります。

政策に基づく手法には、そもそも価値関数が必要なのだろうか？

純粋なポリシーベースの手法、例えば標準的なREINFORCEなどは、値関数を必須とはしていませんが、分散を低減するためのベースラインとして値関数を使用することで、しばしばメリットが得られます。アクタークリティック型の手法は、アーキテクチャの一部として明示的に値関数を使用します。したがって、値関数は厳密には必須ではありませんが、パフォーマンスを向上させるために一般的に組み込まれています。

経験の再現は、価値に基づく手法にどのように役立つのでしょうか？

経験再生は、過去の遷移をバッファに保存し、学習中にランダムにサンプリングします。これにより、連続するサンプル間の相関関係が解消され、深層Q学習における勾配が安定します。また、エージェントが各経験から複数回学習できるため、サンプル効率が向上します。ポリシーベースの手法でもリプレイバッファを使用できますが、その設計において中心的な役割は担いません。

価値に基づく手法が、政策に基づく手法よりも早く収束するケースはありますか？

確かに、多くの離散行動環境では、価値ベースの手法はベルマン方程式を通して状態間で価値情報を直接伝播できるため、収束が速くなります。一方、方策ベースの手法では、勾配を正確に推定するために多くのエピソードが必要となる場合が多いです。しかし、連続的または高次元の行動空間では状況が逆転し、方策ベースの手法の方が実用的になります。

評決

問題が連続的な行動を伴う場合、自然な確率的探索が必要な場合、またはスムーズで安定したポリシー更新が必要な場合は、ポリシーベースの手法を選択してください。サンプル効率が重要で、経験再生を活用できる離散的な行動問題には、価値ベースの手法を使用してください。多くの現実世界のタスクでは、アクター・クリティック・ハイブリッドが、両方の長所を組み合わせた実用的な中間的な選択肢となります。