강화 학습머신러닝인공지능정책-경사큐러닝

정책 기반 방법 vs 가치 기반 방법

정책 기반 방법과 가치 기반 방법은 강화 학습에서 두 가지 기본적인 접근 방식입니다. 정책 기반 방법은 행동 선택 전략을 직접 학습하는 반면, 가치 기반 방법은 각 행동의 효율성을 추정하고 이러한 추정치로부터 행동을 도출합니다. 각 방법은 서로 다른 문제 유형에 적합한 고유한 장점을 가지고 있습니다.

주요 내용

정책 기반 방법은 행동을 직접적으로 최적화하는 반면, 가치 기반 방법은 각 행동이 얼마나 좋은지를 먼저 추정합니다.
연속적인 행동 공간에서는 정책 기반 방법이 유리하고, 이산적인 공간에서는 가치 기반 방법이 유리한 경우가 많다.
DQN과 같은 값 기반 방법은 경험 재생 덕분에 일반적으로 샘플 효율성이 더 높습니다.
액터-크리틱 알고리즘은 두 가지 접근 방식을 모두 결합하며 많은 최신 강화 학습 벤치마크에서 우위를 점하고 있습니다.

정책 기반 방법이(가) 무엇인가요?

가치 함수 없이 에이전트의 행동 선택 정책을 직접 최적화하는 강화 학습 접근 방식.

정책 기반 방법은 일반적으로 예상 보상에 대한 경사 상승법을 사용하여 정책을 직접 매개변수화하고 최적화합니다.
1992년 로널드 윌리엄스가 개발한 REINFORCE는 가장 초기에 개발되었으며 가장 영향력 있는 정책 경사 알고리즘 중 하나입니다.
이러한 방법들은 연속적이고 고차원적인 행동 공간을 자연스럽게 처리하는데, 이는 가치 기반 접근 방식으로는 어려운 부분입니다.
정책 경사도는 경사도 추정치의 분산이 높은 경우가 많아 기준선 설정이나 이점 추정과 같은 기법이 필요합니다.
경사 하강법은 정책 환경을 따르기 때문에 전역 최적값보다는 지역 최적값으로 수렴하는 경향이 있습니다.

가치 기반 방법이(가) 무엇인가요?

강화 학습 접근 방식은 상태 또는 상태-행동 쌍이 얼마나 좋은지를 학습한 다음, 이러한 가치 추정치로부터 정책을 도출합니다.

가치 기반 방법은 Q값과 같은 가치 함수를 추정하고, 이러한 추정치를 바탕으로 행동을 선택합니다.
Q-러닝은 크리스토퍼 왓킨스가 1989년 박사 학위 논문에서 소개했으며, 현재까지도 기초적인 알고리즘으로 남아 있습니다.
2013년 딥마인드에서 발표한 딥 Q-네트워크(DQN)는 Q-러닝과 심층 신경망을 결합하여 아타리 게임을 완벽하게 구동했습니다.
이러한 방법들은 일반적으로 가장 높은 추정값을 가진 행동을 선택하기 때문에 이산적인 행동 공간을 필요로 합니다.
경험 재생 및 목표 네트워크는 심층 가치 기반 방법에서 흔히 사용되는 안정성 향상 기법입니다.

비교 표

기능	정책 기반 방법	가치 기반 방법
핵심 접근법	정책을 직접 최적화합니다	가치 함수를 학습한 후, 그에 따라 행동합니다.
액션 스페이스	연속적이고 고차원적인 동작에 효과적입니다.	개별적이고 차원이 낮은 동작에 가장 적합합니다.
샘플 효율	일반적으로 표본 효율성이 떨어지며, 더 많은 데이터가 필요한 경우가 많습니다.	일반적으로 샘플링 효율이 더 높으며, 특히 리플레이 버퍼를 사용할 경우 더욱 그렇습니다.
안정	업데이트는 안정적이지만 지역 최적값으로 수렴할 수 있습니다.	함수 근사에서 불안정할 수 있으며, 요령이 필요합니다.
탐구	확률적 정책은 자연스러운 탐색을 가능하게 합니다.	엡실론-그리디 또는 노이즈 주입과 같은 휴리스틱에 의존합니다.
기울기 분산	분산이 큰 기울기이므로 분산 감소가 필요합니다.	정책 경사도가 없으므로, 같은 의미에서의 변동성 문제는 없습니다.
주목할 만한 알고리즘	강화, PPO, TRPO, A2C	Q-러닝, DQN, 더블 DQN, 듀얼링 DQN
수렴 보장	표준 조건에서 국소 최적값으로 수렴합니다.	표 형식 설정에서 최적 정책으로 수렴합니다.

상세 비교

그들은 어떻게 다르게 배우는가

정책 기반 방법은 보다 직접적인 경로를 택합니다. 즉, 행동 확률을 출력하는 신경망과 같은 정책 자체를 매개변수화하고, 더 높은 보상을 가져오는 행동을 선호하도록 해당 매개변수를 조정합니다. 가치 기반 방법은 각 상태에서 각 행동의 가치를 먼저 추정한 다음, 가장 좋아 보이는 옵션을 선택하는 다소 우회적인 경로를 택합니다. 이러한 근본적인 차이가 두 방법론의 실제 작동 방식에 큰 영향을 미칩니다.

액션 공간 처리

로봇 팔을 제어하거나 자동차를 운전하는 것처럼 행동 공간이 연속적일 때, 정책 기반 방법은 연속적인 범위에 걸쳐 확률 분포를 출력할 수 있기 때문에 효과적입니다. 반면 가치 기반 방법은 모든 가능한 행동을 열거하여 최댓값을 찾는 것이 불가능하기 때문에 이러한 문제에 어려움을 겪습니다. 하지만 아타리 게임을 하거나 예/아니오 결정을 내리는 것처럼 행동의 집합이 이산적인 소수의 문제에서는 가치 기반 방법이 더 간단하고 효과적인 경우가 많습니다.

안정성 및 시료 효율성

DQN과 같은 값 기반 방법은 재생 버퍼에 저장된 과거 경험을 재사용하고 각 전환으로부터 여러 번 학습하기 때문에 샘플 효율성이 더 높은 경향이 있습니다. 그러나 심층 신경망과 결합할 경우 불안정해질 수 있으며, 이러한 이유로 타겟 네트워크와 같은 기법이 도입되었습니다. 정책 기반 방법은 더 부드럽게 업데이트되지만 일반적으로 수렴하는 데 더 많은 샘플이 필요하며, 기울기 추정치에 노이즈가 포함될 수 있습니다.

탐색 전략

정책 기반 방법의 장점 중 하나는 정책 자체가 확률적일 수 있다는 점입니다. 즉, 에이전트는 자신의 행동 분포에서 샘플링하여 자연스럽게 탐색할 수 있습니다. 가치 기반 방법은 명시적인 탐색 전략이 필요하며, 엡실론-그리디 알고리즘이 고전적인 선택이지만, 노이즈 네트워크나 상위 신뢰 구간과 같은 더욱 정교한 접근 방식도 존재합니다. 이러한 특성 덕분에 정책 기반 방법은 탐색이 어려운 환경에서 특히 유용합니다.

언제 함께 사용해야 할까요?

이 두 가지 접근 방식 사이의 경계는 항상 명확하지는 않습니다. PPO와 A2C를 포함한 액터-크리틱(Actor-Critic) 방법은 가치 함수(크리틱)를 사용하여 정책(액터) 업데이트를 안내함으로써 두 가지 개념을 결합합니다. 이러한 하이브리드 접근 방식은 종종 두 가지 장점을 모두 제공합니다. 순수 정책 경사법보다 분산이 낮고, 순수 가치 기반 방법보다 연속적인 행동을 더 잘 처리합니다. 많은 분야에서 최첨단 알고리즘은 액터-크리틱 변형입니다.

장단점

정책 기반 방법

장점

+ 연속적인 동작을 처리합니다
+ 자연 탐험
+ 원활한 업데이트
+ 확률적 정책
+ 엔드투엔드 최적화

− 높은 분산 기울기
− 샘플 효율성이 떨어짐
− 국소 최적점 위험
− 더 느린 수렴

가치 기반 방법

장점

+ 샘플 효율
+ 탄탄한 이론적 기반
+ 구현하기 간단합니다
+ 리플레이 기능과 잘 어울립니다.

− 개별적인 행동으로 제한됨
− 불안정할 수 있습니다
− 탐색 요령이 필요합니다
− 지속적으로 확장하기 어렵습니다

흔한 오해

신화

심층 강화 학습에서 정책 기반 방식은 항상 가치 기반 방식보다 우수한 성능을 보입니다.

현실

어느 방식이 보편적으로 우월하다고 할 수는 없습니다. DQN과 같은 값 기반 방식은 아타리에서 획기적인 결과를 달성했고, 정책 기반 방식은 연속 제어에서 탁월한 성능을 보였습니다. 최적의 선택은 실행 공간, 환경 변화, 그리고 사용 가능한 데이터의 양에 따라 달라집니다.

신화

가치 기반 방법은 연속적인 행동 공간에서는 적용될 수 없습니다.

현실

표준 Q-러닝은 연속적인 액션을 처리하는 데 어려움을 겪는 반면, DDPG(Deep Deterministic Policy Gradient) 및 TD3(Twin Delayed DDPG)와 같은 변형 알고리즘은 액터-크리틱 아키텍처를 사용하여 가치 기반 개념을 연속적인 영역으로 확장합니다. 두 계열을 엄격하게 구분하는 것은 엄격한 규칙이라기보다는 교육을 단순화하기 위한 것입니다.

신화

정책 경사도는 항상 최적 정책으로 수렴합니다.

현실

정책 경사법은 일반적인 평활도 가정 하에서 전역 최적 정책이 아닌 지역 최적 정책으로 수렴하는 것이 보장됩니다. 최적화 과정에는 여러 개의 정점이 있을 수 있으며, 알고리즘은 시작점이 가리키는 정점에 수렴하게 됩니다.

신화

가치 기반 방식은 정책 표현을 필요로 하지 않습니다.

현실

가치 기반 방법론조차도 탐욕적(greedy) 또는 엡실론-탐욕적(epsilon-greedy)과 같은 행동 선택 규칙을 통해 암묵적으로 정책을 정의합니다. 차이점은 정책이 직접적으로 매개변수화되고 학습되는 것이 아니라, 가치 추정치로부터 도출된다는 점입니다.

신화

더 많은 샘플을 사용하면 심층적인 값 기반 방법에서 불안정성 문제를 해결할 수 있습니다.

현실

심층 Q-러닝의 불안정성은 가치 함수가 자체 업데이트를 따라가는 '움직이는 목표물' 문제에서 비롯됩니다. 단순히 데이터를 추가하는 것만으로는 이 문제를 해결할 수 없으며, 타겟 네트워크, 이중 Q-러닝, 우선순위 재생과 같은 기법을 사용하여 학습을 안정화해야 합니다.

자주 묻는 질문

정책 기반 방법과 가치 기반 방법의 주요 차이점은 무엇입니까?

정책 기반 방법은 상태와 행동 간의 매핑을 직접 학습하고 경사 하강법을 사용하여 최적화합니다. 가치 기반 방법은 먼저 각 상태에서 각 행동을 취했을 때의 기대값을 추정하는 방법을 학습한 다음, 추정값이 가장 높은 행동을 선택하여 정책을 도출합니다. 두 방법의 차이점은 학습의 주요 목표가 정책인지 가치 함수인지에 있습니다.

연속적인 행동 공간에는 어떤 방법이 더 적합할까요?

정책 기반 방법은 연속적인 행동 공간에 일반적으로 적합한 선택입니다. 왜냐하면 가우시안 분포의 평균과 분산처럼 연속적인 분포의 매개변수를 출력할 수 있기 때문입니다. 가치 기반 방법은 모든 가능한 행동을 비교하여 최댓값을 찾아야 하는데, 행동이 실수 값을 가질 경우 이는 현실적으로 불가능합니다. 이러한 상황에서는 DDPG나 PPO와 같은 액터-크리틱 방법이 흔히 사용됩니다.

정책 편차가 높은 이유는 무엇일까요?

정책 경사도 추정치는 상태, 행동, 보상의 전체 궤적에 의존하는데, 이는 에피소드마다 크게 달라질 수 있습니다. 단 한 번의 운이 좋거나 나쁜 실행만으로도 경사도 추정치가 극적으로 변할 수 있습니다. 기준선, 이점 함수, 일반화된 이점 추정(GAE)과 같은 기법은 편향을 과도하게 발생시키지 않으면서 이러한 변동성을 줄이는 데 사용됩니다.

Q-러닝은 가치 기반 방법인가요, 아니면 정책 기반 방법인가요?

Q-러닝은 가치 기반 학습 방법입니다. Q-러닝은 상태 s에서 행동 a를 취했을 때의 기대값을 추정하는 행동 가치 함수 Q(s, a)를 학습합니다. 학습 과정에서 탐색 노이즈를 추가하여 가장 높은 Q값을 가진 행동을 선택하는 방식으로 정책을 도출합니다.

배우-비평가 방법론이란 무엇인가요?

액터-크리틱(Actor-critic) 방법은 정책 기반 접근 방식과 가치 기반 접근 방식을 결합합니다. 액터는 행동을 선택하는 정책이고, 크리틱은 이러한 행동이 얼마나 효과적이었는지 평가하는 가치 함수입니다. 크리틱의 평가는 액터의 그래디언트 업데이트에서 발생하는 분산을 줄이는 데 사용됩니다. 대표적인 예로는 A2C, A3C, PPO, DDPG 등이 있습니다.

가치 기반 방법은 확률적 정책을 처리할 수 있을까요?

Q-러닝과 같은 표준적인 값 기반 방법은 일반적으로 가장 높은 값을 가진 행동을 선택함으로써 결정론적 정책을 학습합니다. 확률적 동작을 얻으려면 행동 선택 규칙을 수정하거나 특수 변형을 사용해야 합니다. 반면 정책 기반 방법은 행동에 대한 확률 분포를 출력하기 때문에 자연스럽게 확률적 정책을 생성합니다.

최신 딥 강화 학습에서 가장 인기 있는 알고리즘은 무엇입니까?

PPO(근접 정책 최적화)는 특히 로봇 공학 및 게임 AI와 같은 응용 분야에서 오늘날 가장 널리 사용되는 알고리즘이라고 할 수 있습니다. 이는 액터-크리틱 요소를 포함하는 정책 기반 방법입니다. 그러나 DQN 및 그 변형과 같은 값 기반 방법은 이산 행동 문제에서 여전히 인기가 있으며, SAC(소프트 액터-크리틱)는 연속 제어에 적합한 선택입니다.

정책 기반 방법은 가치 함수가 정말 필요한가?

순수 정책 기반 방식인 일반적인 REINFORCE는 가치 함수를 필수로 요구하지는 않지만, 분산을 줄이기 위한 기준으로 가치 함수를 사용하는 것이 종종 이점을 제공합니다. 액터-크리틱 변형 방식은 아키텍처의 일부로 가치 함수를 명시적으로 사용합니다. 따라서 가치 함수는 엄밀히 말하면 필수는 아니지만, 성능 향상을 위해 일반적으로 포함됩니다.

경험 재현은 가치 기반 방법론에 어떻게 도움이 될까요?

경험 재생(Experience Replay)은 과거의 전환 과정을 버퍼에 저장하고 학습 중에 무작위로 샘플링합니다. 이는 연속적인 샘플 간의 상관관계를 끊어 심층 Q-러닝에서 기울기를 안정화합니다. 또한 에이전트가 각 경험을 여러 번 학습할 수 있도록 하여 샘플링 효율성을 향상시킵니다. 정책 기반 방식도 재생 버퍼를 사용할 수 있지만, 설계의 핵심 요소는 아닙니다.

가치 기반 방법이 정책 기반 방법보다 더 빠르게 수렴하는 경우가 있을까요?

네, 많은 이산 행동 환경에서 가치 기반 방법은 벨만 방정식을 통해 상태 간에 가치 정보를 직접 전달할 수 있기 때문에 더 빠르게 수렴합니다. 정책 기반 방법은 기울기를 정확하게 추정하기 위해 많은 에피소드가 필요한 경우가 많습니다. 하지만 연속적이거나 고차원적인 행동 공간에서는 상황이 역전되어 정책 기반 방법이 더 실용적입니다.

평결

연속적인 행동이 포함되거나, 자연스러운 확률적 탐색이 필요하거나, 안정적이고 매끄러운 정책 업데이트가 필요한 경우에는 정책 기반 방법을 선택하십시오. 표본 효율성이 중요하고 경험 재생을 활용할 수 있는 이산적인 행동 문제에는 가치 기반 방법을 사용하는 것이 좋습니다. 많은 실제 문제에서 액터-크리틱 하이브리드 방식은 두 방식의 장점을 결합한 실용적인 중간 지점을 제공합니다.