간략 요약:
이 글은 모델 기반 강화학습의 다양한 제어 방식에 대해 시간순으로 설명하며, 환경 시뮬레이션, 종단 간 학습, 배경/의사결정 시간 계획의 차이와 대표적 알고리즘(예: Dyna-Q, MCTS, 궤적 최적화)들을 실제 사례와 함께 다룹니다. 특히 연속-이산 제어, 그 한계와 대표적 해결 전략(사격법, Collocation, CEM 등)까지 실용적인 관점에서 정리합니다. 모델 기반 제어 RL의 이론과 실제 구현 사이의 핵심 흐름을 이해할 수 있습니다.
1. 모델 기반 강화학습의 대표 알고리즘과 접근 방식
모델 기반 강화학습에서는 환경의 구조를 학습하고, 예측한 환경 모델을 토대로 행동을 개선합니다.
이 튜토리얼은 아래와 같은 다양한 알고리즘과 카테고리를 아울러 설명합니다.
모델을 활용하는 대표적인 3가지 방법이 있습니다.
2. 환경 시뮬레이션과 경험 데이터 확장
모델은 실제 환경에서 얻는 데이터와 별도로 모델이 만들어낸 경험을 혼합하여 강화학습을 보조할 수 있습니다.
이렇게 하면 데이터셋의 크기를 인공적으로 늘려 더 효율적으로 학습하게 됩니다.
- Dyna-Q: 이 방식의 대표 예시로, 실제 전이와 모델에서 생성된 가상 전이 모두를 사용합니다.
"Dyna는 실제 전이에 대한 Q러닝 업데이트와, 모델을 사용해 가상 전이를 생성해 동일한 Q러닝 업데이트를 수행합니다. 결국 경험을 늘리는 방법 외에는 마땅한 방법이 없습니다."
정책 학습의 경우에도, 한 단계를 넘어 여러 단계를 가상으로 생성해 더 많은 정책 업데이트를 할 수 있습니다.
3. 모델의 종단간 학습 지원과 정책 기울기
본격적으로 모델 자체를 강화학습의 학습 루프에 포함시키는 방법도 있습니다.
이 때 중요한 방법론이 종단간 학습(End-to-end training)입니다.
"컴퓨터 비전, NLP 등에서 지도 학습을 종단간으로 하는 것이 매우 성공적이었는데, RL에도 동일한 접근이 가능할까요?"
예를 들어, 정책 기울기 기법에서는 미래 보상의 합을 최대화하도록 정책의 파라미터를 조정합니다.
전통적인 샘플링 기반 방법(REINFORCE 등)은 분산이 커지는 문제가 있습니다.
정확하고 매끄러운(미분가능한) 모델을 사용하면 편차 없이 결정적 정책 기울기를 구할 수 있습니다.
"우리가 얻는 정책 기울기는 사실 결정된 값이며, 이에 대한 편차는 없습니다."
장점
- 정책 기울기 값이 편차 없이 "정확"합니다.
- 장기적인 신용 할당(Credit Assignment Problem) 해결에 유용합니다.
단점
- 지역 최소값(Local minima)에 갇힐 수 있음
- 기울기 소실, 폭발 등 컨디셔닝 문제가 있습니다
실제 궤적은 안전하지만 샘플 효율성이 떨어지고,
모델 생성 궤적은 다양한 정책 변경이 가능하지만 모델 오류에 더 취약합니다.
4. 배경 계획과 의사결정 시간 계획
모델기반 RL에서 대표적인 두 개의 구분이 있습니다:
배경 계획(Background Planning) vs. 의사결정 시간 계획(Decision-Time Planning)
-
배경 계획:
습관/정책/가치 신경망의 파라미터를 전체 상황에 대해 "습득"해 빠른 의사결정(습관화)에 집중 -
의사결정 시간 계획:
현재 상태에서 "즉시 행동 시퀀스"를 찾아내는, 즉흥적이고 느린(계산 많은) 사고 방식
"의사결정 시간 계획은 우리가 전혀 배운것 없이 행동할 수 있게 해줍니다. 여러분이 모델을 가지고 있는 한 그것은 단지 최적화 문제일 뿐입니다."
두 방식의 필요성과 차이
- 최근의 상태 반영, 빠르게 행동 가능(의사결정 시간 계획)
- 배운 정책/가치 신경망 불확실 시, 적응성
- 상태 표현(ex. 픽셀, 각도 등) 설계의 부담을 덜어줌
- 관측 공간 독립성
반면,
- 의사결정 시간 계획은 부분 관측이나 계산 효율 문제 등 한계도 존재
- 예측 가능성과 일관성, 이산·연속 행동 일관처리 측면에서는 배경 계획이 우위
- 두 방식을 조합하거나 섞어 쓰기도 합니다.
5. 이산형과 연속형 계획의 실제 구현
이산(Discrete)과 연속(Continuous) 행동에서 구현 방식과 쟁점의 차이가 존재합니다.
배경 계획에서는 정책 분포를 확률적으로 다루기 때문에 큰 차이 없이 처리 가능합니다.
- Gumbel-Softmax 등 재매개변수화 기법 활용(Hard/Soft action sampling)
의사결정 시간 계획은
- 이산이면 MCTS(몬테카를로 트리 검색)
- 연속이면 궤적 최적화(trajectory optimization)
와 같이 특화된 알고리즘을 적용합니다.
MCTS(몬테 카를로 트리 검색, AlphaGo/AlphaZero 등에서 활용)
- 초기화: 모든 상태/행동 쌍의 Q값과 방문횟수 초기화
- 확장: 현재 상태에서 노드 확장, 검색 정책 따라 행동 선택
- 평가: 도달한 노드에서 Monte-Carlo roll-out으로 가치 추정
- 백업: Q값을 부모 노드에 전파
- 반복: 2-4 반복
"MCTS는 고려해야 할 모든 상태와 작업에 대해 장기 보상인 Q-값을 추적합니다."
궤적 최적화(trajectory optimization, 연속계획)
하나의 행동 시퀀스를 따라가며 최적 궤적을 찾아내는 방식
주요 단계는 아래와 같습니다.
- 초기화: 추측에 따라 행동 시퀀스 가정
- 확장: 가정한 행동 시퀀스 실행해 상태 변화를 관찰
- 평가: 보상 계산
- 역전파: 보상과 전이모델의 미분 정보로 단계별로 기울기 계산
- 업데이트: 행동 시퀀스 기울기 따라 업데이트, 반복
연속 방식은 사격법(Shooting method)이라고도 불립니다.
6. 연속 계획의 한계와 보완 전략
연속 계획 방식은 다양한 실제적 한계를 가지며 이에 대한 보완 전략들이 개발되어 왔습니다.
1) 민감성과 나쁜 조건(Sensitivity and poor conditioning)
사격법의 경우, 초기 행동의 아주 작은 변화가 전체 궤적에 매우 큰 영향을 미칠 수 있다는 고질적 문제가 있습니다.
이것은 RNN에서의 "기울기 폭발/소멸"과 유사하며,
강화학습에서 전이 함수는 환경에 의해 고정되어 있어 수동적인 최적화에 국한됩니다.
"각 상태가 암묵적으로 그 이전의 모든 행동에 의존한다는 것을 의미합니다."
Collocation(연계) 접근: 상태 자체에 대한 변수를 도입하고,
행동뿐만 아니라 상태도 독립적으로 최적화합니다.
이 방법은 조건수가 좋아서 최적화가 더 단순하며 일부 로봇 응용에 많이 활용됩니다.
2) 지역 최적값 문제(Only reaches local optimum)
단순 경사하강(gradient descent)은 쉽게 지역 최적값에 머물 수 있습니다.
이를 보완하기 위해 샘플링 기반 방법(CEM 등)을 도입합니다.
- CEM(Cross-Entropy Method):
여러 궤적을 샘플링, 상위 궤적의 평균과 분산 업데이트, 지역 최적 피하기
"매우 간단해 보이지만, 이 방법은 놀라울 정도로 잘 작동하며 좋은 성능을 보장합니다."
탐색 공간이 정책 매개변수 공간보다 훨씬 작다는 점도 큰 장점입니다.
3) 느린 수렴(Slow convergence)
단순 경사하강은 계획 과정이 너무 오래 걸릴 수 있음(수천만번 반복 소요).
이를 해결하기 위해 뉴턴 방법(Newton's method), iLQR 등 고차원 최적화 기법을 적용해
빠르게 수렴하도록 유도합니다.
- LQR(선형-이차-레귤레이터)로 간주, 선형 근사와 사분법 보상으로 계산 단순화
- iLQR(Iterative LQR): 현행 솔루션 주변에서 반복적으로 LQR로 근사, 솔루션 업데이트
7. 참고자료 및 관련 링크
마치며
모델 기반 강화학습의 다양한 제어 전략과 알고리즘은 실제로 데이터 효율성과 일반화 능력을 높이며, 특정 상황에 맞는 맞춤형 제어가 가능합니다. 각 방법의 장단점과 실제 사용에서의 쟁점을 이해하는 것이 모델 기반 제어를 제대로 적용하는 핵심 포인트입니다.
🔑 상황과 문제특성에 맞는 전략적 선택이 모델 기반 RL의 진짜 힘입니다!