Reinforcement Study (Q-learning ~ Actor-Critic)

안녕하세요, 지난주에 X-sim이라는 연구에 대한 리뷰를 작성했는데요, 현실에서의 사람의 행동에 의한 물체의 trajectory 변화를 reward로 활용해 PPO 알고리즘으로 학습한 policy를 vision based 모델에 distill하고 더 나아가 sim to real gap을 해소한 연구였습니다. 해당 연구 뿐만 아니라 현재 대부분 로봇을 학습할 때 PPO 알고리즘은 표준처럼 사용되고 있는 알고리즘입니다. PPO 알고리즘은 actor critic 방식으로 TRPO를 변형한 방법인데, 이를 위해 알아야할 내용들이 많아서 TRPO와 PPO 알고리즘을 공부하기 전 까지의 강화학습 내용을 복습하고 흐름에 맞게 어떤 한계점들이 있었고 어떻게 해결했는지를 정리하려고 합니다. 사실 수학적으로 자세하게 공부하기에는 아직 시간적으로도 무리가 있고 전부 적기에도 빡세서 제 머리속의 컨셉(?)적인 부분들을 흐름에 따라 정리하는 글이 될 것 같습니다. 이후 읽어야하는 TRPO와 PPO 알고리즘은 각각 읽고 심층 리뷰를 적어보도록 하겠습니다 하하,,

MDP

PPO는 앞서 말했듯 강화학습이 발전함에 따라 기존의 한계들을 해결하거나 알고리즘을 개선해나가며 등장한 알고리즘이기 때문에 PPO가 등장하기까지의 배경을 설명하면서 정리해보고자 합니다. 강화학습 문제는 보통 MDP(Markov Decision Process)로 모델링이 됩니다. MDP는 s(상태), a(행동), r(보상), p(전이확률), gamma(할인율)의 요소들을 가지고 있습니다. 각각 에이전트가 처한 상황, 그 상황에서 취할 수 있는 행동의 집합, 행동을 취했을 때 환경으로부터 얻는 피드백, 그 행동을 취했을 때 다음 상태로 전이될 확률분포, 시간에 따른 현재의 보상의 중요도를 의미합니다. 강화학습 에이전트는 보통 MDP라는 정해진 틀 안에서 환경과 상호작용하며 장기적으로 봤을때의 누적 보상을 최대화하는 정책을 찾아가는 학습을 합니다.

이 때 가치함수와 Q함수의 개념이 등장하는데 가치함수는 주어진 정책을 따를 때 s인 상태에서 앞으로 얻을 수 있는 누적되는 보상의 기댓값을 의미하며, Q함수는 s인 상태에서 특정 행동 a를 취했을 때 얻을 수 있는 누적되는 보상의 기댓값입니다. 둘의 차이는 “현재의 상황이 얼마나 좋은 상황인지 vs 현재의 상황에서 어떤 행동을 하는것이 얼마나 좋은 것인지”에 대한 차이라고 생각하시면 될 것 같습니다.

Q-Learning

Q-learning은 앞서 말한 Q함수를 학습하고 MDP상에서 최적의 정책을 찾아내는 강화학습 알고리즘 입니다. 에이전트가 t일때의 상태 s_t에서 특정 행동 a_t를 취하고 나서 r_t+1과 s_t+1을 얻고, 벨만 최적 방정식에 기반한 업데이트를 진행합니다. 실제로 행동을 하며 얻은 보상들과 다음 상태에서의 최적의 추정을 계속 반복하며 Q(s,a)에 대한 표를 채워나가면서 최적의 정책을 만들어 갑니다. Q-learning은 MDP모델을 모르는 상태에서도 학습이 가능한 model-free 학습 방법이고, 이산적인 상태와 행동을 가지는 문제를 해결할 때 사용할 수 있습니다. 다만 상태나 행동이 연속적이면 Q값을 모든 경우에 대해 실행하고 표로 저장해야 하는데, 이는 불가능하기 때문에 연속적인 공간에서의 문제를 해결하기가 매우 어려웠습니다. 뿐만 아니라 Q-learning의 업데이트 수식의 특성상 Q값이 과대평가되는 문제또한 존재했습니다. 이를 위해 Double Q-learning과 같은 두개의 Q값을 통한 교차 검증 느낌의 업데이트하는 기법이 등장하기도 했지만 여전히 연속적인, 복잡한 문제를 해결할 수 없는 문제가 있었습니다.

DQN (Deep Q-Network)

더 복잡한 상황에서 최적의 Q-learning을 진행하기 위해 DeepMind가 DQN을 발표했습니다. Q-learning에 신경망을 접목하는 구조로 접근해서, Q함수를 신경망을 통해 근사하는 식으로 Q-Network를 통해 어떠한 상태s에 대해 각 행동별 Q값을 출력하는 함수로 표현했습니다. 해당 방법을 통해 학습을 진행할 때 학습이 불안정해지는 문제가 있었는데, 이를 샘플들을 저장해 두었다가 재사용하는 Experience Replay와 업데이트 주기가 느린 Q값을 계산하는데 쓰이는 Target Q-Network를 사용해 해결했습니다. 다만 아직도 행동 공간이 이산형인 문제에만 적용이 가능하기 때문에, 연속적인 행동을 학습할 수는 없었습니다. 또한 Q함수를 신경망을 통해 근사한다는 점을 제외하고는 기존의 Q-learning의 문제점들을 그대로 가져갔기 때문에 Q값이 과대평가되는 문제도 남아있었습니다. 여기서 짚고 넘어가야 할 점은 Q-learning과 DQN 모두 value-based 방법으로 정책 자체를 학습하는 것이 아니고 어떤 상태에서 어떤 행동을 하면 장기적으로 어떤 점수를 받을 수 있는지를 다 평가하고 업데이트 해둔 뒤에, 정책은 매 상황에서 최고의 잠재적인 점수를 따라 행동을 선택하는 방식이었습니다. 정책 자체를 네트워크로 직접 표현하지는 않기 때문에 로봇을 움직이는 연속적인 제어를 풀어야하는 문제는 접근이 불가능합니다. 이산적이지 않은 환경에 대한 점수를 다 계산할 수는 없기 때문입니다.

Policy Gradient

연속적인 공간에서 적용할 수 없다는 한계를 지닌 Q-learning의 본질적인 문제를 해결하기 위해서 정책 자체를 직접 학습하는 policy gradient 방법이 등장합니다. 정책 pi자체를 신경망을 통해 파라미터화 해서 정책 자체를 업데이트 하며 최적의 정책을 찾는 방법입니다. 특정 상태에 대해 취할 수 있는 행동에 대한 확률 분포를 신경망으로 표현해 에피소드의 누적 보상이 증가하는 방향으로 신경망을 조절하는 방법으로, 아래와 같은 식으로 나타내는 J를 최대화하는 theta를 찾는다고 생각하시면 됩니다.

에피소드 상에서 Q(s,a)가 큰 행동을 할 확률을 높히고, 낮은 행동을 할 확률을 낮추는 과정을 수학적으로 표현한 식입니다. 이러한 방법은 정책 자체를 직접 다룰 수 있기 때문에 연속적인 환경에서의 문제도 자연스럽게 다룰 수 있게 됩니다. 로봇으로 예시를 들면 로봇의 관절들의 속도를 어떻게 출력해야 할지를 확률분포로 나타낼 수 있습니다. 또한 초기에는 무작위에 가까운 행동을 하지만 점점 확률 분포가 수렴하면서 자연스럽게 초기에 탐험을 많이하고, 수렴할수록 탐험이 적어지는 효과도 얻을 수 있습니다. 또한 정책 자체를 학습하기 때문에 정책의 변화를 추적하기도 용이합니다.

조금 더 자세히 알아보자면 학습은 에피소드를 단위로 진행됩니다. 에피소드가 시작되면 에이전트는 첫 번째 상태를 관측하고, 정책 네트워크(Actor)를 통해 행동을 선택합니다. 정책은 현재 상태를 입력받아 가능한 행동에 대한 확률 분포를 출력하고, 그 중 하나가 실제 행동으로 샘플링되어 환경에 전달됩니다.

환경은 이 행동을 받아 다음 상태, 보상, 그리고 종료 여부를 반환합니다. 이때 상태, 행동, 보상으로 이루어진 경험이 메모리에 저장되며, 한 에피소드 동안의 모든 경험이 축적됩니다. 에피소드가 종료되면 각 시점마다의 Rewards-to-Go가 계산됩니다. Rewards-to-Go는 특정 시점 이후부터 에피소드가 끝날 때까지 받을 수 있는 모든 보상의 합으로, 현재 보상과 미래 보상을 할인율을 곱해 더한 값으로 표현됩니다. 이는 해당 시점의 행동이 장기적으로 얼마나 좋은 결과를 가져왔는지를 나타내는 지표입니다. 실제 reward를 알 수는 없기 때문에 에피소드를 샘플링해서 G(s_t)로 근사해서 사용하는 구조입니다.

이 정보를 바탕으로 정책 그래디언트가 계산됩니다. 구체적으로, 선택된 행동의 로그 확률에 Rewards-to-Go를 곱한 값이 기울기 신호가 되어 정책 파라미터를 조정합니다. 좋은 결과로 이어진 행동은 확률을 더 높이고, 나쁜 결과로 이어진 행동은 확률을 줄이는 방향으로 학습이 이루어집니다. 마지막으로, 누적된 그래디언트에 학습률을 곱해 정책 파라미터를 업데이트하면서 학습이 마무리됩니다.

이 과정을 반복하면 정책은 점차 좋은 행동의 확률을 높이고 나쁜 행동의 확률을 줄여가며 개선됩니다. 직관적으로는 에피소드 전체를 복기하면서, “이 행동이 최종 성적에 얼마나 기여했는가”를 평가하고, 그에 따라 행동 습관을 고쳐나가는 과정이라 할 수 있습니다. 결국 Policy Gradient는 샘플링한 에피소드를 이용해 J(theta)의 기울기를 근사적으로 계산하고, 정책을 그 방향으로 개선하면서 시행착오 속에서 좋은 습관을 강화하는 방식으로 정책을 학습해 나갑니다.

하지만 policy gradient는 분산이 높다는 단점이 있습니다. 그래디언트를 추정해나갈때의 샘플 효율이 낮고 분산이 크기 때문에 수렴시키기 위해 정말 많은 에피소드가 필요합니다. 에피소드에서 얻은 샘플들을 진행하는 동안 모아서 에피소드가 끝나고 파라미터를 한 번에 업데이트 하기 때문에, 어떤 행동이 실제로 기여를 했는지에 대한 분산이 커서 수렴 자체가 불안정하고 느립니다. 그래도 연속적인 문제를 해결할 수 있는 발판이 마련됐기 때문에 강화학습의 발전 방향이 이러한 분산이 큰 문제를 완화하는 방향으로 진행됐다고 합니다.

Baseline and Advantage

Policy gradient의 분산이 크다는 문제를 해결하기 위해 variance reduction이라는 연구 주제가 떠올랐고, 이를 해결하기 위해 baseline이라는 개념이 등장합니다. 수학적으로 위에서 보여드린 식의 우변에 기댓값은 Q^pi(s,a)에 상수값을 더하거나 빼도 같은 값이 나오게 됩니다. 따라서 위 식과 같은 b(s)라는 baseline함수를 도입합니다. 이를 통해서 Q(s,a)의 값을 그대로 받는것이 아니라 상대적으로 얼마나 이득인지로 받게 됩니다. 이 때 기준이 되는 b(s)를 V^pi(s)로 설정해서 해당 행동이 평균보다 얼마나 나은지, 얼마나 못한지를 얻게 됩니다. V^pi – b(s) = A^pi (Advantage)로 정의하고 정책 그래디언트 공식을 아래와 같이 표현합니다.

Advantage 개념을 사용하면서 분산을 크게 줄이고 평균대비 많이 높은 점수를 받은 경우가 정책 업데이트에 더 큰 영향을 주게 됩니다. 예를들어 똑같이 100이라는 score가 있을 때 100, 90, 50, 80을 받은 경우와 100, 50, 40, 50을 받은 경우 후자에 더 높은 점수를 받는 구조입니다.

여기서의 문제가 그렇다면 V^pi는 어떻게 알 수 있느냐? 입니다. 이를 위해 V^pi를 추정하는 모델을 함께 학습시키고, 이렇게 정책을 학습시키면서 value를 추정하는 다른 모델을 학습시키자는 흐름이 actor-critic 방법들입니다.

Actor-Critic

Actor-Critic은 이름 그대로 액션을 취하는 actor와 비평가 critic을 두고 각각 정책과 가치함수를 학습시키는 방법입니다. Actor는 정책을 생성해 현재 상태에서 어떤 행동을 취할지를 결정하고, Critic은 가치함수를 추정해 Actor가 생성한 행동에 대한 피드백을 제공합니다. 위에서 나온 advantage를 추정한다고 생각하시면 될 것 같습니다. Critic이 V^pi를 근사하도록 학습하면서 Actor가 critic에서 얻은 advantage를 통해 정책을 업데이트 하는 흐름으로 baseline을 자동으로 학습하면서 정책까지 최적화를 진행할 수 있습니다. 따라서 policy gradient의 문제를 효율적으로 해결해 나갈 수 있기 때문에 현대의 Deep RL은 대부분 Actor-Critic 구조를 갖습니다.

학습 과정은 다음과 같이 흘러갑니다. 먼저 에이전트가 환경으로부터 상태를 관측하면 Actor는 정책에 따라 행동을 선택합니다. 이 행동이 환경에 적용되면 보상, 다음 상태, 종료 여부가 반환되고 Critic은 현재 상태와 다음 상태의 가치를 추정합니다. 이후 목표값은 실제 보상과 다음 상태의 가치로 계산되며, 현재 Critic의 예측과의 차이를 TD 오차라고 부릅니다. 이 TD 오차가 actor critic 학습의 핵심 신호가 됩니다. Actor는 TD 오차를 활용하여 정책 자체를 업데이트합니다. 만약 TD 오차가 양수라면, 평균보다 더 좋은 결과가 나왔다는 것이기 때문에 해당 행동의 확률을 높이고, 음수라면 확률을 줄이는 식으로 학습합니다. Critic은 TD 오차의 제곱을 최소화하도록 학습하여 예측값을 점점 더 V^pi에 가깝게 학습합니다.

Actor-Critic 알고리즘은 강화학습의 발전사에서 중요한 전환점으로 자리 잡았습니다. 단순히 정책을 직접 학습하는 Policy Gradient는 분산이 크고 샘플 효율이 낮다는 단점이 있었고, Q-learning과 같은 값 기반 방법은 연속적인 행동을 다루는 데 한계가 있었습니다. Actor-Critic은 이 두 접근을 결합하여 Critic이 baseline 역할을 하도록 함으로써 정책 그래디언트의 분산을 줄이고, 동시에 연속 제어 문제에도 자연스럽게 적용할 수 있게 만들었습니다. Critic이 제공하는 가치 추정은 일종의 “평균적인 기준선”이 되어, Actor가 단순히 원점수(Q값)에 의존하지 않고, 평균 대비 얼마나 더 나은지를 학습할 수 있게 합니다. 이로 인해 학습 과정이 훨씬 안정적이고 효율적으로 바뀌게 됩니다.

다만 Actor-Critic 구조도 두개의 네트워크를 동시에 학습시키기 때문에 많은 하이퍼 파라미터 튜닝이 필요하고 Critic이 정확한 가치를 추정하지 못 하는 순간 actor가 잘못된 정책을 업데이트하게 되는 문제가 있습니다. Critic이 특정 상태를 과대평가하거나 과소평가하면 엉뚱한 행동이 강화되기 시작하면서 policy collapse 현상이 일어날 수도 있고, 정책이 수렴하기 까지 굉장히 많은 데이터가 필요하기 때문에 안정성, 효율성 문제가 여전히 남아있었습니다. 이를 위해 정책이 한 번에 크게 변화하지 않도록 보장하는 기법이 연구되기 시작하고 TRPO라는 알고리즘이 등장했습니다. 다만 TRPO는 굉장히 수학적으로 복잡하고 실제로 구현도 매우 복잡해 구현체도 거의 없다고 합니다.. 그래도 현재 대부분 사용되는 PPO의 Trust Region이라는 개념을 처음 도입하고 PPO도 TRPO를 clipping 해서 단순화한 느낌이라고 하니 굉장히 중요한 것 같습니다. Policy collapse 현상을 막기위해 현재의 policy와 업데이트 후의 policy의 KL divergence를 임계값 아래로 내려서 급격한 변화를 막으며 한 방향으로 효율적이고 안정적인 학습이 가능한 알고리즘인데,, 아직 제대로 숙지가 안돼서 TRPO와 PPO는 다음주 리뷰로 작성하도록 하겠습니다 하하..

강화학습을 공부하고 나서 손놓고 있다가 다시 공부하려니 복습을 쭉 하고 이후 Actor Critic, TRPO, PPO를 공부하고 리뷰를 작성해야겠다 생각했는데 생각보다 잊어버린 개념이 많고 policy gradient 방법론부터 공부하려니 시간이 많이 걸려서 2부로 나눠야 할 것 같습니다..