[NeurIPS 2020] Denoising Diffusion Probabilistic Models

이번에 들고온 논문은 GAN을 누르고 생성 모델의 대세로 등극한 Diffusion model의 근본 논문 ‘Denoising Diffusion Probabilistic Models (DDPM)’을 다루고자 합니다. 해당 논문은 요즘 핫한 DALL-E, Stable Diffusion의 기초가 되는 논문으로 어려운 부분이 있지만… 동작 방식까지 이해한다면 생각보다 직관적인 방법론입니다. 논문 자체에는 수식이 워낙 많아서 줄일 수 있는 수식들은 줄이고 쉽게 표현하고자 합니다.

Intro

Diffusion model은 비평형 열역학(Non-equilibrium Thermodynamics) 중 Langevin dynamics에서 영감을 얻어 설계되었다고 합니다. 생소한 용어가 나와 진입 장벽을 느끼신 분들도 있을 거라고 생각합니다. 저 내용을 다 알아야하는 건 절대 아니고 컨셉만 이해하시면 됩니다. 열역학은 이상적인 환경을 가진 평형 상태에서의 열역학과 자연 상태의 변동적인 환경~비평형 상태에서의 열역학을 비평형 열역학이라고 칭합니다. 그 중 Langevin dynamics은 아래의 그림처럼 분자의 랜덤한 움직임(; 브라운 운동, e.g. 물감이 퍼지는 모양)을 방적식으로 표현한 방법이라고 생각하시면 됩니다.

Langevin dynamics에서는 시간대별로 변화량을 몬테카를로를 이용해 변위를 이동시키며, 이동한 변위를 기준으로 랜덤한 변화량을 토대로 이동을 수행 (~이를 Markov Chain) 하며 이를 통해 랜덤한 움직임을 모사하는 방식을 이용합니다.

영감을 얻은 이유에 대한 구체적인 설명이 없기에 저의 주관적인 생각으로 해석하자면 위 그림처럼 복잡한 경로를 그리며 변화된 값들을 예측(생성)해야할 데이터 혹은 feature space, 원점을 초기 데이터 혹은 normal space라고 비유를 하고 두 값들은 설명 가능한 확산 방정식으로 표현되었기 때문에 space 간의 mapping을 유지한 채로 forward/reverse가 가능해집니다. 저자는 해당 특성을 생성 모델에 적용할 경우, generative model의 특성을 가져올 수 있을거라고 판단한 것으로 보입니다.
사실 forward/reverse를 기반으로 한 생성 모델은 flow라는 방법론이 존재하기는 합니다. 허나, flow 기반의 방법론들은 역함수가 반드시 필요합니다. 즉, 모델 구조 자체가 가역이 가능해지도록 설계를 반드시 해야하기 때문에 구현 자체가 매우 어렵다는 문제가 있었습니다.
+ 이전에 설명드린 생성 모델 중 하나인 Flow 기반의 방법론에서 SRFlow에서 GAN 대비 forward/reverse가 가능한 Flow에 대해 장점을 작성해두었습니다.

flow의 generative model의 장점을 가져가며, 설계가 어렵다는 단점을 극복한 형태를 갖춘 것이 diffusion model이라고 봐도 무방합니다.

Method

먼저 전체적인 흐름을 설명하자면 DDPM은 입력 영상 x_0 에 시간에 따른 상수 파라미터를 갖는 작은 가우시안 노이즈를 시간에 따라 반복적으로 더해가면 t초 후의 영상 x_t 은 normal distribution을 따르는 noise 형태로 남도록 수행합니다. (forward process)
+ (1) normal distribution을 따르도록 제약을 두며 noise를 가함. (2) normal distribution은 사람이 다루기 쉬운 분산 형태로 해당 분산으로 근사시키는 것

Diffusion Model은 normal distribution을 띄는 noise x_t 에서 원본 영상 x_0 로 어떻게 복원할 것인가에 대한 문제를 풀어야만 합니다. forward process에서 시간에 따른 가우시안 노이즈 정보를 알고 있기 때문에 우리는 해당 노이즈를 예측하여 원본 영상으로 복원하는 방법을 사용합니다. (reverse process)

전반적인 흐름을 한번더 정리하자면, 다음과 같습니다.

1. (Forward process) 원본 영상을 t 번을 반복하여 가우시안 노이즈 생성. 노이즈 생성시, 수학 모델을 이용하여 생성
2. (Reverse process) 노이즈 영상 x_t 를 노이즈를 예측(네트워크)하여 t-1 복원 영상 x_{t-1} 을 생성하며, t-1 = 0이 되도록 반복 수행.

DDPM의 학습과 샘플링 방법을 알고리즘으로 표현하면 다음과 같습니다.

먼저 Alg 1. training을 살펴보면 noise를 더해나가면서 network(  \epsilon_{\theta} ,  p_{\theta}  )가 t step에서 noise \epsilon 가 얼마만큼 더해졌는지를 학습합니다.

학습에 사용되는 손실 함수는 다음과 같습니다.

여기서 forward process 중 t 시간대의 정규분포를 따르는 가우시안 노이즈 \epsilon 과 노이즈 예측 네트워크 \epsilon_{\theta} 를 통해 예측된 t 시간대의 노이즈 정확도를 맞추도록 학습을 진행합니다. \epsilon_{\theta} 안의 인자 값은 x_0 로부터 t 번 노이즈가 가해진 영상이라고 보시면 됩니다.

다음으로 Alg 2. sampling (inference)를 살펴보면, 가우시안 노이즈 영상을 T 번 노이즈를 가한 영상 x_T라는 가정하에 시작합지다. x_T는 Alg 2의 4를 통해 t-1로 복원하며 T번 반복하여 x_0을 생성하도록 수행됩니다.

Experiment

• 노이즈를 예측하기 위한 모델은 UNet을 사용했습니다. 반복 스텝 T=1000을 사용했습니다.
• 정성적인 결과, Inception Score(IS)에서는 StyleGAN2을 능가하진 못하지만 FID scores에서는 uncoditional 에서 능가하는 결과를 보여준다.

• 정성적인 실험 결과, 디테일한 표현이 살아있는 것이 특징

• fig 6은 스텝에 따른 영상 생성 예시에 해당한다. fig 7은 step T의 길이에 따른 예측 결과에 해담함