안녕하세요 오늘은 생성형 모델로 유명한 GAN입니다. GAN이 어떻게 이미지를 생성해낼 수 있는지 왜 기존의 생성형 모델들이 아닌 GAN에 사람들이 관심을 갖게 되었는지 논문 리뷰를 통해 알아보겠습니다.

시작에 앞서 GAN의 이름에 한번 언급을 하고 넘어가자면, Generative ‘Adversarial’ Nets에서 Adversarial의 뜻은 ‘적대적인’이라는 뜻입니다. 한글로 직역하면 생성형 적대적인 네트워크인데, 이름에서의 ‘적대적인’이 GAN 모델에서 가장 중요한 개념입니다. 왜 Adversarial이 중요한지는 뒤에서 설명하도록 하겠습니다.

Introduction

현재까지의 딥러닝은 backpropagation, dropout 등등의 알고리즘을 베이스로한 dicrimitive models에 큰 성장을 만들어냈습니다(2014년 논문으로 이때에는 batch normalization, residual learning과 같은 개념이 등장하기 전이네요). 저자는 기존의 Generative모델은 최대 가능성 추정에서 발생하는 많은 확률 계산을 근사하기 어렵고 생성 컨텍스트에서 부분 선형 단위의 이점을 활용하기 어렵기 때문에 효과가 미비했다고 언급하며 Adversarial nets 프레임워크를 소개합니다. Adversarial net에 포함된 두가지 network를 간단히 소개하는데

첫번째는 Generative Model로 Input으로 주어진 데이터의 distribution을 파악하는 network로 Generative Model이 데이터의 distribution을 학습하여 학습한 distribution을 통해 가짜 데이터(논문에서 fake로 표현, 실제 이미지가 아닌 생성된 이미지)를 생성합니다.

두번째는 Discriminative Model로 이미지가 생성된 이미지인지 실제 이미지인지를 구별하는 모델입니다. 실제 데이터라면 1, 가짜 데이터라면 0으로 반환합니다. 따라서, 가짜 데이터 진짜 데이터를 구별함으로써 Generative Model이 가짜 이미지를 실제 이미지와 구별할 수 없게끔 하는 방향으로 유도합니다.

(위의 이미지는 논문에서 포함된 이미지가 아닌 이해를 돕기위한 이미지로 블로그에서 가져왔습니다.)

논문에서는 경찰과 위조지폐(가짜지폐)를 예시로 들며 모델을 설명합니다. Generative Model(위조범)이 위조 지폐를 잘 만들수록 Discriminative Model(경찰)이 실제 지폐와 위조 지폐를 구별하기 힘들어집니다. 경찰은 위조지폐를 더 잘 구별할 수 있도록 학습하고 위조범은 위조 지폐를 실제와 비슷하게 만드는 방법을 학습함으로 양쪽 모델의 성능을 올려 결과적으로 Discriminative Model이 출력한 확률값이 0.5에 가까워질수록 성능이 좋은 Generative Model를 만들 수 있게되는 것입니다. 물론 실제 생성형 모델로 GAN을 활용할때에는 Generative Model만을 이용하여 이미지를 생성합니다.

따라서 Adversarial의 적대적이라는 것은 Generative Model과 Discriminative Model이 서로 경쟁하는 것을 표현한 것이고, 경쟁을 통하여 성능이 좋은 Generative Model을 얻을 수 있습니다. 두 모델은 모두 Multilayer perceptron으로 구현했습니다.

Adversarial Nets

(위의 이미지는 GAN모델의 구조로 논문이 아닌 블로그에서 가져왔습니다.)

Adversarial Network의 구조는 Generator, Discriminator로 구성되어있습니다.

위 수식은 논문에서 제시한 학습을 위한 loss function입니다. Generator의 데이터 x에 대한 distribution을 p_g , 인풋 노이즈를 p_z(z), 그리고 G가 파라미터θ_g로 구성된 Generative model이라고 할때 데이터를 매핑시키는 것을 G(z; θ_g)라고 정의했습니다.

확률값을 0~1로 출력하는 Discriminative model은 D(x; θd)이고, D(x)는 인풋 x가 Generator에서 생성된 이미지가 아닌 p_g로부터 온 확률을 의미합니다. 훈련 샘플과 G의 샘플 모두에 정확한 레이블을 할당할 확률을 최대화하는 것을 목표로 D를 훈련시킵니다. log(1 – D(G(z))를 최소화하기 위해 D와 G를 동시에 훈련시킵니다. 즉, D와 G는 값 함수 V(G, D)로 위의 수식처럼 min max로 나타낼 수 있습니다.

수식만으로는 이해가 어렵기 때문에 추가로 설명드리면, Discriminator는 real data는 1, fake data는 0을 구별하는 것을 목표로 이상적인 목표는 D(x)=1, D(G(x))=0을 출력하는 것입니다. 따라서 D(x), 1-D(G(z))의 값을 1로 만드는 것을 목표로 합니다. 따라서 log를 씌우는 것으로 0에 가까이 가도록 loss를 설정합니다. Generator는 Discriminator가 잘 구별하지 못하도록 하는 것을 목표로 Discriminator와 반대를 목표로 하죠. 이부분이 Adversarial하다고 할 수 있습니다. 따라서 1-D(G(z))의 값이 0에 가깝도록 합니다.

결과적으로 위의 loss function은 Generator(G)가 최소화(min)되도록, Discriminator(D)가 최대화(max)되도록 학습합니다.

Theoretical Result

Figure 1. 에서 검정색이 real data, 파란색이 fake data의 distribution이고 노이즈 z가 fake data를 real data의 distribution에 가까이가고 discriminator(파란색)이 0.5의 값을 항상 가질 수 있도록 학습합니다. 학습이 가장 이상적일때 0.5의 값은 real data, fake data의 확률이 0.5로 discriminator가 Generator로부터 생성된 이미지와 실제 이미지와 구별할 수 없다는 것을 의미하기 때문입니다.

Algorithm 1. 은 min max loss가 둘중 한 곳이 이득을 보게된다면 다른 곳은 손해를 보는 구조이기 때문에 Generator와 Discriminator를 동시에 학습하지 않습니다. Discriminator를 stochastic gradient를 통해 학습한 후에 학습한 Discriminator를 통하여 Generator를 stochastic gradient로 학습합니다. D는 ascending(최대화), G는 descending(최소화)시키면서 학습합니다.

추가로 논문에서는 GAN의 이론적 배경으로 두가지 명제를 제시합니다. GAN이 global optimum에 수렴할 수 있다는 것에 대한 내용과 그 global optimum이 unique하다는 것에 대한 내용입니다.

명제1: G가 고정되어 있을때, 이상적인 D는 위의 수식과 같습니다.

명제2: G와 D가 충분한 공간을 가지고 있다면, 알고리즘 1의 각 단계에서 D가 주어진 G에서 최적에 도달하도록 하고, P_g는 criterion을 개선하기 위해 업데이트됩니다.

Experiments

생성형 지표의 평가모델은 Parzan window-based log-likelihood estimates로 G로 생성한 데이터를 Gaussian Parzen Window를 맞춘 후 데이터 분포의 로그 우도를 측정한다고 합니다. 이때 당시에는 생성형 모델의 평가지표가 모델의 성능이 얼마나 좋은지를 잘 나타낸다고는 볼 수 없다고 할 수 있습니다. 그래서 저자는 실제 결과를 정성적으로도 첨부했습니다.

생성된 이미지는 선별해서 고른 것이 아닌 모두 랜덤하게 가져왔다고 밝혔고, 여기서 노란색은이 실제 데이터로 단순히 실제 데이터와 똑같이 만드는 것이 아닌 있을법한 이미지를 잘 만든다고 설명합니다.

추가로 선형적으로 interpolation해서 왼쪽의 그림을 예시고 왼쪽으로 갈수록 1의 분포에 가깝게, 오른쪽으로 갈수록 5에 가깝게 만드는 것으로 GAN모델이 다른 모델과 다르게 실제로 있을 법한 이미지를 잘 생성한다고 할 수 있습니다.

Conclusion

GAN모델의 논문을 읽으며 생성형 모델에 적대적인 관계의 두 모델을 활용하여 모델을 설계한 부분이 굉장이 인상적이었습니다. 이론적 배경부분에서 Proposition은 아직 이해가 부족하여 제대로 설명하지 못한 것 같아 아쉽네요. 공부해서 추후에 더 자세한 내용 추가하도록 하겠습니다.

감사합니다.