딥러닝 기초

안녕하세요. 제가 처음으로 쓰는 X-Review의 주제는 딥러닝의 기초입니다. 기초 교육을 받으며 공부한 내용을 정리하여 작성하겠습니다.

신경망이란

인간은 뉴런이라고 하는 인간의 뇌세포로 복잡하게 연결된 네트워크를 형성하고, 뉴런들이 보내는 전기 신호로 정보들을 처리합니다. 신경망(Neural Network)은 인간의 두뇌가 작동하는 방식에서 영감을 받아 노드라고 부르는 인공 뉴런들을 활용하여 여러 층(layer)을 만들어 정보를 처리하는 알고리즘입니다.

활성화 함수(Activation Fuction)

노드가 다른 노드로 연결될 때, 가중치(weight)가 곱해지고 편향(bias)이 더해지는 선형적인 affine연산이 진행됩니다. 이때 활성화 함수를 거치지 않는다면 은닉층을 많이 쌓아도 다른 weight값을 가지는 하나의 층을 거치는 것과 같은 역할을 하기 때문에 선형문제로 해결할 수 없는 문제들을 해결 할 수 없습니다. 따라서 비선형 활성화함수를 거쳐 직선으로 해결할 수 없는 문제를 해결할 수 있도록 비선형성을 더해줍니다.

위와 같은 함수들이 비선형성을 더해주는 활성화 함수들의 예시입니다. Sigmoid함수는 0 ~ 1, tanh함수는 -1 ~ 1의 범위로 출력해주는 함수로 비선형성을 더해줍니다. 하지만, 이 두 함수의 기울기 값은 0과 1사이의 값을 갖고, 0으로 부터 멀어질수록 값이 0에 가까워지기 때문에 계층을 많이 거칠수록 여러번 연산되며 기울기가 0으로 수렴해 없어지게 됩니다. 이는 신경망의 학습을 위해 역전파를 거칠때 기울기 0으로 소실되어 가중치가 갱신되지 않는 문제가 생깁니다.

Sigmoid와 tanh함수의 기울기가 소실되는 문제점을 해결하기 위해서 고안된 활성화 함수가 바로 ReLU함수 입니다. ReLU함수는 비교적 간단한 구조로 0보다 작은 범위에서는 0, 0보다 큰 범위에서는 x로 입력값을 그대로 출력합니다. ReLU함수의 기울기 값은 음수일때는 0, 양수일때는 1로 기울기가 소실되는 문제를 어느정도 해결하여 현재 많이 사용되는 활성화 함수 중에 하나 입니다. 하지만 입력값이 음수일때에는 기울기가 0으로 전파가 되지 않는 문제가 있는데 이를 보완하고자 Leaky ReLU와 ELU가 제안되었습니다.

Leaky ReLU와 ELU모두 음수에서의 기울기가 0이 아닌 작은 수를 갖게하여 기울기가 0으로 없어지는 것을 방지하였고 양수, 음수 모든 범위에서 기울기가 없어지는 문제를 해결했습니다.

최적화 기초

경사하강법(Gradient Descent)

경사하강법은 경사를 따라 내려가면서 weight를 업데이트해 Minimum값을 찾는 방법입니다. 경사는 함수의 최대 증가방향 기울기 벡터를 의미합니다. weight의 변화에 따른 cost의 증감을 이용하여 cost가 작아지는 방향으로 학습을 진행합니다. 수식적으론 weight값에 기울기에 learning rate를 곱한 값을 빼는 것으로 weight값을 갱신합니다. 이는 기울기가 감소하는 방향으로 weight를 갱신시키는 것이 cost값을 낮출 수 있기 때문입니다.

하지만, 이러한 경사하강법은 국소적인 최소점(local minimum)에 빠진다는 단점과 learning rate값에 민감하다는 단점이 있습니다.

learning rate에 민감하다는 단점을 해결하기 위하여 고안된 것이 Adagrad입니다. 고정된 learning rate를 사용하는 것이 아니라 상황에 맞게 learning rate값을 다르게 학습하는 방법입니다. 이전 step에서의 기울기들의 제곱을 모두 합하여 분모에 둠으로써 learning rate값이 처음에는 크게 나중에는 작게하여 학습을 더 효율적으로 할 수 있게 합니다.

하지만, Adagrad의 경우 학습이 진행됨에 따라 Gt값이 너무 커져 나중에는 학습이 거의 되지 않는다는 단점이 있습니다. 이를 해결하기 위해서 Adagrad에 지수가중평균의 개념을 도입한 방법이 RMSprop입니다.

지수 가중 평균(Exponential Weighted Averages)

RMSprop으로 바로 넘어가기 전에 먼저 지수 가중 평균이란 데이터의 이동 평균을 구할때 오래된 데이터가 미치는 영향을 지수적으로 감소하도록 만들어 주는 방법입니다.

베타값은 과거의 경향성, (1-베타)는 새로운 경향성으로 베타값이 0 ~ 1 사이의 값을 가지므로 제곱할수록 작아지기에 오래된 데이터일수록 현재의 경향을 나타내는 데 적은 영향을 미치게 됩니다. 이는 제곱을 할수록 0에 수렴하기 떄문에 근사적으로 1/(1-베타)일 간의 데이터만을 사용하여 평균을 내는 것과 같은 역할을 합니다.

예를 들어 베타값이 0.9라고 한다면 과거의 경향성에 0.9, 새로운 경향성에 0.1을 곱하여 더해주는 것으로 10일간의 데이터를 활용하여 평균을 취해주는 것과 같은 역할을 한다고 생각할 수 있습니다.

지수 가중 평균은 초기값이 편향되는 문제가 있습니다. 초기에는 과거의 경향성이 없기 때문에 초기값이 실제값과 다른 분포를 갖게 됩니다. 베타가 0.9이고 초기값이 10이라고할때 초기값이 10이어야 하지만 지수 가중 평균에 의하면 0.1에 10이 곱해진 1이 초기값이 되어버리기 때문입니다. 이 문제를 보완하는 것이 편향보정(bias correlation)입니다.

편향보정(bias correlation)은 초기 값에 따른 편향으로 인한 실제 데이터 값과의 차이를 실제 데이터와 유사하도록 보정해주는 것으로 Vt값에 (1-b^t)값으로 나누어주는 것으로 해결합니다.

t가 커질수록 분모가 0에 수렴하기 때문에 초기값만 보정되고 이후엔 Vt와 거의 비슷한 값을 가지게 됩니다.

RMSprop은 Adagrad에서 Gt부분에 지수 가중 평균을 활용하여 오래된 기울기 값을 거의 반영하지 않고 최근 기울기 값을 많이 활용하여 Gt가 계속해서 커지는 것을 방지하고 일정수준 이상으로 누적되며 점점 커지는 것을 방지하여 Adagrad의 단점을 보완했습니다.

Adam(Adaptive Moment Estimation)은 Momentum과 Adaptive Gradient를 모두 활용하는 방법이다. 경사하강법이 가지고 있는 두가지 문제점인 local minimum에 빠질 수 있다는 문제와 learning rate에 민감하다는 문제를 모두 해결하려 노력한 방법으로 Momentum과 Adaptive Gradient와 지수 가중 평균과 편향 보정을 활용하여 현재에 가장 많이 사용되는 최적화 기법입니다.

학습 테크닉

배치 정규화(Batch Normalization)

Internal Covariate Shift

학습을 할때 학습과정에서 미니 배치마다 입력 데이터의 분포가 달라지게 되는 것을 Internal Covariate Shift라고 합니다.

배치 정규화는 위의 Internal Covariate Shift문제를 해결하기 위한 방안으로 각 배치별로 평균과 분산을 이용하여 정규화하는 것입니다. 이때, 감마와 베타를 learnable parameter로 두어 scale과 shift를 학습합니다.

Inference시에는 학습때 학습된 감마와 베타를 통한 평균과 분산을 이용하여 정규화를 수행합니다.

배치 정규화는 감마와 베타를 활용하기에 비선형성질을 유지하면서 학습할 수 있고, Internal Covariate Shift를 해결했다. 정규화를 해주기에 regularization의 효과도 있기 때문에 drop out과 같은 기법이 필요없다는 특징이 있습니다.