[ICAI 2022] Contrastive Self-Supervised Learning: A Survey on Different Architectures

안녕하세요, 허재연입니다. self-supervised learning 중 contrastive learning을 기반으로 하는 방법이 널리 사용되고 있는데, 어떤 방법론이 많이 사용되는 방법인지, 각 장단점은 무엇인지 판단하기 쉽지 않아 관련 자료를 찾아보다 본 논문을 읽어보게 되었습니다. Constravie Learning 기반 Self-Supervised Learning 방법들 중 굵직한 흐름을 파악할 수 있었기에 이 논문을 요약해 보고자 합니다.

Abstract

Self-supervised learning(SSL)은 이미지에서 의미론적 표현(semantic representations) 학습 절차를 발전시켰습니다. SSL는 학습 단계에서 class label에 덜 의존함으로써, 데이터 annotating/labeling 필요성을 줄였습니다. Constrative Learning(CL)을 사용하는 SSL방법은 학습 데이터의 label에 대한 의존도가 갖기 때문에 널리 사용되고 있습니다. 다양한 CL 방법은 supervised learning의 benchmark로 사용되는 다양한 데이터셋에 대해 SOTA를 달성하고 있습니다. 본 논문에서는 SimCLR, MoCo, BYOL, SwAV, SimSiam을 포함해서 CL기반 방법론들에 대해 살펴봅니다. 특히, ImageNet 및 VOC07 벤치마크에서 각 파이프라인의 정확도 측면을 비교합니다. BYOL은 이미지 분류 작업에서 74.30%의 정확도를 달성하는 기본적이고 강력한 모델 구조를 제안합니다. SwAV는 클러스터링 접근법으로 ImageNet 분류에서 75.30% top-1 accuracy를 달성하며 다른 방법론들을 앞질렀습니다. 마지막으로 오늘날 막대한 양의 데이터 사용을 극대화할수 있는 CL 접근법의 중요성을 살펴보고 현재 CL 방법론의 한계를 짚어보고 효율적인 CL 파이프라인 필요성을 강조했습니다.

Introduction

지난 10년동안 AI연구에서는 대량의 labeled data로 모델을 훈련해서 AI기반 시스템의 성능을 높이기 위해 노력했습니다. 이러한 방식은 주석이 달린 데이터에 크게 의존하게 됩니다. supervised learning은 대규모 데이터셋과 좋은 컴퓨팅 리소스로 좋은 결과를 보여주었습니다. 바꿔 말하면, 이 방법은 주석을 달 수 없거나 few-shot 문제를 처리하는 상황에서 잘 동작하지 못합니다.

최근 연구 커뮤니티의 관심사는 Self-Supervised learning으로 알려진 생성(generative) 및 대조(contrastive) 기법의 통합으로 확장되었습니다. 일반적으로, SSL 기반 접근법은 cost가 높은 주석 없이 데이터 자체에서 feature representation을 학습함으로 기존 접근법의 어려움을 완화했습니다. Self-Supervised Learning에서 generative pretext task는 pseudo-label을 가진 input sample에서 feature를 학습합니다(unlabeled data에서 모델이 label을 생성해 downstream task에 유용한 representation을 학습합니다). pretext task 중 표현을 잘 학습하는 방법으로는 Colorizing, super-resolution, image in-painting, 직소 퍼즐 풀기, audio-visual correlation 등이 있습니다.

반대로, Contrastive Learning(CL)은 하나의 객체를 다른 객체와 구변하는 데 도움이 되는 representation을 형성하는 discriminative scheme에 기반합니다. CL의 목적은 의미론적으로 관계가 있는 feature는 끌어당기고, 관계가 없는 feature끼리는 서로 밀어내는 방식으로 representation을 학습하는 것입니다.

Self-Supervised Learning 기반 방법들은 특정한 downstream task를 효율적으로 수행하는데 pretext phase에서 학습된 지식을 활용합니다. 여기서 downstream task로는 classification, detection, segmentation 등이 있을 수 있습니다. Self-Supervised Learning과는 다르게, Semi Supervised Learning은 학습을 위해 적은 양의 labeled data을 필요로 합니다. 반면 Self-Supervised Learning은 데이터의 구조 및 표현 자체를 학습합니다.

Unsupervised learning에서 데이터 없이 사전학습을 진행 시켜서 신경망이 더 잘 동작하고 representation space를 더 의미 있게 만들 수 있습니다(self-supervised learning을 진행할 때 unlabeled data를 이용하므로 unsupervised learning의 일종으로 보는 시각도 있습니다). 이미지를 cropping, 반전 시키거나 생상 및 밝기에 변화를 주는 random augmentation으로 동일한 이미지에서 다른 이미지를 얻을 수 있습니다. CL을 적용할 때, 데이터셋에서 동일 이미지에 속하는(하나의 이미지에서 다른 augmentation을 적용한) 이미지들은 ‘positive’로, 다른 이미지에 속하는 이미지들은 ‘negative’로 설정해서 positive는 서로 끌어당기고 negative는 서로 밀어내게 됩니다. 결국 동일 이미지의 random transformation을 통해 신경망을 일반성을 가지게, 그리고 robust하게 만들어 낼 수 있습니다. 이런 transformation을 기반으로 한 embedding space는 adaptable representation을 만들어내어 상당히 개선될 수 있습니다.

unsupervised pretraining을 위한 contrative 접근법에서 연구자들이 직면한 문제는 동일 클래스에 속해야 할 샘플들을 멀리 떨어지게 만들어서 분류기가 나중에 결정 경계를 잘 만들기 어렵게 한다는 것입니다(contrastive pretraining 과정에서 label 없이 학습하며 동일 이미지를 제외하고는 다 밀어버리니 동일 클래스의 이미지끼리도 negative pair로 간주되죠). Supervised contrastive learning은 이런 문제를 pretraining objetive에 label을 도입해서 해결했습니다. 결국 목적은 방향이나 씬, 특징이 달라도 동일 클래스에 속한 샘플들을 올바르게 분류하는 것이죠. constrative pretraining 목적함수는 cross entropy loss보다 데이터셋의 정보를 더 잘 활용합니다.

최근의 주목할만한 연구로는 CL을 dynamic dictionaruy lookup문제로 간주하는 MoCo, ImageNet dataset에서 지도학습으로 훈련된 SOTA와 비슷한 성능을 내는 SimCLR 및 SimSiam이 있고고, pretext task의 효과와 모델 성능을 향상시킨 방법을 보여준 BYOL와 SwAV이 있습니다.

Importance of Self-Supervised Learning

오늘날 우리는 labeled data를 통해 수많은 task specific 기계 학습 모델을 학습시킬 수 있었습니다. 하지만 이런 모델들은 다른 task로 일반화하기에는 한계가 있고 훈련된 특정 task에서만 잘 동작합니다. 이와 달리 사람과 동물은 몇몇 사례를 통해 학습하고 해당 지식을 일반화해서 다른 영역에 활용할 수 있습니다. 매번 물체를 식별하기 위해 방대한 양의 학습 데이터가 필요하지 않습니다. 인간 및 동물이 하는 방식으로 task를 일반화 시키는 능력은 여전히 인공지능에 있어 열려있고 도전적인 연구 영역입니다. 비교적 쉽게 사용할 수 있는 막대한 양의 데이터 영역에서 많은 task를 일반화할 수 있는 그런 모델을 만드는 방법 중 하나가 바로 일반 지능을 기계학습 모델에 근사시킬 수 있는 SSL입니다. SSL은 레이블에 의존하지 않고 data의 힘을 활용하여 supervised model이 학습하기 어려운 미묘한 표현과 패턴을 학습합니다.

SSL은 좋은 representation을 학습하는 것 외에도 데이터 annotation process에 수반되는 문제와 비용을 완화시킵니다. data annotation은 비용이 많이 드는 작업입니다. 우리가 쉽게 떠올릴 수 있고 자주 드는 예시로 segmentation 데이터셋 annotation이 있겠죠. annotator가 픽셀 단위로 레이블을 지정하고 경계선을 설정해야 하는데 시간이 오래 걸릴 뿐더러 정확하지 않은 annotation에 의해 학습에 악영향을 미칠 수 있습니다.

SSL은 데이터 클래스 레이블에 대한 의존을 완화함으로써 방금 말씀드린 데이터 레이블링의 많은 문제를 해결하는데 도움이 됩니다. SSL을 통해 비지도 방식으로 표현을 학습시키고 각 downstream task에 fine-tuning하면 됩니다.

Existing Models

A. MoCo

Momentum Contrast (MoCo)는 쿼리를 positive key encoding과 일치시키고 negative key encoding과 가능한 한 유사하지 않게 하기 위해 contrastive learning을 dictionary 관점에서 봅니다. SimCLR와 같은 end to end 방식은 query와 key를 인코딩하고 gradient를 각 query encoding network와 key encoding network에 통과시켰습니다.

MoCo는query encoder에만 gradient를 전파되게 해서, query encoder의 파라미터에 대한 momentum update를 추가하여 key encoder가 업데이트 될 수 있도록 했습니다.

MoCo에서, query가 dictionary의 key와 매칭되므로 loss를 dictionary lookup problem으로 정의될 수 있습니다. 이미지는 query featuers로 encode될 수 있으며, dictionary는 대규모 이미지 셋의 feautures로 구축됩니다.

MoCo의 동작 과정입니다. MoCo의 특징에 대해 보시려면 마지막 부분 momentum update와 dictionary queue에 key가 enqueue, dequeue하는 부분에 집중하시면 됩니다.

MoCo는 크게 두 가지 문제를 해결했습니다. 1)어떻게 대규모 동적 dictionary를 만들 것인지 2)encoder가 업데이트되고 있을 때(SGD training의 맥락에서)어떻게 동적 dictionary를 유지할 것인지. Contrastive SSL framework에서 큰 dictionary를 갖기 위해서, 이전 배치의 features는 queue로서 유지됩니다. dictionary는 현재 및 이전 배치로 구성되며 배치 크기에 의해 제한되지 않습니다. 업데이트된 encoder에서 나온 dictionary의 features는 features의 일관성을 향상시키기 위해 여러 배치를 커버하고, 이들을 느리게 업데이트되는 momentum encoder를 사용할 것을 제안했습니다(dictionary를 배치마다 바꿔버리면 feature 비일관성 문제가 생기는데, MoCo에서는 이를 느리게 업데이트 하면서 일관성을 향상시킨게 contribution이라고 합니다). 저자들은 Ablation study에서 momentum이 중요한것을 밝혔다고 합니다.

B. SimCLR

SimCLR에 대해서는 다음 리뷰에 자세히 설명되어 있습니다 : http://server.rcv.sejong.ac.kr:8080/2023/07/30/iclr-2020a-simple-framework-for-contrastive-learning-of-visual-representations/

SimCLR는 MoCo가 제안된 직후 소개된 논문입니다. SimCLR는 특정 복잡한 구조나 큰 메모리를 요구하지 않고 CL을 통한 visual representation을 이용하는 방법을 제안했는데, framework는 1. 입력 데이터 샘플에서 서로 다른 augmentation을 적용해 positive sample 생성 2. augmented된 데이터에서 representation vector를 추출하는 encoder 3. representation 을 contrastive loss함수가 있는 분류층에 투영시키는 multi-layer projection head로 구성됩니다.

SimCLR에서의 representation은 동일한 데이터의 서로 다른 augmented version(positive pair)의 유사도를 contrastive loss를 이용해 latent space에서 증가시키며 학습됩니다. 유사도는 cosine 유사도를 이용합니다.

contrastive learning은 비교할 negative pair가 많을수록 학습에 유리한데, SimCLR은 많은 negative pair를 가져가기 위해 매우 큰 배치 사이즈를 사용합니다. contrastive learning은 Noise Contrastive Estimation (NCE)라는 loss를 사용합니다. 저자들은 논문에서 NT-Xent loss라고 부릅니다.

SimCLR의 학습 알고리즘은 다음과 같습니다.

C. BYOL

BYOL은 negative pair를 사용하지 않고 기존 Contrastive Learning방식들보다 우수한 성능을 달성했습니다. 양질의 representation을 배우기 위해 image를 2개 쓰는 방식 대신 2개의 network를 사용합니다.

Bootstrap Your Own Latent (BYOL) 는 online network와 target network로 구성되며, 각 network는 encoder, projector, predictor로 구성됩니다. target network는 online network가 배울 regression target을 생성하는데, 간단히 말하자면 어떤 네트워크가 학습한 결과값을 가지고 다른 네트워크를 학습시키는것을 반복합니다. contrastie learning이라고 보긴 어렵죠. loss도 contrastive loss가 아닌 MSE를 사용합니다. loss는 online network를 학습시키는 데만 사용되며, target network는 exponential moving average라는 방법으로 weight가 결정됩니다.

D. SwAV

Swapping Assignments between Views (SwAV)는 pairwise 비교 없이 contrastive 방법을 이용하기 때문에 높은 computation을 요구하지 않습니다. 추출한 feature들의 직접적 비교 대신, 같은 이미지에서 파생된 서로 다른 augmented image에 cluster를 할당하여 서로의 cluster를 맞바꾸어 예측합니다. 동일한 이미지에서 나온 2개의 augmented view는 리뷰 상단 Fig2(c)에 나타낸 두개의 feature encoder에 들어가고, 이 특징들은 clusters 집합 안에 있는 nearest neighbours에 매핑됩니다. 이후 한 view의 representation으로부터 다른 view의 code를 예측합니다. 다음 (5)에 나타낸 swap prediction loss는 codes와 features로부터 계산됩니다.

E. SimSiam

Simple Siamese (SimSiam) 은 contrastive learning에 siamese networks를 사용합니다. SimSiam 구조에서는 두 개의 input augmentation of same image의 유사도를 높이려고 합니다. 증강된 이미지 처리에는 동일한 encoder가 사용되는데, 이 두 encoder는 동일한 weights와 backbone을 사용합니다. encoder 하나의 뒷단에는 predictor가 붙는데, 이 predictor function은 encoder의 output을 변환하고 다른 인코더의 출력과 일치시킵니다. augmented images 간 유사도를 극대화시키는데는 Consine 및 cross-entropy similarity가 사용됩니다. stop gradient는 classification trivial solution인 collapsing solution을 막기 위해 도입되었다고 합니다.

Discussion

위에서 소개한 방법들은 classification, object detection 등에서 상당히 개선된 결과를 보여주었으며, 점점 개선된 버전(SimCLRv2 등)이 등장하고 있으므로 앞으로 더욱 발전할 것으로 보입니다. 맥락상 self-supervised contrastive learning이 등장한지 얼마 되지 않았지만, 데이터의 1% 혹은 10%만을 이용한 성능 비교에서는 supervised learning보다 더 나은 결과를 보여주고 있습니다. 따라서 이 방향에 대한 확장 연구의 동기는 충분할 것으로 보입니다. contrastive learning을 수행할 때 negative pair가 많이 필요해서 batch size가 너무 크거나 memory bank를 이용하는 것을 개선할 필요가 있다고 언급합니다.

Conclusion

제가 꼼꼼히 읽어본 논문은 SimCLR인데, 다른 방법들의 흐름을 훑어보고자 찾아봤던 논문입니다. 논문을 찾다보니 평소에 잘 보이지 않는 학회의 논문을 읽어봤는데, 확실히 팁티어 컨퍼런스에 개제된 논문들보다는 뭔가 글의 흐름이 매끄럽지 않다는 느낌이 확 들었습니다. 읽다 보면 ‘왜 흐름에 맞지도 않은 이런 문장이 갑자기 튀어나오는거지?’ 혹은 ‘대체 왜 문단 구성을 이렇게 해놓은거지?’ 라는 생각이 드는 부분들이 있었는데, 지금까지 읽었던 유명한 논문들에서는 받아본 적 없는 느낌이었습니다. 나중에 제가 글이나 논문을 작성할 때는 흐름이 매끄러운지 확인을 잘 해야겠다는 다짐을 하는 계기가 되었습니다. 확실히 수준 높은 학회에 개제된 논문들에서 (내용 외적으로도)배울 점이 많은 것 같습니다. 논문을 찾아볼 때 좋은 논문 위주로 찾아봐야겠다.. 라는 생각도 하게 되었습니다.