[ECCV 2016] Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles

오랜만에 Representation Learning 논문을 들고 왔습니다. Representation Learning은 data 부족 및 학습 비용 절감을 해결하고자 하는 방법 중 하나로, self-supervised learning, unsupervised learning의 하위 분야로 볼 수 있습니다. 딥러닝 학습법이 발전하며 많은 성과를 보이고 있는데, 성공적인 딥러닝 개발의 핵심에는 항상 풍부한 데이터가 있었습니다. 일반적으로 모델 엔지니어링을 수행하는 것보다는 더 많은, 더 좋은 데이터를 학습에 사용하는 방법이 더 많은 성능 개선을 이루어 낼 수 있습니다. 하지만 우리에게는 항상 데이터가 부족합니다. 우리가 원하는 task에 알맞게 데이터를 수집하고 라벨링 하는 금전적/시간적 자원이 많이 소모되기 때문입니다. 특히 데이터를 단순히 수집하는 것보다는 라벨링하는 과정에서 많은 예산 및 시간이 소모됩니다. 기존에는 imagenet 등 큰 데이터셋으로 supervised learning된 파라미터들을 transfer learning하는 방법을 많이 사용하였지만, 이 방법에도 한계가 있습니다. 이에 따라 ML/AI 연구자들은 해당 문제를 극복하기 위해 다양한 연구를 수행하고 있습니다. Active Learning은 라벨링 예산이 한정되어 있을 때 최대한 모델 학습에 효과가 좋은 고가치 데이터를 선별하고자 하며, Semi-Supervised Learning은 수도라벨링 등의 방법을 통해 적은 수의 라벨만으로 학습하는 방법을 연구합니다. 그리고 Self-supervised learning이나 Unsupervised Learning은 주어진 GT label 없이 데이터의 정보를 최대한 모델이 확보하게 합니다. 이 또한 다양한 방법으로 수행됩니다.

예를 들어, 이전에 리뷰한 SimCLR의 경우에는 contrastive learning을 이용해 Self-supervised learning을 진행합니다. 하나의 이미지를 서로 다르게 augmentation한 이미지 쌍인 positive pair는 벡터 간 거리가 가깝게, 그리고 서로 다른 이미지 쌍인 negative pair는 벡터 간 거리가 멀어지게 학습을 진행합니다. contrastive learning을 하는 과정에서 모델이 데이터에 대한 표현력(representation)을 확보하길 기대하고, 사전학습이 끝나 데이터에 대한 표현력을 확보한 모델을 downstream task에 fine-tuning하여 사용합니다.

SimCLR가 contrastive learning을 이용한 사전학습으로 representation learning을 진행했다면, 사람이 설계한 다른 handcraft 방법으로 사전학습을 진행할수도 있습니다.

위 그림은 ICLR 2018에서 제안된 self-supervised learning 방법으로, 이미지 데이터에 대해 무작위로 0, 90, 180, 270도의 rotation을 수행한 후, 이미지 rotation이 얼마나 되었는지 각도 맞추기 학습을 진행합니다. 회전 각도를 맞추는 사전학습 과정에서 모델은 이미지 데이터의 표현력을 어느 정도 확보할 수 있습니다. 여기에는 GT label이 주어질 필요 없이 사전학습 모델이 스스로 라벨(이미지가 회전한 각도)을 생성해 학습을 진행합니다. 오늘 리뷰할 논문은 이렇게 사람이 직접 설계한 pretext task로 사전학습을 하는 방법을 제안합니다. 이 방법들 이외의 대표적인 pretext task로는 이미지의 원래 색상을 추론하는 colorization, 이미지를 패치 단위로 잘라 서로 간의 관계를 맞추는 context prediction, 이미지 중간을 drop하고 해당 부분을 채우게 하는 image inpainting 등이 있습니다. 오늘 리뷰에서는 퍼즐을 푸는 pretext task를 이용한 unsupervised learning을 살펴보겠습니다.

Introduction

본 논문에서는 self-supervised learning의 한 종류로 jigsaw puzzle을 푸는 pretext task를 통해 Visual Representation Learning을 수행하는 방법을 제안합니다. 해당 방법은 GT label 없이 수행할 수 있으며 사전학습이 끝난 backbone model은 image classification이나 object detection같은 다양한 downstream task에 finetuning하여 사용될 수 있습니다. 저자들은 Jigsaw puzzle을 푸는 사전학습 방식은 이미지 데이터 전체의 맥락과 로컬 특징을 함께 고려해야 하기 때문에 상당히 좋은 표현력을 얻을 수 있다고 주장합니다. 그리고 사전학습의 목적이 jigsaw puzzle을 푸는 모델을 만드는것이 아닌 좋은 feature를 학습하는 것임을 강조하며, 모델(backbone으로 Alexnet을 바탕으로 사용합니다)이 풍부한 feature를 고루 학습할 수 있게 하기 위해 단순히 퍼즐을 푸는데 shortcut이 될만한 low-level 단서들(인접 픽셀 간의 맥락이라던지)을 최대한 배제하도록 설계하였습니다. 퍼즐을 풀면서 학습한 특징들을 transfer learning하여 classification, detection task에서 성능을 측정했으며, ImageNet 데이터로 supervision 방식으로 사전학습된 모델보다 성능은 뒤떨어지지만 퍼즐을 풀면서 학습된 특징들이 classification과 object detection 문제에서 유의미한 정보를 갖고 있다는 것을 보여줍니다(성능이 떨어지기는 하지만 imagenet과 달리 GT label 없이 사전학습 했다는 점에서 의의가 있습나다)

Solving Jigsaw Puzzles

The Context-Free Architecture

저자들은 첫번째 fc layer(Fig3에서 fc6)까지 가중치를 공유하는 Siamese-ennead convolutional network를 사용합니다. 샴 네트워크는 샴 쌍둥이를 연상하면 되는데요, 신체의 일부를 공유하는 샴 쌍둥이처럼 샴 네트워크는 가중치를 공유하는 네트워크입니다. 이렇게 설계한 이유는 convolution layer에서는 물체의 맥락을 고려하지 않게 image feature만 학습시키고(shortcut 방지) 연산량을 줄이기 위해서라고 합니다. 샴 네트워크는 처음 보는 개념이었는데, 이 블로그 글을 보고 감을 잡았으니 관심있으신 분들은 한 번 보셔도 좋을 것 같습니다. 네트워크 이름도 shortcut이 되는 context를 최대한 덜 고려하게 학습하겠다는 의미로 Context-Free Network(CFN)라고 이름 지었습니다(퍼즐 위치 관계는 fc6의 output들을 concat한 fc7부터 고려되기 때문에 그 이전까지는 context가 완전히 분리되어 학습됩니다). imagenet 데이터를 활용하여 Alextnet으로 학습 시킬 때는 1. 이미지에서 225×225 크기로 이미지를 random drop 한 뒤 2. 3×3 grid로 분할하고(각 grid는 75×75 pixel cell) 3. 인접 픽셀간의 관계가 shortcut이 되는것을 방지하는 gap을 만들기 위해 9개의 75×75 cell에서 64×64 pixel tile을 추출하고 4. 이 9개의 tile들을 무작위로 순서를 바꿔 CFN으로 전달합니다. CFN은 가중치를 공유하는 9개의 CNN으로 이루어져 있으며 각 CNN은 1개의 tile을 입력 받은 것입니다. 5. fc6을 거친 feature vector는 concat되어 fc7로 전달되며, 최종적으로 CFN은 9개 tile의 순서를 반환합니다. 이 이외에도 shortcut이 될만한 요소들을 없애기 위해 추가적인 augmentation이 들어갑니다(인접 색상 정보를 완화하기 위해 tile별로 따로 normalize를 하거나, RGB채널의 chromatic aberration을 이용하는 것을 방지하기 위해 grayscale image로 만들기도 합니다).

Experiment

저자들은 퍼즐풀기로 학습된 특징들에 대한 성능을 측정하기 위해 PASCAL VOC로 classification, detection, semantic segmentation에 적용해봅니다. CFN에서 AlexNet으로 중간 구조가 다르지 않은 부분들에 대해 transfer learning을 하여 fine-tuning합니다.

결과적으로 기존의 방법들과 비교해 classification, detection, segmentation 모든 task에서 상당히 개선된 결과를 얻을 수 있었습니다.

일반적으로 백본 모델에서 중간까지는 data의 general한 feature를 학습하고, 말단에서 task를 수행하게 학습된다고 알려져있다고 합니다. 저자들은 어디서부터 task와 관련된 학습을 하기 시작하는지 알기 위해 각 layer에 lock을 걸어보며 실험했다고 합니다. 학습은 imagenet classification으로 진행되었고, lock이 걸렸다고 표시된 레이어까지는 freeze되었으며 그 뒤 layer는 랜덤 초기화되어 학습했다고 보시면 됩니다.

conv4->conv5로 넘어갈 때 classification accuracy가 낮아지는것을 확인할 수 있습니다. 저자들은 이것을 바탕으로 conv5 layer부터 퍼즐 풀기 작업에 특화되기 시작했다고 해석합니다.

preventing shortcuts

저자들은 직소퍼즐을 푸는데 도움이 될 수 있는 shortcut 요소들을 ablation study하며 관계를 살펴보았습니다. shortcut이 될 수 있는 요소들을 방지하면 detection performance가 올라가는것을 통해 pretext task가 어려워질수록 사전학습 단계에서 좋은 representation을 얻을 수 있음을 확인했습니다. edge continuity를 방지하기 위해 tile간 gap을 두었고, chromatic aberration(색수차)를 이용하는것을 방지하기 위해 grascale image를 학습에 포함시켰습니다(grayscale과 color 데이터 비율 3:7). 추가적으로 각 타일의 색상 채널에 random color jittering도 적용시켰습니다.

image retrieval

저자들은 간단한 image ranking으로 image retrieval을 이용하여 feature의 품질을 평가했습니다. PASCAL 데이터셋에서 test set의 bounding box를 쿼리로 사용하고 pool5의 feature에서 최근접 이웃법을 사용했습니다.

Fig5는 정성적으로 top-4 retrieval을 확인한 것이고, Fig6은 정량적으로 비교를 수행한 것입니다. Fig5에서 (a)는 쿼리 이미지, (b)는 AlexNet, (c)는 색수차를 block하지 않고 학습한 CFN의 결과이며 그 뒤에는 다른 논문이 비교군입니다.

Fig 6을 보면 CFN이 self-supervised learning 방법들 중 상당히 좋은 성능을 보여주는것을 확인할 수 있습니다.

Conclusion

저자들은 Context-Free Network를 이용해 직소퍼즐을 푸는 pretext task를 사용하면 unsupervised representation learning 방법을 제안했습니다. 사전학습된 feature는 detection, segmentation, classification에서의 실험 결과 (상당히 예쩐이긴 하지만) 기존 방법론들을 뛰어넘는것을 보였습니다. 당시에는 unsupervised learning이 supervised pretraining 성능을 따라잡기 전이기 때문에 이 둘 사이 간극을 좁히는 것을 의의로 둔다고 합니다.