[NeurIPS2020]Learning Loss for Test-Time Augmentation

간단한 소개

본 논문은 test time에 적합한 instance-level의 data augmentation을 위한 방법론을 소개한다. 제안하는 방법론은 입력값을 transformation한 후보들의 loss를 예측하는 보조모듈을 이용하는데, loss가 낮게 예측된 후보군을 입력으로 선정하는 형식이다. 실험을 통해 다양한 image classification benchmarks에서 제안하는 방법론이 다양한 변동에 대응하고 강인한 성능을 냄을 확인하였다.

방법론

Figure1의 (b)가 제안하는 방법론이다. 간단한 소개에서 언급하였듯이 loss를 예측하는 보조모듈을 통해 test time에 사용한 transformation 방법론을 선정한다. Figure1의 (a)는 Test-time augmentation 으로 기존연구가 train 구간에 augmentation에 집중했던 것에서 확장하여 crop, mixup과 같은 augmentation 기법을 test 구간에 적용하고 그에 대한 모델의 예측값의 평균을 최종 예측으로 하여 모델의 정확도를 개선하는 방법론이다. 이는 불안정한 모델의 안정도를 높일 수 있지만, augmentation 정도가 심하거나 모델이 데이터에 대한 확신도가 낮은경우 오히려 노이즈가 될 수 있다. 따라서 제안하는 방법인 Figure1의 (b)는 생성한 augmentation 중에서 모델이 가장 예측하기 쉽다고 판단되는 데이터를 입력으로 선정하도록 하였다.

Loss prediction 모델

자세한 loss predictor의 구조는 Figure2와 같다. 입력 데이터 x를 T개의 augmentation(T = {τ1, τ2, …, τ|T |})을 적용하여 augmented input을 생성한다. 이 입력을 target 데이터에 학습한 모델 Θ target의 입력으로 하여 예측값을 생성하고 이를 실제 정답값과 비교하여 loss를 생성한다. 해당 loss를 groud truth로 하여 loss predict 모델을 학습한다. 이때 Θ target는 고정하고 Θ loss predictor만 학습한다. 이때 Θ loss predictor는 각 augmented image의 loss의 순위를 학습하는 ranking loss를 통해 학습한다. 이때 transformation의 종류는 Figure4의 12가지(identity, rotate-20, rotate+20, zoom0.8, zoom1.2, autocontrast, sharpness0.2, sharpness0.5, sharpness2.0, sharpness4.0, color0.5, color2.0)와 같다.

실험

실험은 CIFAR-100과 ImageNet 벤치마크에 대해 진행되었다.

아래 Figure 5를 통해 다양한 노이즈를 통해 제안하는 방법론이 더 효과적인 test 이미지를 선별함을 드러내는 실험이다. 가장 큰 plot은 test 데이터가 clean 한 상황이며 이때는 원본 이미지가 가장 많이 선별되었다 그러나 test 이미지에 gaussian noise가 적용된다면 sharpness0.5 transformation이 적용된 이미지가 높은 확률로 선별됨을 알 수 있다.