[ICCV2019]What Else Can Fool Deep Learning? Addressing Color Constancy Errors on Deep Neural Network Performance

Abstract
이 논문은 부적절한 white balance(WB)에 의해 발생하는 strong color cast가 어떻게 DNN이 segmentation과 classification 작동 성능에 나쁜 영향을 미치는지를 탐구한다.
추가로 기존의 image augmentation 방식이 WB error를 위해서는 적합하지 않다는 것을 논의하고 새로운 방식의 augmentationm 방식을 제안한다.
pre-processing과 argmentation을 부분을 주로 다룬다

Introduction
DNNs가 잘못된 결과를 도출하도록 속이기 위한 adversarial attacks분야에서 local 이미지 조작(local image manipulations)이 많은 흥미를 끌고있다.
이 논문에서는 이러한 조작들 중 비교적으로 덜 연구된 계산적 색 향상성(computational color constancy)을 다룬다. 이는 WB routine한 adversarial attacks분야에서 local 이미지 조작(local image manipulations)이 많은 흥미를 끌고있다.이 논문에서는 이러한 조작들 중 비교적으로 덜 연구된 계산적 색 향상성(computational color constancy)을 다룬다. (이는 WB routine을 구성하는 기능을 한다.) 이는 global image error의 공통적인 부분을 담고있다.
WB가 잘못 적용 된다면, 바람직하지 않은 color cast가 발생할 수 있다 이러한 사진은 보통 데이터베이스로 등록되거나 웹사이트에 올려지지 않고 삭제되기 때문에 이용할 수 있는 자료들은 대부분 올바른 WB 이미지에 편향되어있다. 그러나 실제 응용시에는 WB오류가 발생하지 않을것이라는 가정이 존재하지 않고 마치 [그림1]처럼 예측 불가능한 결과를 나타낼 것이다

Contribution

• 계산적 색 향상성(computational color constancy) 이 어떻게 DNNs에 부정적인 영향을 미치는지 image classification과 segmentic segmentation에 집중하여 탐구하였다.
• 기존의 image augmentation 단계가 color constancy error에 적합하지 않음을 밝히고, 실제적인 color constancy 저하를 모방할 수 있는 새로운 augmentation method를 제안하였다.
• pre-process를 위하여 새롭게 WB 수정 방법을 제안하였다.

CIFAR-10, CIFAR-100, ADE20K 를 실험에 사용하였고, 제안하는 pre-processing과 augmentation을 사용하였을 때 color constancy error 에서 눈에 띄는 향상을 보였다.