Index Terms—Image Processing, Image Restoration, Neural Networks, Loss Functions.
Loss들의 특징을 찾아보다 알게되었음.
논문 링크
INTRODUCTION
neural networks가 computer vision과 image processing 분야에서 사용되면서 많은 연구자들은 새로운 model architecture에 초점을 맞췄다. 그러나 대부분의 Loss function은 L2 norm을 사용하였다. 그러나 L2 norm은 잘 알려진 limitation이 있다. 예를 들어 L2 norm은 Human Visual System(HVS)의 quality와 맞지 않다. HVS는 local luminance, contrast, structure에 주를 두는 대신에 L2 loss는 이와 상관없는 white Gaussian noise같은 noise에 의한 차이도 계산하기 때문이다. 이 논문에서는 이러한 Loss의 작용을 연구하기 위하여 image restoration을 다루었다.
논문의 실험 항목
1) L2가 아닌 다른 local metric는 잘 작동하는지
2) perceptually-motivated metrics (SSIM, MS-SSIM)의 영향
논문의 contributions 은 다음과 같다
1. image processing에서 error metric의 중요성을 상기시킴
2. 대체 error metric을 조사함(L1, SSIM, MS-SSIM)
3. L1과 MS-SSIM을 결합한 새로운 Loss를 정의함
4. 다양한 이미지 지표(index)에서 그들의 성능을 분석함
5. Loss들의 수렴 속성을 비교하였으며, 몇 loss의 좋지 않은 작동은 loss function의 local minima 때문임을 보였다. 또한 SSIM과 MS-SSIM을 단독으로 사용하였을때 성능이 기대 이하인 이유에 대해 논의하였다.
LOSS LAYERS FOR IMAGE RESTORATION
L2에 대한 논의
그림1에서 보면 flat한 영역은 network가 noise를 강하게 감쇄시키는 것을 확인할 수 있다. 그러나, 이 결과는 여전히 noise하다. YERS FOR IMAGE RESTORATION L2에 대한 논의그림1에서 보면 flat한 영역은 network가 noise를 강하게 감쇄시키는 것을 확인할 수 있다. 그러나, 이 결과는 여전히 noise하다. 그 이유는 L2가 구조에 상관없이, 큰 error에는 강한 반응을 보이지만 작은 error에는 관대하게 작용하기 때문이다.
그림1의 (k)를 보면 모서리의 sharpness는 잘 복원되었는데, 이곳이 blurr할수록 L2 error가 커지기 때문이다.
새로운 Loss MS-SSIM+ L2
MS-SSIM은 영상의 고주파성분을 잘 보존한다. SSIM과 MS-SSIM 모두 이미지의 편향성에 민감하지 않아 전체적인 밝기와 색의 변화에 민감하지 않다. 반면에 L1은 구조에 상관없이 이미지의 밝기와 광도를 보존한다. 이러한 Loss의 특징을 사용하여 새로운 Loss를 제안하였다.
RESULTS
다양한 이유로 noise한 이미지(ex JPEG 변환으로 인한 손실, super-resolution network으로 인한 손실 )를 그림2 는 손실된 이미지(a), (e)를 L2,L1, 제안한 Mix Loss로 복원한 결가다.
DISCUSSION
Loss function의 수렴
어느 한 Loss로 CNNs 학습을 수렴한 후에 그 Loss에 기초하여 두번째 학습을 진행하여도 outperform 할 수 있다.
SSIM과 MS-SSIM
SSIM 기반의 metric는 grayscale image를 위하여 designed되었기 때문에, 이 Loss를 사용하면 color image의 내용이 근사되어 복원된다.
논문을 읽고
2015년 논문이여서 그런지 SSIM 을 이미 접해봐 새롭지는 않았다. L2 Loss의 한계, 특성에 대해 공부함을 의의로 두었고, HVS관점의 영상복원을 다룬것같아 랩실 주제와 맞지 않는점이 아쉬웠으나, Loss의 특징에 대해 알아보고싶은게 목적이였으므로 어느정도 만족한다. 하지만 앞서 말했듯이 이미 SSIM을 접한 후여서 그런지 크게 얻은 내용은 없는듯하다.
