[IROS2021] MS-UDA: Multi-Spectral Unsupervised Domain Adaptation for Thermal Image Semantic Segmentation

이번에 리뷰할 논문은 몇달전 김영현 연구원니께서 연구실에서 발표해주신 논문입니다. 이 논문을 다시 읽고 리뷰하는 이유는 12월달에 쓸 논문의 주제가 열화상 영상과 칼라 영상의 도메인 Adaptation 이기 때문입니다. 이 논문에서는 열화상 영상에서 semantic segmentation을 수행하기 위한 방법론을 제시합니다. 먼저 이 논문에서 현재 Thermal segmentation의 문제로 말한 것은 총 세가지 입니다. 1) 데이터셋이 부족하다, 이건 우리 연구실 사람이라면 알아야할 문제점 같은데요. 현재 Thermal 데이터셋으로 교수님이 공개한 데이터셋이 가장 활발히 사용되고 있지만 기존 RGB 데이터 셋의 갯수에 비하면 양이 턱없이 부족하며 특히 Segementation 정보까지 공개한 데이터셋은 더욱 부족하다고 할 수 있습니다. 2) Supervised 학습 방식에서 열화상 카메라입력으로 학습할 경우 성능이 매우 안나옴. Thermal 의 경우 엣지가 모호하며 디테일 정보가 RGB 에 비해서 매우 부족한 것이 현실이기 떄문에 단순히 Thermal 만을 이용해서 성능을 보기에는 문제가 있습니다. 3) 열화상 카메라가 밤에도 데이터를 얻을 수 있음은 장점이 분명하지만, 낮과 밤의 온도 차이로 이해서 두 시간대 영상의 전체적인 평균값등이 다름. 이렇게 세가지의 문제를 제시했으며 각각을 해결하기 위한 아키택쳐를 제안합니다.

---

이 논문의 전체 파이프라인 입니다. 방법론은 총 세가지로 나눌 수가 있습니다. RGB Segemtation, RGB 2 Thermal, Thermal translation. 각각이 논문에서 문제로 이야기한 것들을 해결하기 위해서 제안 되었습니다.

RGB Segmantation

RGB 에서 예측된 결과를 Thermal의 Label로 사용을 해야되니 RGB 타워 또한 학습을 해야합니다. 이때 RGB 학습에 사용하는 GT 또한 Pseudo-Label을 사용합니다. 그 이유는 RGB-T 데이터셋에서는 Segmentation 정보를 제공하지 않을 확률이 높으므로 아예 파이프라인에서 GT를 사용하는 것을 베재했다고 합니다. Pseudo-label 은 HRNet이라는 매우 좋은 성능을 보이는 네트워크를 다양한 데이터셋으로 학습 시킨 후 Kaist dataset에 inference 하여 생성했다고 합니다.

RGB 2 Thermal

RGB 와 Thermal 가 담고 있는 정보가 다르기 때문에 위 파이프라인에서 보이듯이 encoder 부분은 분리하고 decoder를 share 했다고합니다. RGB의 학습 결과를 Thermal 에 전달하기 위한 Loss는 총 두개를 사용합니다. 하나는 cross entropy를 이용해 RGB 타워에서 예측된 결과와 Thermal에서 예측된결과를 비교합니다. 또한 Discriminator를 사용해서 두개의 타워에서 예측되는 값들을 유사하게 만들어줍니다.

Thermal translation

위 사진 처럼 Thermal의 낮과 밤에 표현하는 값이 전체적으로 다릅니다. 이러한 문제를 바로 잡기 위해서 이논문에서는 CycleGAN으로 낮 thermal를 밤 Thermal로 만든 후 학습 때 random 하게 Fake nighttime을 사용해서 밤thermal에서도 동일한 동작을 할 수 있게 했습니다.

Results

MF 데이터 셋에서 결과 입니다. MF 데이터셋에서는 보통 입력을 RGB Thermal를 다 넣고 Supervised로 학습하기 때문에 비교군에서 Sup는 다 그러한 방식으로 학습했다고 생각하시면 됩니다. 그랬을떄 결과를 보면 제안하는 방법론이 Supervised 방식의 결과들과 거의 유사한 결과를 보이며 다른 UDA방식보다 매우 좋은 성능을 볼 수 있습니다. 또한 밤에서는 supervised 방식들보다 좋은 결과를 보여줍니다.

또한 이 논문에서는 Kaist 데이터셋에서 직접 Segmentation 정보를 구해서 GT를 구성 한 후 결과를 리포팅합니다. 그때 또한 다른 방법론들 보다 높은 성능을 확인 할 수 있습니다.