저번에 리뷰한 김영현 연구원님이 제안한 MS-UDA 방법론의 베이스라고 할 수 있는 논문을 가져왔습니다. 저는 현재 열화상 영상의 깊이 추정 성능을 RGB의 성능만큼 끌어올리기 위해서 다양한 시도를 하고 있는데요. 그 중 하나의 방법으로 MS-UDA에서 사용된 Discriminator를 이용한 방식입니다. 이 방식을 사용하기 위해서 제안한 방법론의 논문을 가져와 봤습니다. 이 논문은 Domain Adaptation에 관련된 논문으로, 기존 Supervised 기반의 Semantic Segmentation 방법론들이 특정 데이터셋에서 높은 성능을 보여주고 있지만 다른 데이터셋에서 평가할 경우 성능이 매우 떨어지는 것을 문제로 제기합니다. 이 논문에서 제기한 문제를 해결하기 위한 방법론은 설명하도록 하겠습니다.
이 논문은 Semantic Segmentation에서 Unseen data에 대한 문제를 제기한 거의 첫번째 논문이라고 볼 수 있습니다. 따라서 방법론을 2021년 현재에서 볼때는 굉장히 간단할 수 있지만 당시에는 매우 혁명적인 였을 것이라 생각합니다.
Method
위 그림이 매우 간단하지만 자세히 이 논문의 방법론을 표현 하고 있습니다.
보시면 결국 이논문에서 하고자 하는 것은 Source Domain에서 Segmentation을 학습시킨 모델이라 하더라도 Target Domain에서 또한 성능을 보장하는 것입니다. 그러기 위해서 위 방법론에서는 Adversarial learning을 사용했습니다. Adversarial learning 같은 경우 이 글을 읽는 대부분이 알 거라 생각하지만 간단히 설명하자면 아래 그림과 같습니다.
위 그림은 GAN에대한 설명이지만 학습 방식은 동일합니다. 위 그림의 표현을 빌려 설명하자면, 이 논문에서 사용된 Adversial learning의 방식은 Discriminator(경찰)이 feature가 Source Domain(실제 지폐) 인지 아니면 Target Domain(위조 지폐) 인지 헷갈릴 정도로 유사하게 Feature를 생성하도록 경찰과 Semantic Segmentation Generator을 학습시키는 방법론입니다.
이 학습 방식을 이용해서 Target domain에서도 Source domain과 같은 Semantic Segmentation 성능이 나올 수 있도록 이 논문에서 제안합니다.
그리고 그림 1 과 같이 Discirminator를 하나만 쓰는 것이 아닌 두개를 사용하는데요, 그 이유는 하나의 feature에서만 Adversarial learning을 진행할 경우 역전파가 제대로 끝까지 전달이 안되는 경우가 생길 수 있기 때문에 multi-level로 학습을 진행한다고 합니다.
Result
GTA5에서 학습 시킨 모델을 Cityscape에서 평가했을때 결과 입니다. 보면 최종적을 multi-level로 학습시킨 모델이 높은 성능을 보이는 것을 알 수 있습니다.
다른 데이터셋에서도 유사한 결과를 볼 수 있습니다.
마지막으로 정성적 결과를 보면 굉장히 차이나는결과를 볼 수 있습니다ㅏ.
사실 이 외에도 다양한 결과가 있었지만 이 논문에서 얻고자하는 것은 어떠한 방식르오 Adaptation을 진행했냐 였기 때문에 그것에 초점을 맞춰봤습니다.
리뷰 감사합니다. 궁금한 점이 있어 질문드리자면 multi-level이 target과 source 두 부분에 discriminator를 추가한 것을 의미하는 게 맞나요 ?
그나저나 domatin adaptation과 segmentation이라니 그동안의 행보와는 살짝 다른 리뷰여서 왜 이 논문을 읽게 되셨느지 궁금해지네요