Learning to Find Unpaired Cross-Spectral Correspondences

저는 현재 Thermal <-> RGB 를 연구하고 있기 때문에 그와 관련된 논문들을 찾던 도중 김태주 연구원이 괜찮은 연구를 추천해줘서 읽고 리뷰하게 되었습니다.

이 논문은 열화상 영상과 칼라 영상을 가지고 Local Descriptor Matching 이 안되는 문제를 해결하고자 하였다. 현재 CNN을 사용한 Local Descriptor Matching은 SOTA 를 기록하고 있지만, 이 방법론들을 학습 하기 위해서는 Paired 한 Data가 매우 많이 필요하다는 특징이 있다. 하지만 현재 충분히 학습할 만한 Paired Multispectral Dataset이 존재하지 않는 것이 문제로 작용하고 있다.

데이터셋이 적은 것을 해결하기 위해서 Pseudo label의 사용을 제안한다. Pseudo label을 생성해서 데이터의 갯수를 늘리고 그 데이터를 이용해서 CNN 베이스의 Local Matching 방법론을 학습시켜 Cross spectral Matching을 수행한다.

1. Method

제안된 방법론의 아키택쳐를 크고 간단하게 보면 그림 2 (좌) 와 같이 생각하면된다.
1. Encoder에 A 도메인의 영상을 넣고 Shared feature를 얻음
2. Decoder로 B 도메인의 영상을 생성
3. Shared feature를 Local feature 생성 네트워크의 입력으로해 A도메인의 local feature를 얻음.

위와 같은 순서를 CycleGAN에 적용한 것이 그림 2 (우) 아키텍쳐이다. CycleGAN 과 차이점을 꼽으라면 Encoder 와 Decoder 사이 Feature를 이용해 Local Feature를 생성한 후 그 Feature를 이용해서 Loss를 계산하는 것이 차이점이라 볼수 있다.

CycelGAN의 GAN Loss가 Least Square 방식으로 바뀐 것 외에는 동일하기 때문에 다 생략하고, 생성된 Local feature를 이용해 Loss를 구하는 거만 이야기 하도록하겠다.

Local feature를 학습 하기 위해서 기존 CNN 방식의 Local Matching 방법론의 Negative patch 아 Positive Patch 를 구하는 방식을 차용해서 Positive Patch 와 Negative patch를 구한 후, 생성된 Pseudo Label과 인풋 영상의 feature를 Metric Learning을 이용해 학습을 한다.

Experiment

이 논문을 NIR-RGB, LWIR-RGB 에 대해서 성능을 리포팅했지만 현재 관심있는 부분이 LWRI-RGB 이기 때문에 그것에 관해서만 말을 하도록하겠다.

LWRI-RGB를 학습시키기 위해서 여러개의 LWIR-RGB Dataset을 전부 학습했다. 또한 데이터셋을 늘리기 위해서 학습할때는 KITTI의 RGB와 CVC14의 LWIR을 포함해서 학습했다고 한다.

Unpaired 방법론중에서는 영상 생성 관점에서 가장 좋은 성능을 보이는 것을 확인할 수 있다.

생성된 영상을 가지고 matching을 한후 Matching point를 이용해 Warping을 하여 둘이 겹치는 정도를 가지고 Local Matching의 성능을 정성적으로 보았다. 그림 3을 보면 다른 기타 Local Descriptor를 이용해 매칭했을 때에 비해 f 가 많은 부분에서 겹치는 것을 볼 수 있다.

결론

Local Matching을 Loss로 사용하면 Generate 관점에서도 성능향상이 있다.