끝나지 않은 Self-Supervised 논문… 이번에는 그래도 다행히 ICRA 논문입니다. 믿고보는 ㅎ. 잡설은 생략하고 본론으로 가도록 하겠습니다.
Monovideo 기반의 Self-supervised Depth Estimation은 실제 두 영상의 Pose 값을 이용해 계산 하지 않고 Normalize 된 파라미터 값들을 사용하기 때문에 예측된 깊이 영상과 실제 깊이 영상의 scale이 다른 문제가 있습니다. 이러한 문제를 해결하기 위해서 PackNet 에서는 Pose의 Rotation과 Translation 중 Translation을 두 영상간의 속도를 이용해서 구한 후 GT로 사용해 Supervised로 학습하는 방식을 제안하기도 했었습니다. 이 논문에서는 GPS를 이용해서 촬영된 두 영상의 Translation의 GT를 구한후 학습하는 방식을 제안해 보다 정확한 scale을 예측하도록 합니다. 신기하게도 이 GPS를 이용한 Loss만이 이 논문의 유일한 Contribution입니다. 이 논문의 강점은 하나밖에 없는 contribution이지만 자신의 강점을 부각하기 위한 다양한 실험이 논문의 주가 된 것인 듯합니다.
- Method
학습을 위한 시스템의 기본은 Monodepth2를 따른다고 합니다. 또한 Depth model이나 Pose모델과 같은 경우도 Monodepth2랑 동일하게 했다고 합니다. 거기에 요기서 제안하는 GPS 2 Scale Loss만을 추가해서 예측되는 깊이의 스케일을 실제 Depth 와 일치시켰다고합니다.
1.1 GPS 2 scale Loss
GPS로 구한 위도와 경도 그리고 실제 지구의 지름 값을 이용해 두 영상의 translation을 구해줍니다. 그렇게 구해준 값을 이용해
다음과 같은 식으로 Translation을 Supervised로 학습하게 됩니다.
2. Result
KITTI에서의 성능 평가 입니다. 작년에 쓴 논문이라 그런가 비교 논문들이 굉장히 적습니다. 뭐 또한 이 논문의 핵심은 기존 Depth estimation 논문들과 비교하기가 쫌 그런 것도 있습니다. 그래도 단순히 translation을 supervised로 학습했다해서 성능이 올랐다는게 의아한 것 같긴합니다. PackNet과 같은 경우는 Velocity Loss를 붙혔을때 오히려 성능이 떨어졌던 것을 보면 GPS를 이용한 scale 정규화가 좀 더 정확한 정보를 모델에게 전달해주는 건가 싶습니다.
정성적인 결과 또한 그렇습니다. Monodepth2 보다 Sharp해졌다고 하는데, Sharp 해져야하는 건가..? 싶습니다. 이 논문의 목적은 이런 성능향상이 아닌데…
이 논문의 핵심이라 할 수 있는 성능 평가 입니다. PackNet 이외에는 median scale을 통해 예측된 depth 영상을 처리하지 않으면 정확도가 전혀 나오지 않는 것을 볼 수 있습니다. 하지만 PackNet과 G2S loss를 사용한 이 논문과 같은 경우에는 납득할 만한 성능을 보여주고 있습니다. 이때 PackNet의 경우 packing & unpacking이라는 방법을 이용해 Resnet보다 무거운 네트워크를 사용함에도 불구하고 제안하는 방법론 보다 안좋은 성능을 보이는 것을 알 수 있습니다. 이를 통해서 IMU에서 얻은 정보를 이용해 translation을 사용하는 것보다 GPS정보를 이용하는 것이 더욱 좋다는 것을 알 수 있습니다.
이 논문이 KITTI 리더 보드 상에서 self-supervised 방법론 들 중 에는 가장 좋은 성능을 보이고 있는 논문입니다. 사실 성능으로는 다른 좋은 논문들이 많으나 왜 올리지 않았을까 라는 생각이 드네요
이 외에도 median scale을 할 때 다른 방법론들과 얼마나 많은 scale 차이가 나는지 등의 다양한 실험들이 나옵니다.
