현재 진행중인 멀티스펙트럴 이미지를 정합할 때, Homography matrix는 이미지는 평면이라는 가정을 항상 내제하고 있어 완벽한 이미지의 align을 맞출 수 없어 방법을 찾다가 알게 된 논문입니다. 해당 논문은 Mesh flow 라는 논문을 기반으로 하고 있어 추후에 Mesh flow 논문도 함께 읽어볼 예정입니다. (링크)
해당 논문에서는 처음 기존에 제안된 Homography 방법들이 이미지는 평면이라느 가정으로 인해서 어쩔 수 없는 misalignment 에 대해서 이야기합니다. 그리고 이러한 문제를 해결하기 위해서 해결책으로 사용되고 있는 방법이 Mesh warping을 수행하는 APAP, Mesh flow 등이 있다고 언급합니다. 그리고 해당 방법들은 Video-Stabilization 분야에서 사용되는 방법이죠. 아직 Mesh flow 논문을 읽지 않았지만 Mesh flow 저자의 깃허브를 들어가서 예시 영상을 보면 Vide stabilization이 무엇인지 알 수 있습니다.
위의 그림처럼 실제 warping을 진행할 때 뎁스에 따른 차이가 커지고 이를 단순히 Homography로만 사용할 수 없기에 Mesh level에서의 motion vector를 regression 하는 연구입니다. 본 논문의 저자는 제가 일전에 리뷰를 진행했던 Homography Estimation 논문의 저자 중 한명이고, 해당 논문에서 제안한 방법에 Mesh flow를 결합하여 문제 해결방법을 제시하고 있습니다.
위의 방법은 이전에 발표하고 세미나때 발표했던 Homography estimation 을 위한 네트워크 이며, 이를 Mesh flow와 결합하여 만든 네트워크는 아래와 같습니다.
위의 그림과 비교해보면, 보시는 것처럼 기본 베이스는 동일하며, 예측하는 것을 Mesh flow 와 적합하게 변경하여 진행하고 있습니다. (두 방법이나 기본 베이스가 굉장히 유사하고, 현재 제가 이러한 방식을 따르기 때문에 제가 진행 중인 연구와도 접합이 용이하다는 생각이 들었습니다. ) 논문에서 나타난 설명하고 있는 차이점을 설명하면, 이미지를 N개의 그리드로 나누고 각 그리드마다의 Homography matrix를 구한다고 합니다. 또한 Mesh flow 계산을 위해서 멀티스케일로 나누어 값을 계산했다고 합니다.
해당 논문에서 실험결과는 주로 정성적 결과들에 대해서 나열하였습니다.
그리고 정량적 평가의 경우, 현재 연구실에서 진행하고 있는 annotation과 마찬가지로 두 이미지의 corresponding point를 구하여 차이를 나타냈다고 합니다.
리뷰가 굉장히 짧으나, 실제 논문의 내용도 생각보다 많이 담기지 않아 있습니다. (그래서 arXiv에만 등록된것 같습니다.) 해당 논문은 2019년에 작성되어 빛을 보진 못했지만, 그래도 해당 논문에서 사용했던 방법들을 잘 사용하면 현재 나타나는 문제들을 해결할 수 있을 것 같습니다. 다음 리뷰에서는 본 논문이 많은 부분 참조한 Mesh flow 논문에 대해서 리뷰하도록 하겠습니다.
