Git : https://colmap.github.io/ [COLMAP]
이번 리뷰는 이전부터 공부를 하고 싶은 Structure-from-Motion(이하 SfM) 관련 논문을 담기로 결정했습니다.
SfM 관련 논문 중 해당 논문으로 결정하게된 계기는 자신의 SfM 알고리즘을 오픈 소스를 통해 공개를 하였고, 1.8K의 star를 받은 만큼 인정 받았다고 생각한 것에 있습니다.
Structure-from-Motion?
아래의 동영상 Video 1.은 SfM이란 방법론을 처음 들었을 동료 연구원들을 위해 공유한 영상이며, 해당 영상으로 SfM이 어떤 방식으로 동작하는지 얕게나마 알았으면 합니다. 영상을 볼 시간이 없는 동료들을 위해 SfM을 간단하게 설명하자면 2D 영상간 관계를 이용한 3D 공간상 오토 스티칭으로 이해하시면 됩니다.
Video 1. Structure-from-Motion(SfM) Pipeline,
Incremental perspective structure from motion
해당 논문의 방법론은 여러 SfM 방법론 중 Incremental SfM에 해당합니다.
해당 세션에서는 Incremental SfM의 간략한 파이프 라인을 소개합니다. 위의
- Compute features
- Match images
- Reconstruct
- Solve for pose and 3D points in two camers
- Solve for pose of additional camera(s) that observe reconstructed 3D points
- Solve for new 3D points that are viewed in at least two cameras
- Bundle adjust to minimize reprojection error
- 3-2 ~ 3-4 과정을 반복
Correspondence Search
– Feature Extraction. e.g SIFT, ORB, SURF…
– Matching. match feature -> potentially overlap image pairs
– Geometric Verification( RANSAC을 통해 inlier를 추정). -> using projective geometry -> potentially overlap image pair -> homography(평면 공간상 카메라의 움직임/회전 변환) -> Epipolar geometry(essential matrix E, 3D 공간상 카메라의 움직임/회전 변환) => scene graph(Fig 2) # 호모그래피 구하고 RANSAC인가…?
Incremental Reconstruction
– Initialization. 중심이 될 two-view를 선정. 밀집된 곳의 view 선정은 에러를 줄이고 BA의 runtime을 줄이기 때문에 신중하게 선택되도록 해야함.
– Image Registration. selected two-view reconstruction(3D point) -> new image(2D) -> PnP [2](2D-3D correspondences) -> Pose estimation. (outliner – RANSAC)
– Triangulation. 추가된 영상은 기존 만들어진 scene point와 같은 곳을 바라봐야 합니다. 삼각 측량을 통해 새로운 3D point를 만듭니다. # 추가 공부 필요
– Bundle Adjustment(이하 BA)[3]. Image registration과 Triangulation의 관계성이 높더라도 둘은 분리된 생산자로 reprojection error E가 발생합니다. BA는 Levenberg-Marquardt(LM)을 통해 E를 최소화합니다.
Contributions
COLMAP
[1] Hartley, Richard, and Andrew Zisserman. Multiple view geometry in computer vision. Cambridge university press, 2003.
[2] M. A. Fischler and R. C. Bolles. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography. ACM, 1981.
[3] B. Triggs, P. F. McLauchlan, R. I. Hartley, and A. Fitzgibbon. Bundle adjustment a modern synthesis. 2000.
