참고논문: RPM-Net: Robust Point Matching using Learned Features, CVPR2020
Github: https://github.com/yewzijian/RPMNet
Iterative Closest Point(ICP)는 각 데이터의 가장 가까운 점을 이용하여 연관성을 찾고 그에 맞게 현재 데이터를 rigid transformation하여 기존 데이터셋에 추가하는 방법입니다.
이번 CVPR2020에 accept된 RPM-Net[1]의 경우 기존 ICP 방법들이 가지고 있던 ① initialization에 민감하여 local minimum에 빠지는 문제 마찬가지로 ② outlier에 민감한 문제를 해결하고, ③ICP 방법의 새로운 평가 방법(modified Chamfer distance)을 제시하고 있습니다. 앞서 두가지 문제를 해결하고 새로운 평가 방법을 통해 ④ SOTA 성능을 낸 방법을 소개하고 있습니다.
논문의 키 아이디어를 살펴보면:
- 기존 RPM[2]의 spatial distance를 대신 learned feature distance를 사용하여 initialization에 덜 민감하게 만든다.
- 각 포인트의 공간 좌표와 기하학 특성들로 부터 hybrid features를 계산하는 feature extraction network를 설계하고, Sinkhorn[3] layer를 사용하여hybrid features로 부터 결과를 부드럽게 만드는 담금질을 한다.
- 기존의 평가 방법인 Chamfer distance는 불공평하게 페널티를 준다고 주장하고, 수정된 수식을 사용하여 변형 소스 point cloud X와 참조 point cloud Y 사이의 불공평 문제를 줄이려고 한다.
- Network parameter를 최적화시켜 예측 결과 향상을 시킨다.
그림 1에서 보듯이 initialization을 다르게 해줌으로써 local minimum에 빠지지 않는 것에 도움을 주는 것을 알 수 있습니다.
RPM-Net의 전체 구조는 그림2에 보듯이 Feature Extraction, Parameter Prediction, Compute Match Matrix 블럭의 핵심 네트워크가 있습니다. 특히 Feature Extraction의 3가지 component와 Compute Match Matrix에서 수행하는 annealing의 경우 ablation study 항목으로 표1에서 성능 비교를 할 수 있습니다.
Clean data, 즉 어떤 noise도 추가 되지 않은 데이터에서는 표2에서 보듯이 비등방성과 등방성 성능은 FGR[4]이 높은 성능을 보여주지만 RPM-Net 논문에서 제시한 수식1. modified Chamfer distance의 경우 자신들의 모델이 좋다는 것을 알 수 있습니다. (기존의 Chamfer distance는 오른쪽 항의 첫번째 term만 존재하고 L1 loss를 사용합니다. )
반면, 표3과 4에서 알 수 있듯이 noise를 추가하거나 부분적인 것만 보여주는 데이터일 경우 비등방성, 등방성, 그리고 modified Chamfer distance의 정량적 지표 모두 RPM-Net이 우수하다는 것을 주장하고 있습니다.
정성적 지표 또한 아래의 그림3에서 알 수 있듯이 clean한 경우를 제외한 noise, partially visible 상황에서 우수한 결과를 보여주고 있습니다.
(a) Clean (b) Noise (c,d,e) Partially visible
피상적으로 논문을 살펴봤지만 딥러닝의 최근 트렌드를 반영한 것이라고 생각합니다. 성능을 향상시키기 위해 기존 모델을 응용하여 network를 추가 또는 변경하고, 초기값 설정의 중요성, robust한 결과를 얻기 위한 방법, 오래된 평가 지표를 제시하는 연구를 볼 수 있었습니다.
참고:
[1] Zi Jian Yew, Gim Hee Lee. “RPM-Net: Robust Point Matching using Learned Features.” arXiv:2003.13479 (CVPR2020 Accepted)
[2] Gold, Steven, et al. “New algorithms for 2D and 3D point matching: Pose estimation and correspondence.” Pattern recognition 31.8 (1998): 1019-1031.
[3] Sinkhorn, Richard. “A relationship between arbitrary positive matrices and doubly stochastic matrices.” The annals of mathematical statistics 35.2 (1964): 876-879.
[4] Zhou, Qian-Yi, Jaesik Park, and Vladlen Koltun. “Fast global registration.” European Conference on Computer Vision. Springer, Cham, 2016.
