안녕하세요, 양희진입니다.

이번에도 6D Pose estimation 관련 논문입니다. 예전에 꽤 최근에 이 논문을 찾게 되었고, 수식적인 부분은 꽤 어려웠으나 괜찮은 접근법인 것 같아 한 번 리뷰를 해보았습니다.

Abstract

복잡한 환경에서 물체의 pose R, t에 대한 6DoF를 단일 RGB이미지에서 직접 regression 하는 것은 여전히 어려운 문제입니다. 최근에는 end-to-end 방식이 높은 효율로 유망한 결과를 보여주고 있지만, pose의 정확도 측면에서 정교한 PnP/RANSAC-based 접근 방식과 비교하면 여전히 성능이 떨어집니다. 이번에 소개할 SO-Pose는 이러한 단점을 self-occlusion에 대한 예측을 통해 단점을 해결하여 3D 오브젝트에 대한 two-layer representation을 구축함으로써 end-to-end 방식의 6D pose estimation의 정확도를 크게 향상시켰습니다. SO-Pose라는 이름의 프레임워크는 단일 RGB 이미지를 입력으로 받아 shared encoder와 두 개의 seperate decoder를 활용하여 2D-3D correspondence와 self-occlusion 정보를 각각 생성합니다. 그런 다음 두 output을 fusion하여 6DoF pose 파라미터를 직접 regression시킵니다. correspondence, self-occlusion 및 6D pose를 align하는 cross-layer consistency를 통합하여 정확도와 강인함을 더욱 향상시켜 다양한 challenge 데이터셋에서 SOTA를 달성하거나 비슷하게 나왔다고 합니다.

1. Introduction

6D pose estimation을 하는 것은 로봇의 grasping과 planning, AR(Augmented Reality), Autonomous driving을 포함한 high-level computer vision task에서 필수적인 단서로 채택된 상태라고 합니다. (🤔)

딥러닝의 성공에 힘입어 최근 방법은 복잡한 환경에서도 6D pose를 높은 정확도 및 효율로 추정을 할 수 있게 되었다고 합니다. 거의 모든 프레임워크들은 2D-3D correspondence를 먼저 설정한 다음 RANSAC-based PnP(Perspective-n-Point)알고리즘을 사용하여 6D pose 를 계산하는 2-stage strategy를 사용하고 있습니다. 해당 방법은 좋은 결과를 얻을 수 있는 반면에 end-to-end로 학습을 할 수 없기 때문에 pose의 최적화를 위한 추가 계산이 들어가게 됩니다. 또, 6D pose를 직접 예측하는 대신 surrogate training loss(self-supervised)를 적용하면 더 차별적인 처리 및 학습이 불가능하고 다른 다운스트림 task를 통합할 수 없다고 합니다.

2-stage로 접근하는 방법론이 해당 분야에 대해 지배적이긴 하지만 end-to-end 방식으로 6D pose를 제안하는 방법도 있습니다. 대체적으로 그림1(a)와 같이 dense correspondence-based intermediate geometric representation으로부터 직접 6D pose를 학습합니다. 하지만 end-to-end 방식은 지속적으로 개선되고 있지만, multi-view consistency check, symmetry analysis, disentangled prediection을 활용하는 2-stage 방식에 비해 여전히 열등합니다.

end-to-end 방법의 정확도를 제한하는 요소는 무엇일까요? clutter scene에 대한 심층 조사 결과, 네트워크가 최적에 가까워지는 동안에도 texture가 없는 물체 표면의 고유한 매칭의 ambiguity로 인해 노이즈로 인한 mis-matching 오류가 불가피하며, 그 결과 하나의 correspondence field가 유사한 fitting error를 가진 여러 6D 포즈에 corresponding하는 경우가 많다는 것을 관찰할 수 있었습니다. 이로 인해 학습 과정이 원하지 않는 곳으로 수렴하게 되어 전반적인 6D 포즈 추정 성능이 저하됩니다. 노이즈로 인한 error를 제거하는 것은 간단하지 않으므로 이 문제에 대한 대안은 correspondence field를 3D 오브젝트의 보다 정확한 표현으로 대체하여 노이즈의 영향을 줄이는 것입니다.

Main Contribution

• 각 3D 물체의 two-layer representation에서 6D pose를 직접 regression하는 방법인 SO-Pose 제안
• self-occlusion 및 2D-3D correspondence을 같이 사용하여 3D 공간에서 각 물체에 대한 2-layer representation을 적용하고, 이를 활용하여 2개의 cross-layer consistency을 적용하는 것을 제안
• SO-Pose는 다양하고 challenge한 데이터셋에서 SOTA를 달성하였고, 당시 다른 방법들과 비교했을 때, 비슷한 정확도를 달성하면서 훨씬 빠름

2. Related Works

monocular 6D pose estimation 관련 작업은 크게 세 가지로 분류가 되는데요. 특히, 최종 6D pose를 직접 regression하는 방법도 있지만, pose의 차후 retrieval을 위해 latent embedding을 학습하거나 2D-3D correspondence를 사용하여 잘 정립된 RANSAC/PnP 패러다임을 통해 6D 포즈를 푸는 방법도 있습니다.

1. 6D pose를 직접 regression 하는 방법입니다.

[15]은 SSD를 확장하여 6D 물체의 pose를 추정하고 regression 문제를 classification 문제로 전환합니다. 후속 연구 [24]에서는 여러 가설을 활용하여 ambiguity에 대한 강인함을 개선하기 위해 여러 가설을 활용하였습니다. [26]은 projective contour alignment에서 얻은 아이디어를 활용하여 포즈를 추정합니다. 다른 몇 가지 작업에서도 포인트 매칭 loss를 사용하여 3D에서 pose를 직접 최적화합니다. 마지막으로, [12]와 [43]은 모두 2D-3D correspondece를 설정하지만 end-to-end 방식으로 PnP를 학습하려고 시도했습니다.

1. pose 추정을 위해 latent embedding을 사용하는 방법입니다.

이렇게 학습된 embedding은 inference 중에 retrieval에 활용될 수 있습니다. [38]은 Augmented Auto Encoder(AAE)를 사용하여 low-dimensional pose embedding을 학습합니다. 2D object detector를 사용하여 이미지 공간에서 객체를 localize한 후, detection된 latent representation을 계산하고 미리 계산된 codebook과 비교하여 pose를 검색합니다. 여러 객체에 대한 확장성을 더욱 향상시키기 위해 각 객체에 대해 별도의 디코더와 함께 단일 공유 인코더를 사용할 것을 제안된 연구도 있습니다.

2. 마지막으로, 마지막 단계는 2D- 3D 대응을 설정한 후 RANSAC/PnP를 사용하여 pose 문제를 해결하기 위한 기반이 됩니다.

[28]은 물체 표면에서 멀리 떨어진 키포인트는 더 큰 오차를 유발하므로, 대신 가장 먼 지점 샘플링을 기반으로 물체 모델에서 여러 키포인트를 샘플링한다는 것을 입증했습니다. [36]는 hybrid representation을 도입하여 [28]을 따르고 좀 더 발전시켰습니다. 그러나 주목할 만한 점은 이에 에 속하는 대부분의 연구들이 dense 2D-3D coorespondence를 구축한다는 것입니다. 이러한 방법은 다양한 challenge한 benchmark 데이터셋에서 우수한 성능을 보이는 방법 중 하나입니다.

[28] Sida Peng, Yuan Liu, Qixing Huang, Xiaowei Zhou, and Hu- jun Bao. Pvnet: Pixel-wise voting network for 6dof pose estimation. In CVPR, 2019.
[36] Chen Song, Jiaru Song, and Qixing Huang. Hybridpose: 6d object pose estimation under hybrid representations. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 431–440, 2020.

3. Methodology

식 (1)은 이미지 I가 주어졌을 때, 신경망을 활용하여 I에서 상대적인 회전 R과 이동 t로의 매핑 f(\cdot)을 학습하여 타겟 물체를 물체 좌표계에서 카메라 좌표계로 변환하고 이때 \Theta는 사용되는 네트워크에서 학습 가능한 파라미터를 의미합니다. clutter한 환경에서는 (self-) occlusion으로 인해 사용 가능한 객체 정보가 심각하게 제한되는 경우가 일반적으로 많습니다. 또한 occlusion 상태에서 3D 회전 파라미터를 직접 regression 하는 것은 어려운 것으로 입증이 되었습니다. 저자는 3D reconstruction의 multi-layer 모델에서 영감을 받아 correspondence에만 의존하는 single-layer 접근 방식보다 좀 더 완전한 기하학적 특징을 포착하기 위해 눈에 보이는 2D-3D correspondence와 보이지 않는 self-occlusion 정보를 결합하여 3D 공간에서 객체에 대한 two-layer representation을 사용할 것을 제안합니다. 이를 통해 self-occlusion, correspondence field, 및 6D pose를 align을 맞추기 위해 2개의 cross-layer consistency을 적용하여 노이즈의 영향을 줄이고 다양하고 어려운 상황에서 pose estimation 성능을 향상 시킵니다.

3.1. Self-occlusion for Robust Pose Estimation

대부분의 CNN-based 6D pose estimation 접근 방식은 물체의 보이는 부분에만 초점을 맞추고 occlusion된 부분에 대해서는 무시합니다. 하지만 실제 환경은 complex하며 물체의 가시영역이 매우 제한적이거나 texture 정보가 거의 표시 되지 않는 경우가 많습니다. 이에 따라 single-layer representation은 물체의 기하학적 특징을 완전하게 + 정확하게 encoding을 할 수 없기 때문에 6D pose에 ambiguity를 초래시킵니다. 3D recontruction의 multi-layer model과 유사하게 저자는 3D 객체를 더 풍부하게 representation하기 위해 self-occlusion 정보를 활용하려고 시도했다고 합니다. 그림2(d),(e)를 보면 추정된 2D-3D correspondence와 self-occlusion을 결합하여 3D 공간에서 물체의 pose를 describe하기 위한 two-layer represenation을 만듭니다. 카메라 중앙에서 방출되어 물체를 통과하는 광선을 상상해보면, 이 광선은 여러 다른 지점에서 물체 표면과 교차하면서, 이 중 첫 번째 광선은 표시가 되지만 다른 광선은 모두 self-occlusion 됩니다. 영감을 받은 3D recontruction의 multi-layer model에서는 self-occlusion된 점을 기록하는 것과 다르게 각 광선과 물체의 좌표 평면 사이의 교차점 좌표를 기록한다고 합니다.

그림(3)에서 방금 전 언급한 광선 OP는 점 Q_x, Q_y, Q_z에서 오브젝트 좌표계의 o-yz, o-xz, o-xy와 교차합니다.

물체 obj의 경우 P, Q = {Q_x, Q_y, Q_z}를 결합하여 two-layer 모델을 나타내며 V는 카메라 좌표계를 기준으로 현재의 visible 뷰 포인트를 나타냅니다. 회전 R과 이동 t를 알면 P에서 Q를 유도할 수 있습니다.

P를 2D 이미지 평면에 projection하면 카메라 intrinsic matrix를 설명하는 K와 visible 3D point을 나타내는 P=[X_P, Y_P, Z_P]^T를 구할 수 있습니다.

카메라 좌표계에 대한 물체의 좌표 평면은 식(4)와 같이 정의할 수 있습니다. 이때 X는 식(5)에서 주어진 좌표 평면의 3D점을 의미합니다.

위와 같은 과정을 통해 식(6)과 같이 광선 OP가 교차하는 평면 o-yz에 위치하는 Q_x를 도출할 수 있습니다.

식(6)에서 n_x를 나머지 2개 (n_y, n_z)로 대입하면 Q_y, Q_z를 도출할 수 있을 것입니다.

P와 Q는 카메라 좌표계를 기준으로 표시되므로, 물체 좌표계를 기준으로 해당 좌표는 P_0 = R^TP-R^Tt, Q_0 = R^TQ-R^Tt로 계산됩니다. 추가적으로 물체의 diameter를 기준으로 P_0, Q_0를 정규화를 진행한다고 하는데 좌표에 대한 값들이 크면 학습이 어려워질 수 있기 때문에 정규화를 한 것으로 보입니다. 주의할 점은 카메라 중심 O와 보이는 점 P를 통과하는 광선이 객체 좌표 평면 중 하나에 평행할 수 있으므로 광선이 평면과 교차하지 않을 수 있다는 점입니다. 이러한 경우를 피하고 강인함을 높이기 위해 그림(3)과 같이 minimum bounding cuboid \Omega 내부의 교차점만 고려합니다.

식(6)의 self-occlusion의 정의를 따르면 two-layer representation은 single-layer approach에 비해 3가지의 장점이 있습니다.

1. 오브젝트 표면과 무관하게 각 visible point에 대한 회전 R과 이동 t 파라미터를 사용하여 self-occlusion 좌표 Q를 도출할 수 있음 → 렌더링에서 발생하는 오류를 제거할 수 있음
2. self-occlusion 좌표 Q_0는 좌표평면에 위치하므로 DOF가 2개뿐이므로, Q_0를 표현하기 위해서는 2개의 값만 예측하면 됨 → 노이즈의 영향을 줄일 수 있는 정규화 term에서 작용함
3. P와 Q가 같은 선상에 위치하기 때문에 self-occlusion, 2D-3D correspondence 및 6D pose의 align을 맞추는 여러 cross-layer consistency을 도출할 수 있으므로 challenge한 상황에서도 강인함을 크게 향상 시킬 수 있음

3.2. Cross-layer Consistency

3D 공간에서 객체에 대해 추정된 two-layer representation을 사용하여 2개의 cross-layer consistency loss term을 적용하여 self-occlusion, correspondence field 및 6D pose 파라미터를 공동으로 align을 맞춰줍니다.

식(3)을 식(6)에 대입하고 정리하면 식 (7)을 얻을 수 있습니다.

||*||_{1}은 L1 loss를 나타내고 |Q_0|은 \Omega내의 교차점 수를 나타내는 식(8)과 같이 첫 번째 cross-layer consistency를 적용합니다. 식(8)은 식(6)의 Q정의를 기반으로 3D 공간에서 2D-3D corresspondence 관계 P, self-occlusion Q, pose R, t를 함께으로 align하고 refine합니다. 첫 번째 cross-layer consistency는 3D 공간에서 적용되지만, 두 번째 cross-layer consistency는 2D 이미지 평면에서 적용하게 됩니다.

P와 Q는 같은 선상에 위치하기 때문에 투영은 이미지 평면에서 같은 점 \rho를 describe합니다. 따라서 (9), (10), (11)을 사용하여 2D consistency term을 도출할 수 있습니다. 여기서 e_{PQ}는 P와 Q를 동일한 2D 포인트에 projection할 수 있도록 강제하고, e_{Q\rho}는 Q를 Q의 해당 GT의 projection인 \rho에 projection할 수 있도록 강제합니다.

3.3. Overall Objective

SO-Pose는 단일 RGB 이미지를 입력으로 받아 3D 공간에서 물체의 6D pose 파라미터인 R, t를 직접 예측합니다. two-layer representation을 위해 네트워크를 통해 correspondence field와 3개의 self-occlusion map을 생성하게 됩니다. 두 가지 intermediate geometric 특징을 모두 concat하여 pose 예측에 전달하여 완전하게 미분 가능한 방식으로 output pose를 얻게 설계를 했다고 합니다.

전체 목적 함수는 pose에 대한 기본적인 term(식12), cross-consistency term(식13), self-occlusion term(식14)으로 구성됩니다.

특히 L_{pose}는 correspondence field, translation parameter, visible mask, 영역 분류 및 포인트 매칭에 대한 결합된 loss term입니다.

self-occlusion의 경우, L_Q는 식(15)와 같이 두 부분으로 구성됩니다.

식(16)에서 Q_{1}의 경우, L1 loss를 적용하며, \hat Q_0은 GT self-occlusion 좌표입니다.

식(17)에서 Q_2의 경우, Q_1과 유사하게 projection 후 consistency를 보장하기 위해 L1 loss를 적용하였다고 합니다. \hat R과 \hat t는 R, t의 GT를 의미하고 식(17)에서 예측된 모든 self-occlusion 좌표 Q_x, Q_x, Q_z가 P에 대해 동일한 선에 위치하도록 강제합니다.

4. Evaluation

Evaluation Metrics

가장 일반적으로 사용되는 평가지표를 사용합니다.

• ADD(-s)

GT와의 편차가 물체 직경 10%(0.1d) 미만인 변환된 3D 모델 포인트의 비율을 측정하고 대칭 객체인 경우 ADD(-s)는 closet model point 편차를 측정함

• n^\circ ncm

회전에 대한 오차가 n^\circ보다 작고 이동에 대한 오차가 ncm미만인 예측된 6D pose의 비율을 측정

Comparison with State of the Art

Results on LM.

표(1)을 보면 평가 지표가 꽤 tight한 것을 볼 수 있습니다. 해당 결과에 대해 저자는 제안한 방법이 로봇 어플리케이션에서 큰 잠재력이 있음을 보여준다고 합니다.

Results on LMO.

real+syn 데이터로 학습을 하는 경우 refinement-base 방법론과 비슷한 성능을 보이며 real+pbr 데이터로 학습을 하는 경우 8개의 객체 중 5개의 객체에서 SOTA를 달성한 것을 확인 할 수 있으며 평균이 다른 모델에 비해 큰 차이가 나는 것을 확인할 수 있습니다.

( pbr은 pysically-based rendered 데이터를 의미합니다. 즉, 추가적인 렌더링 데이터라고 생각하시면 좋을 것 같습니다. syn은 synthetic 데이터로 합성데이터를 의미합니다. )

Results on YCB-V.

Ours(34, 50)은 ResNeSt(34, 50)입니다. CosyPose와 비슷한 결과를 얻었지만, CosyPose는 refinement 중심 방법론이기 때문에 좀 느린 반면에 SO-Pose는 최종 6D Pose 를 얻기 위해 단 한 번의 forward pass만 필요하기 때문에 훨씬 빠르게 task를 수행할 수 있다고 합니다.

Ablation Study

Effectiveness of cross-layer consistency.

표(1)을 다시 보면 cross-layer consistency의 효과를 보여줍니다. 각 term을 제거하여 6D pose에 미치는 영향을 관찰하고 해당 실험을 통해 cross-layer consistency의 유용성을 확인할 수 있었다고 합니다.

Benefits of employing self-occlusion.

self-occlusion이 pose의 퀄리티에 대해 향상시킨다는 것을 보여주기 위해 2-stage 방법인 CDPN을 사용하였다고 합니다. CDPN은 2D-3D correspondence에서 3D 회전 R을 추출하기 위해 RANSAC/PnP에 기반을 두는 방법론입니다.

식(18)과 같이 cross-layer 구성 term을 약간 수정하였습니다. 기본적으로 consistency term인 L_{cdpn}은 L_{cl-3D}및 L_{cl-2D}의 예측 회전 R을 GT 회전 \hat R로 대체하여 계산됩니다. L_{cdpn}을 제외한 CDPN의 모든 원래 loss term은 보존됩니다.

표(5)에서 볼 수 있듯이, CDPN에 two-layer 모델을 도입한 후 모든 metric에 대해 성능이 다시 크게 향상됩니다. 이는 저자가 제안한 two-layer 모델의 일반화 가능성을 명확하게 보여줍니다.

5. Conclusion

이렇게 SO-Pose를 리뷰해보았습니다. 저자는 향후에 2-layer model을 self-supervise 6D pose estimation 및 category-level의 보이지 않는 물체 분석에 통합하는 것에 집중을 할 것이라고 합니다.