[NIPS2017] PointNet++: Deep Learning on Point Sets for 3D Classification and Segmentation

논문: PointNet++: Deep Learning on Point Sets for 3D Classification and Segmentation

블로그 시리즈:
1. Review: PointNet

이번 논문은 지난 PointNet[1] 리뷰에 이어 같은 연구자 발표한 PointNet++ 논문입니다. PointNet의 문제점으로 지적된 local feature 요소가 없이 때문에 표현력이 떨어지는 점을 보완하기 위해 CNN의 방법에서 아이디어를 얻어 국소적인 특성부터 전체적인 특성까지 점차 시야를 넓혀가며 진행하는 계층적 방법을 사용했습니다. (PointNet++ 의 코드는 https://github.com/charlesq34/pointnet2 를 참고하세요.)

논문의 시작은 PointNet이 point clouds data를 직접 사용한 선구적인 연구였다는 이야기로 시작합니다. 그리고 2D 이미지 방법과 같이 local feature와 global feature를 뽑아 특징을 잘 서술하는 것이 아니라 point clouds 특징을 바로 붙여버리기 때문에 국소적인 부분을 표현하기에 부족한 점이 문제라고 지적하였습니다. 지적된 문제를 해결하기 위해 CNN이 convolution을 반복하면서 점차 넓은 차원으로 특징을 뽑아내는 점에 착안하여 point clouds data를 작은 단위로 나누고 작은 PointNet을 통과시켜 나오는 결과가 local feature로 정의한 후 이 과정을 반복하면 global feature도 뽑을 수 있다는 것이 핵심입니다.

그림 1은 PointNet++의 구조이며 다시 한번 핵심 흐름을 말하자면:
1. Input data를 작은 그룹으로 묶고 각 그룹에 PointNet을 실행하여 local feature를 얻음
2. Local feature를 다시 그룹으로 묶고 다시 한번 PointNet을 실행하여 global feature를 얻음
3. Global feature를 이용하여 classification과 segmentation을 진행

이어서 그림 1에 나와 있는 set abstraction에 대해 간략히 설명하겠습니다.

Sampling layer에서는 farthest point sampling (FPS)를 사용하여 input data의 작은 그룹을 선택하게 됩니다. 여기서 사용한 FPS 방법에 대해서는 좀 더 이해를 한 후 내용을 공유해드리겠습니다. Grouping layer에서는 sampling된 data를 ball query 혹은 kNN으로 그룹(구현된 코드에서는 64개의 그룹으로 설정)으로 나누게 됩니다. 그리고, 각 그룹별로 PointNet layer를 통과시켜 local feature를 뽑고 위 과정을 한 번 더 반복하는 것으로 국소적인 지역의 특징에서 전체적인 특징을 볼 수 있도록 해줍니다.

위와 같은 set abstraction 과정이 끝난 후 classification과 segmentation은 그림 1과 같은 과정을 진행해줌으로써 결과를 얻을 수 있습니다.

이 논문에서는 point clouds data에서 sampling을 할 경우 density가 불균형인 문제를 지적하고 있습니다. 제기된 문제를 해결하기 위해 그림 2와 같이 Multi-scale grouping (MSG)과 Multi-resolution grouping (MRG)를 제시하고 있습니다. MSG는 scale의 변화를 준 sample group을 concatenate한 것이고, MRG는 abstraction을 거친 vector와 raw data vector를 concatenate한 것입니다. 특별히 training point set을 균등하게 분포하고 95%의 분포 확률을 만족하는 범위에서 랜덤하게 뽑는 것을 dropout (DP)라고 말하고 있습니다. 그리고, MSG보다 MRG가 computational resource가 덜 사용하는 장점이 있다는 것을 언급하고 있습니다.

그림 3과 같이 MSG와 MRG를 DP와 같이 사용한다면 points의 개수가 적은 상황, 즉 density가 불균형적인 문제에도 강인한 것을 보여주고 있습니다. 그리고 그림 4는 정확도에 대해 비교하고 있는데 의문이 드는 점은 MSG의 성능이 더 좋은 것으로 나오는데 위에 언급한 바로는 MRG의 효율성이 더 좋다고 말한 점에 대해 정확한 비교 실험 결과가 없다는 것입니다. 논문에서는 MSG와 MRG의 trade-off가 없기 때문에 조금 더 알아봐야할 항목으로 생각됩니다.

표 1은 PointNet++는 ModelNet40 데이터셋의 classification에서 sota를 달성했다는 점을 보여주고 있습니다.

그림 5의 정성적 결과 비교로 PointNet++가 이전 연구에 비해 scene에서 object, 즉 전체에서 부분을 잘 구분해내는지 알 수 있습니다.

PointNet과 PointNet++ 모두 point clouds data라는 raw data만을 사용하여 기존의 2D 베이스의 확장 연구와 다른 방법으로 3D의 classification과 segmentation이 잘 동작하는 방법을 제시하고 있습니다. 이번 PointNet++의 sampling 방법인 FPS에 대해 그런 방법이 있다하고 넘어간 점과 MSG, MRG의 trade-off 결과를 찾지 못한 점에 대해 내용을 보충할 예정입니다.

참고:
[1] PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation