저희 연구실에서 진행한 2.5D Detection 기억하시나요..? 현대자동차 기술과제로 위의 동영상과 같은 2.5D Detection을 수행하기로해서 관련 논문을 읽어봤습니다. 제가 리뷰할 논문은 2019년 ICCV에 나온 논문으로 해당 논문을 시작으로 위의 동영상과 같은 연구들이 이어지고 있는것 같습니다.
본 연구는 정말 저희가 포테닛에서 진행한 2.5D와 동일하게 Object 클래스 분류와 거리를 계산하는 방법을 제안하고 있습니다. 그러면 본 논문에서 제안하는 아키텍처는 어떻게 될까요?
그림과 같이 ROI pooling을 통해서 나온 ROI feature map에 대해서 기존에 classifier만 있다면, 해당 논문에서는 branch를 만들어 Distance Regressor를 추가적으로 만들고 있습니다. 이를 통해서 딥러닝 기반으로 Distance를 예측합니다.
이 그림은 제가 포테닛에 거리추정할때 사용한 네트워크인데 해당 논문을 당시에는 몰랐음에도 유사한 형태를 띄고 있습니다. 즉, 가장 단순한 나이브한 방법이라고 생각하셔도 됩니다. 본 연구에서는 해당 방법을 베이스 라인으로 Distance Estimation의 성능을 향상시키기 위해 추가적으로 Keypoint Regressor를 제안합니다.
해당 연구는 실제 Distance 추정시 Distance 값을 얻을 keypoint를 예측하는 네트워크 인데요. 여기서 차이점은 저희가 진행한 포테닛에서는 저희 연구원들이 직접 keypoint를 찍어서 해당 키포인트의 Depth를 Ground Truth로 사용하였다면 본 논문에서는 이러한 keypoint를 예측을 통해서 계산하게 됩니다. 이때 keypoint는 KITTI, Nuscenes(mini) 데이터셋에서 3D 라이다 포인트를 제공하기 때문에 이를 projection 하여 계산하였고, 이 과정은 오직 학습과정에서만 사용됐다고 합니다. 또한 본 논문에서는 KITTI와 Nuscenes 데이터셋을 자신들의 방법에 사용할 수 있도록 제공하였으며, 이것도 자신들의 Contribution이라고 설명합니다.
실험결과
실험은 위와 같은 지표를 기준으로 평가를 진행하였습니다. 데이터셋은 앞서 설명드린것처럼 KITTI와 Nuscenes(mini) 데이터셋에 대해서 진행하였습니다.
먼저 KITTI 데이터셋에 대한 성능입니다. ResNet50, VGG16 백본을 다르게 실험하였고, 비교대상은 기존의 전통적 방법인 SVR과 IPM과 대조하였습니다.
또한 자신들의 모델에서 classifier의 유/무에 따른 성능도 함께 비교하였는데, classifier가 있을때 성능이 잘 나타남을 확인시키고 있습니다. 이는 멀티태스크로 인해서 오히려 성능향상이 일어남을 나타냅니다.
동일하게 nuScenes(mini) 데이터셋에서도 평가를 하였습니다.
저자는 정성적 결과도 보여주면서 실제 자신들의 방법이 기존 연구보다 Curved road 등에서 성능향상이 나타남을 이야기하고 있습니다.
결론
2019년 ICCV에 나왔지만 간단하고 심플한 방법을 제안한 논문입니다. 이후 해당 연구를 인용한 연구들을 살펴보며 백그라운드 지식을 쌓고 방학이 시작되면 현대차 기술과제를 해당 분야로 진행할 계획입니다.
무저건 3D keypoint를 한번에 regression하는것보다 distance를 먼저 regerssion하여 사용하여야 하는걸까요?
학습시 distance를 regression할 keypoint를 네트워크로 찾는모델입니다.
좋은 리뷰 감사합니다. 2.5D Detection에 대해 모르는 것이 많아 궁금한 것이 있는데, keypoint는 어떤 기준으로 선정되나요?
keypoint는 실제 데이터셋에서 depth를 추출할때 얻은 projected (X,Y) 좌표 값 입니다.
음… keypoint를 지정해서 만들었다고 하는데, 어떤 기준으로 지정했다는 이야기는 없나요??
키포인트를 선정하는 기준에 대한 설명은 없는데 생각해보니 그냥 저희가 한 포인트 잡듯이 잡은거 같네요