[CVPR2020]PolarMask: Single Shot Instance Segmentation with Polar Representation

1. Abstract
제안하는 Polar mask는 anchor-box free 방식의 single shot instance segmentation 기법이다. PolarMask는 instance segmentation 문제를 instance center분류 및 윤곽선을 예측하는 문제로 바꾸어 해결하였다. 그 결과로 계산 복잡도와 모델의 단순함이 bounding box 물체인식과 비슷한 수준으로 instance segmentation 문제를 해결할 수 있다.
코드도 공개되었다 github.com/xieenze/PolarMask 어서 포크하자

2. Introduction
기존의 많은 Instance segmentation는 bounding box detection 을 진행한 이후, 각 box 마다 semantic segmentation을 진행하는 two-stage 방식이였다. 이 논문은 기존의 방법에서 최근의 트랜드인 “효율성” 측면을 강화시켰다.

일반적인 segmentation 문제는 보통 Figure 1의 (b)처럼 bounding box에서 이진 분류 마스크를 이용한다. segmentation 마스크를 표현하는 방법은 이진 마스크 뿐만 아니라 (c)좌표점 표현법 과 (d)polar 표현 법이 있다. 이 두 방법은 물체의 중심을 원점으로 놓아 (b)의 방법보다 적은 정보량으로 나타낼수 있어 좋다. polar 방식은 각과 윤곽선까지의 거리를 이용하여 마스크를 쉽게 나타낼 수 있다.

3. Method

3.a. Polar Representation
instance mask \left(x_{i}, y_{i}\right),i=1,2,3,…,N. 가 주어졌을 때, 먼저 center 후보점 \left(x_{c}, y_{c}\right) 에서 pre-defined된 \theta 의 간격마다 중심점과의 거리를 예측하는 문제로 segmentation문제를 다룰 수 있다.
3.b. Mass Center
Center 점으로 어떤 점을 쓸 것인가? 크게 bounding box의 center와 물체의 질량중심을 이용할 수 있다. 논문에서 실험을 통해 mass center가 더 좋음을 밝혔다. 논문에서 밝힌 이유는 질량중심이 물체의 내부에 있을 확률이 박스 중심보다 높기 때문이다.

3.d. Center Samples
\left(x_{c}, y_{c}\right)
3.e. Distance Regression
주어진 center sample \left(x_{c}, y_{c}\right) 와 윤곽선 사이의 거리는 계산하기 쉽다. 이때 헷갈리기 쉬운 부분에대해
– 중심에서 뻗어나오는 선이 윤곽선과 여러번 만난다면 가장 큰 지점을 거리로 한다
– 중심에서 뻗어나오는 선이 윤곽선과 만나지 않는다면 가장 작은 값 \epsilon 으로 한다
3.f. Mask Assembling
inference 동안 network는 classification과 centerness 결과를 출력한다. 이를 통해 confidence score를 계산하여 thresholding을 진행한다. 이후, 0.5로 NMS를 진행하여 final result를 얻는다.
다음은 center sample과 length를 이용하여 윤곽선을 얻는 방법이다.
x_{i} = cos θ<em>{i} × d</em>{i} + x_{c}
y_{i} = sin θ<em>{i} × d</em>{i} + y_{c}

3.2. Polar Centerness
Centerness 는 hyper parameter없이 적절한 detection을 위해 제안되었다. 논문은 기존의 bounding box에 맞추어 제작된 Centerness를 질량 중심에 맞게 수정하여 제안하였다.
Polar Centerness = \sqrt{\frac{min({d1, d2, . . . , dn})}{max({d1, d2, . . . , dn})}}
3.3 Polar IoU Loss
대부분의 물체인식과 segmentation 분야에서 smooth-l1 loss와 IoU loss가 효율적인 loss로 사용된다. 이때 l1 loss는 두 비교대상간의 correlatoin을 무시하는 경향이 있고, IoU는 계산이 어려운 경향이 있다. 그래서 논문은 새로운 Loss를 제안하였다.