[ICCV 2019]FCOS: Fully Convolutional One-Stage Object Detection

Abstract

논문의 저자들은 기존에 semantic segmenataion에 사용되던 per-pixel 예측을 object detection에 사용하는 fully convolutional one-stage object detector(FCOS)를 제안합니다. 이 당시 대부분의 SOTA detector는 anchor-based로, 사용자가 사전에 정의한 형태의 anchor box들로 bbox를 추론하는 방법론이었습니다. 반면에, 논문에서 제안하는 FCOS는 anchor free(proposal free) 방법론입니다. FCOS는 anchor box를 사용하지 않음으로써, 학습 시 anchor box와 gt의 overlapping계산과 같은 복잡한 계산을 피할 수 있습니다.

Introduction

Object deteciton은 이미지에서 대상의 위치에 해당하는 bounding box와 종류에 해당하는 label을 예측하는 task입니다. 이 논문이 나올 당시의 object detection 알고리즘은 Faster R-CNN, SSD, YOLOv2 등이 있었는데, 이들은 모두 anchor 기반으로 사전에 정의된 anchor box로 detection을 수행합니다. 그러나 anchor box 기반의 detector는 몇 가지 단점이 존재하는데, 저자는 다음과 같은 네 가지 문제를 지적하였습니다.

1. detection model의 성능이 anchor box의 크기, 종횡비, 개수와 같은 hyperparameter에 민감함
2. 고정된 모양의 박스를 사용하기 때문에 shape variation이 큰 small object는 찾기 어려움
3. 높은 recall을 위해 많은 수의 anchor box를 사용하여 과도한 negative sample이 생성됨
4. anchor box를 사용하면 anchor box와 GT의 IOU 계산과 같은 복잡한 연산을 수행해야 함

이러한 배경에서, 연구자들은 semantic segmentation, depth estimation, keypoint detection task에서 좋은 성능을 보였던 FCN 구조에 주목하였고, FCN의 per-pixel prediction을 object detection에 적용하게 되었습니다. 이때, 픽셀 별 classfication을 수행하는 semantic segmentation과 달리 object detection에서는 box를 나타내는 4D vector를 추가하였습니다.

[그림 1]의 왼쪽 이미지와 같이 FCOS는 물체의 한 점을 기준으로 박스의 경계까지의 거리인 l, t, r, b를 추정합니다. 이때 [그림 1]의 오른쪽 이미지와 같이 하나의 점이 여러 물체에 속해 있는 경우가 발생할 수 있습니다. 이러한 경우, 여러개의 경계값을 추정해야 하기 때문에 논문에서는 FPN구조를 사용하여 다양한 크기의 feature를 사용하고, 그 중 각 feature map이 커버하는 최소 영역을 기준으로 하여 물체를 검출하습니다. 또한 center-ness를 통해 물체의 중심에서 멀리 떨어진 박스를 제한하는 방법을 사용하였습니다.

Method

FCOS의 전체적인 구조는 [그림 2]와 같습니다. Backbone에서 3가지 크기의 feature를 추출하고 이 feature를 이용하여 5단계의 Feature Pyramid를 생성합니다. Feature Pyramid를 통해 각 Head를 얻고, 여기서 박스와 클래스를 예측합니다.

Fully Convolutional One-Stage Object Detector

Backbone의 conv 레이어 i에서 나온 feature map을 F_i, 각 이미지의 ground truth는 B_i라고 할 때, B_i는 B_i=(x_0^{(i)},y_0^{(i)},x_1^{(i)},y_1^{(i)},c^{(i)})\in \R^4 \times\{1,2,...\ C\}입니다. 즉, GT는 각각의 클래스에 대해 x_0^{(i)},y_0^{(i)},x_1^{(i)},y_1^{(i)} 라는 bounding box 정보를 가지고 있는데, 이때 (x_0,y_0), (x_1, y_1)은 각각 bbox의 좌상단, 우하단의 좌표값을 의미합니다.

저자들은 feature map 상의 한 점 (x, y)에서 박스를 추정하는 방법으로 다음과 같은 방식을 제안하였습니다. (x, y)가 GT box에 속하면 positive sample로 간주하고, (x, y)가 GT box에 속하지 않는다면 negative sample로 간주하고 배경 클래스인 0값을 부여합니다. 이때, (x, y)에서 bounding box의 크기를 예측하는 방법은 [수식 1]과 같습니다.

[식 1]을 이용하여 prediction과 target인 GT 간의 차이인 t^*를 구할 수 있습니다.

(x, y)가 여러 개의 bounding box에 속해 있는 경우, 이를 ambiguous sample이라 하고 이 경우에는 가장 작은 영역을 가진 박스를 선택합니다. 이때 multi-level prediction을 사용하여 성능에 큰 영향을 주지 않았다고 합니다.

FCOS는 가능한 많은 foreground sample을 regressor의 학습에 사용하고자 하였습니다. 저자들은 anchor-based 방법론에서 충분한 IOU를 가진 sample들만 positive sample로 취급하여 학습에 사용하는 것과 달리, FCOS는 배경을 제외한 모든 샘플을 학습에 사용하였기에 더 높은 성능을 낼 수 있었다고 주장합니다.

Network Outputs

FCOS의 마지막 layer는 클래스 수만큼의 차원을 가지는 벡터 p와 박스를 의미하는 4D 벡터 t^∗=(l^∗,t^∗,r^∗,b^∗)를 예측합니다. 또한 multi-classifier를 사용하는 대신, 클래스 수 만큼의 binary classifier를 사용하였고, exp(x)를 사용하여 regression target의 범위를 (0, \infty)으로 설정하였습니다.

하나의 위치에서 여러 개의 anchor box를 사용하는 방법들에 비해 FCOS는 한 위치에서 anchor 없이 regression을 진행하기 때문에 anchor box배 적은 output variable을 가집니다.

Loss Function

FCOS에서 사용되는 training loss는 [수식 2]와 같이 정의됩니다.

저자들은 classification을 위한 Loss로 Focal loss를 사용하였고 Regression을 위한 Loss로 IOU loss를 사용하였으며, 각 Loss는 positive 샘플의 개수로 나누어 normalization을 진행하였습니다. 또한, \lambda를 이용하여 regression loss의 가중치를 조절하였습니다.

Multi-level Prediction with FPN for FCOS

저자들은 위의 설명된 FCOS에는 다음과 같은 2가지의 문제점이 발생할 수 있으며, 이를 FPN구조로 해결할 수 있음을 주장합니다.

1. cnn의 마지막 feature map의 large stride가 BPR(Best Possible Recall)을 낮춤
2. 한 픽셀에서 GT box가 겹치는 경우, 모호함 발생

문제점 (1)은 FCOS의 마지막 feature map에서 큰 output stride를 가지게 되고, 작은 물체들은 해당 feature map에서 찾기 어려우므로 recall이 낮아진다는 것을 의미합니다. Anchor based detector는 recall이 낮아지면 IoU threshold를 낮춰 recall을 증가시킬 수 있는 반면, FCOS는 IoU를 계산하지 않기 때문에 이러한 방법을 사용할 수 없습니다.

이에 저자들은 FPN들 사용하여 서로 다른 output stride를 가지는 feature map을 생성하고, 작은 output stride를 가지는 feature map에서 작은 물체를 찾고, 큰 output stride를 가지는 feature map 에서 큰 물체를 찾게 하여 이러한 문제는 해결하였습니다. FPN을 FCOS 모델에 적용하였을 때, Anchor based 모델인 RetinaNet 보다 더 좋은 BPR 성능을 얻을 수 있음을 실험적으로 확인하였습니다.

문제점 (2)는 [그림 1]의 오른쪽과 같이 한 점이 겹쳐진 두 bounding box에 속하게 될 때, 어떤 bounding box와 class를 대상으로 학습을 해야하는 지에 대한 모호성을 의미합니다.

저자들은 서로 다른 두 박스 를 각각 서로 다른 scale의 feature map에서 찾음으로써 이러한 문제를 해결하였습니다.

[그림 3]에서 P_3 ~ P_7은 서로 다른 크기의 feature입니다. P_3, P_4, P_5 는 각각 C_3, C_4, C_5에 1 x 1 convolution을 적용하여 얻고 P_6, P_7은 P_5에 stride 2를 차례대로 적용하여 만들었습니다. 결과적으로는 그림에서 볼 수 있듯이 P_3=8, P_4=16, P_5=32, P_6=64, P_7=128의 s를 가집니다.

FCOS는 기존 anchor based detector와 달리, 각 level의 feature에서 bounding box의 regression 범위를 제한하였습니다. 각 bounding box 까지의 거리를 l^∗,t^∗,r^∗,b^∗라고 하면 i 번째 feature 에서 (l^*, t^*, t^*, b^*)>m_i, (l^*, t^*, t^*, b^*)<m_{i-1}범위의 sample들은 negative로 취급하였습니다. 이 논문에서는 m_2~m_7의 값을 0, 64, 128, 256, 512, inf로 사용하였습니다. 만일 multi-level prediction을 사용함에도 한 위치에서 여러 개의 박스가 할당된다면, 가장 작은 면적의 GT를 선택하였습니다.

Center-ness for FCOS

FCOS에 multi-level prediction을 사용해도, FCOS와 anchor 기반의 디텍터와의 성능 차이가 있었다고 합니다. 저자들은 그 이유를 FCOS는 상대적으로 low-quality의 bounding box를 예측하기 때문이라고 분석하였습니다. 이러한 box들은 실제 물체의 중앙점에서 멀리 떨어진 경향이 있어 저자들은 center-ness를 도입하여 중심에 가까운 박스에 더 큰 값을 부여하는 방법을 사용하였습니다.

center-ness는 물체의 중심점과의 거리를 0과 1사이로 정규화하여 어떤 박스가 중심점과 가깝다면 1에 가까운 값을 배정하고, 중심정과 멀다면 0에 가까운 값을 갖도록 만듭니다.

center-ness는 [식 3]과 같이 나타낼 수 있습니다. center-ness를 classification score 출력에 곱해주게 되면 마지막 layer의 NMS과정에서 중심에서 먼 박스는 걸러지게 됩니다.

Experiments

실험은 COCO데이터셋에서 진행되었고, 모델의 backbone으로는 ResNet-50을 사용하였습니다.

Multi-level Prediction with FPN

[표 1]은 multi-level prediction을 통해 FCN-based detector의 낮은 recall 문제를 해결하는 실험 결과를 나타냅니다.

RetinaNet은 anchor-based 방법론으로 GT와 anchor box와의 IoU에 따라 positive sample을 결정하게 됩니다. 이때, IoU threshold를 낮추면 low-quality matches를 포함하게 되어 Recall이 높아지는 결과를 확인할 수 있습니다.

반면에 FCOS는 Recall을 조절하는 방법으로 FPN을 사용하여 Recall값을 조절한 결과를 보였습니다.

Comparison with State-of-the-art Detectors