[CVPR 2016] NetVLAD: CNN architecture for weakly supervised place recognition

Visual Place Recognition 분야의 논문을 읽어보려고 하다 Place Recognition의 베이스 논문이라고 할 수 있는 NetVLAD에 관한 이해가 우선되어야 할 것 같아 NetVLAD 논문을 읽게 되었습니다. 이 논문은 제목에서 볼 수 있듯이 Place Recognition task의 논문으로 query 이미지의 특징을 추출하고, 추출된 특징을 바탕으로 retrival을 수행하여 query 이미지의 위치를 추정하는 task입니다. NetVLAD는 CNN을 기반으로 E2E학습이 가능한 특징 기술자의 종류로, 이를 기반으로 여러 분야에서 널리 활용되고 있습니다. 그럼 본격적으로 리뷰 시작하겠습니다.

Introduction

저자들은 intro에서 여느 논문과 같이 task의 중요성을 언급합니다. Visual Place Recognition은 vision 데이터를 기반으로 물체의 위치를 추정하는 task로 컴퓨터 비전뿐 아니라 로보틱스, 자율 주행 application, 증강 현실, geo-localizing 분야에서 많은 관심을 받고 있습니다.

이러한 place recognition에는 해결해야 할 문제점이 있습니다. 하나는 조명 등 시간에 따라 모습이 달라지는 장소들을 동일한 장소로 인식할 수 있도록 하는 것이고, 다음으로는 비슷해 보이는 장소들을 구별할 정도로 풍부한 정보를 담고 있으면서도 도시 혹은 국가 전체를 표현할 수 있을 정도로 compact한 representation을 찾는 것입니다.

place recognition은 전통적으로 instance retrival 방식으로 해결하였습니다. 사전에 위치 정보를 알고 있는 이미지의 database가 존재하고 query 이미지가 들어왔을 때, query와 가장 유사한 이미지를 database에서 찾아 query 이미지의 위치를 추정하는 것입니다. 이때 각 이미지의 유사성을 비교하기 위해 SIFT와 같은 local feature를 추출하여 bag-of -visual-word, VLAD, Fisher vector 방법론을 적용하여 하나의 이미지를 single vector로 나타내었습니다.

저자들은 Image classification, scene recognition, object detection 등의 분야에서 강력한 성능을 보여준 CNN에 주목하였고 이를 place recognition에 직접적으로 적용할 수 있는 방법인 NetVLAD를 제안하였습니다.

CNN을 place recognition에 적용할 때, 다음과 같은 세 가지의 challenge들이 있었습니다.

• 어떤 CNN architecture가 Place Recogniton에 적합한가?
• 학습에 사용할 만큼의 충분한 annotated 데이터를 어떻게 확보할 것인가?
• 설계된 architecture를 어떻게 end-to-end로 학습시킬 것인가?

Method overview

image retrival기반의 place recognition은 위치 정보가 없는 query 이미지를 input으로 위치 정보가 존재하는 large image database에서 retrival을 수행하고 그 중 query와 유사도가 높은 순으로 정렬했을 때 상위에 존재하는 이미지들의 위치 정보를 query의 위치를 예측하는 데 사용합니다. image retrival을 수행할 때 query와 database의 이미지는 해당 이미지의 특징을 잘 나타내는 고정된 크기의 벡터로 변환되며 이를 수식으로 표현하면 이미지I_i의 특징 벡터 f(I_i)로 나타냅니다. 즉, image retrival은 데이터베이스에 존재하는 이미지인 {I_i}에서 f(I_i)와 f(q)가 가장 유사한 이미지를 찾는 것입니다.

기존에는 image의 특징 기술자로 SIFT와 같은 hand-engineered 방식을 사용했던 반면, 저자들이 제안하는 NetVLAD는 CNN과 함께 end-to-end로 학습 가능하다는 특징이 있습니다.

Deep architecture for place recognition

Image retrieval에서는 translation과 occlusion에 대한 강인성을 확보하기 위해 두 가지 과정을 거치는데요, 먼저 d이미지에서 local discriptor를 추출한 뒤 순서에 상관없이 pooling을 진행합니다. 여기에 추가로 scale 불변성을 확보하기 위해 여러 scale에서 local discriptor를 추출합니다.

저자들은 end-to-end 학습을 위해 표준적인 image retrieval pipeline을 CNN으로 설계하였습니다. CNN에서 FC레이어를 잘라낸 후 convolution에서 생성된 feature map을 dense descriptor로써 사용하고, 추출된 descriptor를 fixed image representation으로 pooling하고 back propagation를 통해 파라미터를 학습할 수 있는 새로운 레이어를 설계하였습니다. 이때, 새롭게 제안된 pooling 레이어가 NetVLAD입니다.

NetVLAD: A generalized VLAD layer

NetVLAD를 이해하기 위해서는 먼저 VLAD를 알아야 하는데요, VLAD는 널리 사용되는 descriptor pooling 방법론으로 이미지에서 추출한 descriptor들을 하나의 벡터로 표현하는 방법론입니다. VLAD를 간단히 설명하자면, image에서 descriptor를 추출하고, 이를 clustering합니다. 그 이후에 각 descriptor와 해당 descriptor가 속한 cluster의 중심점과의 차이(residual)를 합산하여 벡터값을 도촐합니다.

N개의 D차원 descriptor {x_i}를 입력으로 하고, K개의 cluster center {c_k}가 VLAD의 파라미터로 주어지면, 출력되는 VLAD 벡터 V는 K\times D차원을 가지게 됩니다. 이를 수식으로 나타내면 [식 1]과 같습니다.

[식 1]에서 x_i(j)와 c_k(j)는 각각 i번째 descriptor와 k번째 cluster center의 j번째 차원을 의미합니다. a_k(𝐱_i)는 descriptor 𝐱_i와 k번째 visual word와의 관계를 나타내며, 𝐜_k가 𝐱_i에 가장 가까운 cluster이면 1이고 그렇지 않으면 0이 됩니다.

여기서 저자들의 목표를 다시 한 번 언급하자면, Place Recognition을 Image retrieval 방식으로 접근하고, image retrieval pipeline을 CNN framework에서 E2E로 학습하는 것입니다. 그러나 VLAD는 a_k(x_i)에서 불연속성이 발생하여 미분이 불가능하기 때문에, a_k(x_i)를 [식2]와 같이 변경하였습니다.

[식 2]는 cluster 𝐜_k에 대한 descriptor 𝐱_i의 가중치를 여러 클러스터 중심과의 근접성을 기준으로 할당하며, 0에서 1 사이의 값을 할당하되, 가장 가까운 클러스터 중심에 가장 높은 가중치가 할당됩니다. \alpha는 거리의 magnitude에 따라 응답의 decay를 제어하는 파라미터입니다. \alpha값이 증가할 수록 가장 가까운 클러스터에 대한 \bar a_k(𝐱_i)가 1이고 그렇지 않은 경우 0이므로 원래 VLAD의 a_k와 같은 역할을 수행하도록 합니다.

[식 2]의 제곱을 확장하면 분자와 분모 사이에서 e항이 상쇄되어 [식 3]과 같이 softmax 식으로 변형되어, a_k가 0~1사이의 확률값을 나타내며, 이로 인해 soft-assignment가 발생하는 것을 알 수 있습니다.

위의 식1에 식 3을 연결한 NetVLAD 레이어의 최종 형태는 [식 4]와 같습니다.

위에서 설명된 NetVLAD가 포함된 CNN architecture는 [그림2]와 같이 나타낼 수 있습니다. soft-assignment가 conv와 softmax 두 레이어로 표현된 것을 확인할 수 있습니다. Convolution을 통해 추출된 descriptor x가 NetVLAD레이어에 들어가게 되면, s_k( 𝐱_i ) = 𝐰^T_k𝐱_i + b_k를 계산하고, 이를 softmax에 태우면 [식 4]동일한 형태의 계산을 진행하여 \bar a를 구할 수 있습니다.

Learning from Time Machine data

앞에서 NetVLAD라는 새로운 CNN Architecture를 설계하였다면, 이를 어떻게 end-to-end로 학습하는지 알아보겠습니다. 저자들은 NetVLAD의 학습에 있어 두 가지의 challenge가 있음을 언급하였습니다. 바로 (1)충분한 annotated data의 확보와 (2)place recognition task에 적합한 loss를 정의하는 것입니다.

Weak supervision from the Time Machine

충분한 양의 annotated data를 확보하기 위해 저자들은 Google Street View Time Machine의 이미지를 사용하였습니다. Google Street View Time Machine은 지도의 가까운 공간 위치에서 서로 다른 시간에 촬영한 여러 거리 수준의 파노라마 이미지로, place recognition을 위한 representation을 학습하기 적절한 이미지들로 구성되어 있습니다. [그림 4]에서 볼 수 있듯, 동일한 장소가 시간, 계절에 따라 달라진 모습을 담고 있어 place recognition 알고리즘이 어떤 요소에 강인하게 작용해야 하는 지를 알아내는데 유용하게 사용될 수 있습니다.

그러나 이 데이터셋은 annotation에 노이즈가 많이 포함되어 있다는 단점이 있습니다. 각 이미지에는 GPS정보가 포함되어 있어 가까운 거리를 파악하는 데는 사용할 수 있지만, 어떤 방향의 이미지를 촬영한 것인지는 별다른 정보가 제공되지 않아 GPS상으로는 동일한 이미지가 서로 다른 방향을 향하고 있는 경우가 발생합니다. 따라서 저자들은 training query q에서 GPS정보를 사용할 때 query와 지리적으로 가까운 이미지인 potential positive {p^q_i}와 지리적으로 먼 이미지인 definite negative {p^q_i}를 판단하기 위해서만 사용하였습니다.

Weakly supervised triplet ranking loss

Place recognition을 optimize할 수 있는 f_{\theta}를 학습한다는 것은 test query 이미지 q에 대해 q와 가까운 위치의 데이터베이스 이미지 I_{i*}의 순위를 다른 이미지들 I_i보다 높게 매기는 것입니다. 이를 수식으로 나타내면 d_\theta (q,I_{i*})<d_{\theta} (q,I_i)로 나타낼 수 있는데, 이는 q와 가까운 위치의 이미지 I_{i*} 사이의 euclidean distance d_{\theta}(q,I)가 q로부터 일정 거리 이상 떨어진 모든 이미지 I_i 사이의 거리보다 작은 것을 의미합니다.

앞서 언급한 바와 같이 Google Street View Time Machine data에서는 (q, {p^q_i}, {n^q_j})와 같은 형대의 train dataset을 얻을 수 있는데, potential positive set {p^q_i}에는 query와 일치하는 positive 이미지가 하나 이상 포함되어 있지만 그 이미지가 어떤 이미지인지는 알 수 없습니다.

저자들은 이러한 ambiguity 해결하기 위해 각 training tuple(q, {p^q_i}, {n^q_j})의 {p^q_i}에서 q와 가장 가까운 potential positive 이미지를 나타내는 p^q_{i*}를 [식 5]와 같이 나타내었습니다.

그런 다음 [식 6]같이 q와 p^q_{i*} 사이의 거리 d_{\theta}(q,p^q_{i*})가 q와 모든 negative image n^q_j 사이의 거리 d_{\theta}(q,n^q_j)보다 작도록 이미지 표현 f_{\theta}를 학습하면 됩니다.

위의 내용을 바탕으로 저자들은 weakly supervised ranking loss L_{\theta}를 [식 7]과 같이 정의하였습니다.

여기서 l은 l(x) = max(x, 0)이고 m은 margin을 나타내는 상수값을 의미합니다.

[식 7]을 살펴보면 각 negative에 대해 q와 negative 사이의 거리가 q와 positive사이의 거리 + margin보다 크면 l값은 0입니다. 반대로 q와 negative사이의 거리가 더 작다면 l 값은 양수값을 갖게 됩니다. 이를 통해 positive 이미지와 q사이의 거리가 다른 모든 negative보다 작아지는 방향으로 학습이 진행됩니다.

Experiments

실험에는 Pittsburgh, Tokyo 24/7 데이터셋을 사용하였으며, evaluation metric으로는 Recall을 사용하였습니다.

네트워크의 convolution레이어에는 사전 학습된 AlexNet, VGG26, Places205를 사용하였으며, pooling레이어에는 Max pooling, VLAD로 비교군을 설정하였다고 합니다.

[표 1]은 Network의 layer를 부분적으로 학습했을 때의 결과를 비교한 것으로 각각 recall이 1, 5, 10일 때의 결과를 리포팅하였습니다.