[Senosrs]An Infrared -Visible Image Registration Method Bsased on the Constrained Point Feature

Introduction

infrared-visible image registration을 위해 infrared-visible 이미지 간 correspondences를 찾는것은 굉장히 챌린지한 문제라고 합니다. 그리고 이 논문에서는 이러한 infrared-visible 이미지 간 correspondences를 찾기위한 artful한 방법을 제안하고 있습니다. 여기서 registration이란 아래 그림과 같이 두 이미지를 정확히 얼라인(align)을 맞춰 포개는 것을 의미합니다.

자 그렇다면 본 논문에서는 infrared-visible image의 registration을 위해서 어떤것을 제안할까요? 저자가 가장먼저 이야기하는 contribution은 다음과 같습니다.

1. constrained point feature 기반의 새로운 infrared-visible image registration framework를 제안하고 있습니다. Constrained points는 object detection 알고리즘을 적용함으로써 복잡한 feature descriptor 설계하는 것을 피할 수 있었으며, registration 정확도를 향상시켰다고 합니다.
2. LV-rule이라는 것을 설계하였는데, 이는 constrained points의 오매칭(mismatch)와 중복(redundant)를 제거하지 않고 constrained points를 매칭하여 속도를 향상시켰다고 합니다.
3. An automatic method라고 합니다.

Methodology

• The Workflow of the Proposed Method

해당 논문에서 제안하는 방법의 flowchart입니다. 크게 3가지 파트로 나뉜다고 설명하는데 다음과 같습니다.

1. Extracting the constrained point feature : 해당 방법은 복잡한 feature descriptor를 대체할 수 있는 방법으로 object detection을 통해 constrained point feature를 추출하는 단계 입니다. 이때 높은 정확도와 빠른 속도를 위해서 저자는 YOLOv3를 사용하여 constrained points를 얻었다고 합니다. 아 그리고 YOLO v3는 정확도를 높이기 위해서 ‘retrained’했다고 합니다.
2. Matching constrained points : 다음으로는 LV-rule을 이용해 constrained points를 매칭하는 단계입니다. 이에 대해서는 뒤에서 나타내겠습니다.
3. Calculating the transformation matrix and registering image : 해당 단계는 affine transformation model을 사용하여 registering 하는 단계입니다. 이때 affine transformation matrix P는 앞서 구한 matched point pairs를 통해 계산한다고 합니다.

• The Practicability Analysis of the Proposed Method
  

해당 파트에서는 자신들의 방법이 가능함을 기존에 저희가 동일선상에 있지 않는 3개 이상의 매칭 포인트가 있으면 Registration이 가능함을 수식적으로 설명하고 있습니다.

• Extracting the Constrained Points

그림을 보고 ‘Object Detection에서 FP가 나오면 이에 대해서 어떻게 처리하지?’ 에 대한 물음에 답할 것이라 생각했지만 위에 그림은 그냥 기존 YOLOv3를 자신들이 retrained해서 더욱 정확해짐을 나타낸 그림입니다.

해당 파트에서는 YOLOv3가 다른 Object Detection에 비해 성능이 좋음을 연신 보이며 마무리 합니다.

• Matching the Constrained Points

이러한 이미지가 있습니다. 자 그러면 이러한 상황에서 어떻게 각 박스의 코너 포인트(여기서는 Constrained Points)를 매칭할 수 있을까요? 여기서 앞서 언급했던 ‘LV-rule‘을 적용합니다. LV-rule이라 뭔가 굉장한게 있을 것 같은데요. 이 부분은 제가 여러분들께 전달하기에는 제 능력이 부족하여 원문을 그대로 가져오겠습니다.

The core idea of matching constrained points is that the object bounding box with the minimum left value of the visible image corresponds to the object bounding box with the minimum left value of the infrared image.

그렇습니다. 여기서 ‘LV’는 ‘Left value’의 줄임말 이였습니다. 🙂

더 이상 읽는게 의미있을까 싶지만 그래도 끝까지 읽어보겠습니다.

• Evaluation Criteria
  Registration Error
  본 방법은 이미지 변환 후 모델이 검출한 박스의 오버랩을 통한 평가 방법입니다.

기타 다른방법(RMSE)도 있는데 생략하겠습니다.

Experiments and Results

다양한 방법론의 매칭과 비교하여 자신들의 방법이 우수함을 정성적으로 나타내고 있습니다.

오버랩 정도를 비교하여서도 자신들이 우수함을 보이고 있습니다.

결론

Editor까지 무슨 전공인지 찾아보고 싶은 첫 논문입니다.