Youngmin Baek, Bado Lee, Dongyoon Han, Sangdoo Yun, and Hwalsuk Lee∗ Clova AI Research, NAVER Corp.
Abstract
이전 논문들은 엄격한 word-level로 박스를 만드는 것이 때문에 임의의 모양으로 있는 text 영역을 표현하기에는 어려웠다.본 논문에서는, 문자 사이의 각 문자와 affinity을 탐구함으로써 텍스트 영역을 효과적으로 검출할 수 있는 new scene text detection 방법을 제안한다.
Introduction
현재 Scene text detection 에서는 word level bounding box로 국한시켜서 훈련시킨다.따라서 다음과 같은것을 정확하게 detection하는 데 어려움이 있다.
- curved text
- deformed text
- extremely long text
이러한 것들을 character-level로 인식하여 연속적인 character를 연결함으로써 많은 장점이 있다고 한다.
즉 이 논문에선 개별 character 영역을 국한하는 새로운 text detector 와 detected 된 characters를 하나의 text 객체로 연결하는 방법에 대해서 제안하였다.
여기서 CRAFT ( Character Region Awareness For Text detection) 란 character region score와 affinity score를 만드는 CNN이다.
Region Score
- 이미지에서 개별 characters를 국한하는 데 사용.
affinity Score
- 각각의 character를 하나의 instance로 그룹핑 해줄 때 사용.
Methodology
주요 목적은 결국 natural 한 이미지를 각각의 개별 문자로 정확하기 국한하는 것이다. character 영역과 글자들 사이에서 affinity를 예측하기 위한 DNN을 훈련시키는 것이다.
backbone은 vgg16+batch normalization 을 사용하여 최종적으로 2가지 채널이 나오도록 함 1. region score( 주어진 픽셀이 문자의 중심일 확률 ), 2. affinity score( 인접한 문자들 사이의 공간의 중심 확률 )
각 train 이미지에 대해 region score에 대한 Ground Truth label과 character level bouding boxes의 affinity score를 생성합니다.
픽셀 별로, Character 중심의 확률을 가우스 heatmap으로 인코딩한다.
heatmap representation 사용하여 region score와 affinity score를 학습한다. ( 이런 heatmap representation은 엄격하기 bounded 되지 않은 ground truth 영역을 다룰 때 높은 신뢰성 때문에 Pose estimation 작업에도 사용한다고 한다. )
affinity score의 ground truths를 위해, affinity boxes는 위에 있는 그림처럼 인접한 character boxes를 사용해서 정의된다.
각각의 character box의 반대편 corner와 연결하기 위해서 대각선을 그림으로써, 우리는 두 개의 삼각형을 생성할 수 있는데, 이 삼각형을 상·하위 문자 삼각형이라고 부를 것입니다.
그런 다음, 인접한 각 문자 상자 쌍에 대해, 상·하 삼각형의 중심을 상자의 모서리로 설정하여 affinity box를 생성합니다.
Weakly-Supervised Learning
현재 데이터 셋들은 word level annotation을 가지고 있으므로 이를 효과적으로 이용하기 위해 다음과 같은 방식을 이용하여 character box를 생성한다.
참고
