Stereo Processing by Semiglobal Matching and Mutual Information

Heiko Hirschmu¨ller

SGM은 지역 기반 매칭 방법을 이용하여 지원점을 추출하기 위한 초기 매칭 비 용(Initial Cost)을 구하고, 각각의 방향에 대한 경로 비용(Path Cost)을 누적하는 방식을 이용하여 고밀도 디스패리티 맵을 생성한다.

에너지 함수를 최소화하는(=영상이 가장 매끄러운, stereo vision의 제약 조건 중 하나인 smoothness를 충족하는) 경우를 찾음으로써 최적의 깊이 영상을 만들어 낸다.

SGM은 전역 기반 매칭 방법 에 비해 매칭 성능은 약간 떨어지지만, 처리 속도가 빠 른 장점이 있다

Ib,Im 이미지에 대한 정의는 아래와 같고,p는 base image의 pixel값 q는 epipolar line에서 매치되는 대응점이다.(자세한 수식은 아래 참조)

I2는 Im이미지에 D를 이용해 warped해서 만들어진다.

Mutual Information(상호 정보량 )에 대한 정의는 다음과 같다.(집합의 교집합 개념을 생각하면 이해가 쉽다)

Entropy(정보의 불확실성)에 대한 정의는 다음과 같다


이때 P는 확률 밀도 함수 (해당 pixel이 어떤 intensity값을 가질 확률) 로써 다음과 같이 정의된다.


matching cost는 다음과 같이 정의된다.

하지만 이대로 풀게 된다면 NP-Complete Problem이 발생한다.

따라서 Dynamic Programing을 통해 위 문제(2D matching)을 1D로 전환하여 계산했다는 점이 위 논문의 contribution 중 하나가 되겠다.

Author: rcvlab

RCV연구실 홈페이지 관리자 입니다.

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 항목은 *(으)로 표시합니다