이번 논문은 제 연구 계획에서 핵심인 센서 팩 계획에 영감을 준 논문 중 하나입니다. 해당 논문은 빔스플리트를 이용한 광학 정합을 이용한 RGB-Thermal 센서 팩을 구조를 가지고 있으며, 스테레오 구성을 가지기 위해 폭이 좁은 수직 방향으로 설계 기법을 제안합니다.
Intro
해당 셋업의 목적은 도로 씬을 위한 데이터 셋(e.g. KITTI)와 유사한 멀티스펙트럴 영상을 취득이며, 해당 논문의 인용 논문과 저자의 연구실을 확인해보니 구체적으로는 road detection을 위한 센서 팩으로 확인되었습니다. 그렇기에 이전 멀티스펙트럴 데이터 셋과는 다르게 차량 전방을 다 담을 수 있도록 넓은 FoV를 가지는 것을 목적으로 가집니다.
++ 확장 연구도 찾아보았으나 발견하지 못하였으며, 교신 저자의 연구 이력을 조사해보니 road detection 위주의 연구로 구성된 것으로 보아 추후 저희 쪽 문제와는 같은 방향으로 확장할 가능성이 적어 보입니다.(정합 문제 제외)
여러 방법 중 저자는 넓은 FoV를 가지기 위해 다중 카메라에서의 스티칭 기법을 이용하고자 합니다. 애초에 넓은 FoV를 가진 카메라를 사용하지 않고 스티칭을 진행하는 이유는 FoV가 넓을 수록 빔스플리터의 크기가 커지는 문제가 발생하기에 다중 카메라를 사용하여 범용성을 가지는 전략을 선택한 것으로 보입니다.
또한 저자는 멀티스펙트럴의 정확한 정합을 위해 빔스플리트를 이용하되, 적절한 베이스라인을 획득하기 위해 수평으로 넓은 구성이 아닌 수직으로 구성하여 보다 컴팩트한 센서 팩을 제안합니다.
마지막으로 저자는 정합 후에도 발생하는 불일치를 해소하기 위해 추가적인 캘리브레이션을 수행하여 이전 연구보다 정확한 정합을 진행하였다고 합니다.
Method
How large is the beam splitter?
앞에서 언급한 바와 같이 저자는 컴팩트한 광합 정합 멀티스펙트럴 센서 팩을 제작하는 것이 목적이며, 이를 수직으로 설계하여 이를 해소하였습니다. 하지만 센서의 위치만 고려하는 것이 아닌 카메라의 FoV를 소실하지 않고 최적으로 가져가되, 이에 대응되는 빔 스플리터의 크기가 적절해야합니다. 그렇기에 저자는 Fig 3과 같이 3가지 경우를 예시로 최적의 빔 스플리터의 측면 길이를 계산하는 방법을 소개하며, 이에 대한 수식은 아래와 같습니다.
++ 단, 해당 수식은 R-T 카메라의 화각이 동일한 theta, 빔스플리터와 카메라의 거리 d_1=d_2가 동일하다는 전제를 가지고 수식을 풀이합니다.
++ 기하학적인 관계에 대한 수식이기에 별도로 작성하지 않겠습니다. 그림과 매칭하시면서 보시면 충분히 이해 가능하실 겁니다.
그럼 이에 대응되는 FoV S 는 아래의 수식으로 계산할 수 있습니다.
s_0 = 2( d +d^'_1 ) × tan(θ/2)++ Fig 3-(c)인 경우, 저자는 Fig 3-(a, b) 구성의 필요성의 정당화를 위해 이에 대한 수식화와 이로 야기되는 오차를 설명합니다. 하지만 이는 당연한 이야기로 따로 담지 않았습니다.
How to align the thermal/EO frames pixelwisely?
1) Coarse alignment by manual adjustment. 가장 먼저 각각의 카메라를 Fig 4-(a)-(1)과 같이 조정기에 부착하여 광합 정합을 진행합니다. 그 후, Fig 4-(b)와 같은 체크보드를 이용하여 각각의 카메라에 대한 내부 파라미터를 캘리브레이션 합니다. Fig 4-(b)는 컬러 프린트 아래에 호일로 구성된 체크 보드를 붙여 구성합니다. 여기서 카이스트와는 다르게 차가운 바람을 이용한다고 합니다.
++ 그 얇은 호일을 어떻게 정확하게 붙이는지에 대한 이야기는 없습니다.
두 카메라에서 왜곡 보정을 수행한 후, 조정기와 빔스플리터를 이용하여 광축을 일치 시키는 작업을 수행합니다.
++ 광축 일치 시키는 방법에 대해서는 논문에 적혀있지 않고… 추후… 교수님께 여쭤봐야겠습니다.
조정기를 이용한 광축 일치 후, Fig 4-(a)-(2)와 같이 접착제를 이용하여 조정기를 고정합니다. 하지만 접착제가 마른 후, 접착제의 열팽창과 수축의 영향으로 R-T가 정확하게 일치하지 않는 문제가 발견했다고 합니다. 큰 차이가 발생하는 정도는 아니며, 이를 해결하기 위해 추가적인 보정을 진행합니다.
++ 이후, 해당 논문은 IEEE Sensors 2022에 확장되어 출품됩니다. 여기서는 해당 문제에 대해 보다 심도 깊게 다룹니다. 가장 큰 이유는 판형 빔스플리트를 이용하는 경우에 발생하는 Ghost effect 문제입니다. 해당 문제는 판형 빔스플리트의 고질적인 대표적인 문제로 아무리 얇은 판이라도 강직도를 보장하기 위해서는 어느 정도 두께를 가지고 있습니다. 이 두께 차이로 광축이 다른 위치에서 회절하며 발생하는 문제입니다.
++ 이 당시에는 단순히 접착제 문제로 본 것으로 보입니다.
2) Fine alignment by a constant homography warping
앞서 언급한 바와 같이 미세한 불일치 문제가 발생하여 두 모달리티에 대한 추가적인 보정을 진행합니다. 정합을 위해 체크보드를 이용하여 호모그래피 매트릭스를 구합니다. 두 모달리티에 대해 최적화된 호모그래피 매트릭스에 따라 warping을 진행하여 미세 조정을 수행합니다.
++ 길게 작성되어져 있으나, 결국엔 호모그래피 구하는 내용이라 축약하여 작성합니다.
Experiment
Hardware systems and camera specs
- PointGrey Flea3 color camera (FL3-GE-13S2C-C)
- FLIR A65
위와 같은 카메라를 사용하였으며, 신기하게도 저희 연구실에서 보유하고 있는 센서랑 동일한 센서를 가지고 있습니다.
또한 열화상 중심의 하드웨어 동기화(29.97fps)를 이용합니다.
BEYOND A SINGLE HYBRID CAMERA
저자는 폭이 좁은 광학 정합 멀티스펙트럴 단일 센서 팩을 제안하였습니다. 그리고 fig 2와 같이 센서 팩을 확장합니다.
이에 대한 정성적 결과물은 아래와 같습니다.
또한 다중 카메라를 이용한 스티칭 결과물은 아래와 같습니다.
마지막으로 센서 팩의 픽셀 수준의 정합에 대한 오차를 분석한 결과는 아래와 같습니다.
해당 실험 결과에서 저자는 1픽셀 미만의 오차를 보임으로써, 해당 센서 팩의 효과를 입증하고자 합니다.
========================================================================
사실 빔스플리터에 대한 막연한 두려움이 있었고, 이미 제안된 논문이 있으니 이에 대한 확장이 기여도를 인정 받지 못할거란 생각에 빔스플리터를 이용하지 않는 방향으로만 생각하고 있었습니다. 허나 해당 논문을 통해 빔스플리터 확장 방향에 대한 새로운 견해를 얻었습니다.
아래부터는 고려 중인 센서 팩에 대한 아이디어 내용입니다. 관심 없으신 분들은 넘어가시면 됩니다.
- Cube Beam Splitter.
Ghost effect가 발생하는 판형 빔스플리터는 큐브형 빔스플리터를 이용함으로써 해소가 가능하다고 함.
그렇기에 판형 -> 큐브형 고려 중.
이에 대한 뒷받침 근거는 참고 사이트 참고. - N개의 광학 정합.
이전 연구들은 RGB-Thermal에 대한 광학 정합만을 이용함. 하지만 RGB를 보완하는 비전 센서는 이벤트 카메라도 존재함. 그렇기에 3대 카메라에 대한 광학 정합 고려 중. 아래는 예시 영상. 참고
남은 석사기간 말씀하신 센서 구성 및 데이터셋 촬영이 가능한가요?
음… 해봐야 알겠죠. 반대로 왜 많은 질문 중 기간을 우려하시는 질문을 공개적으로 하신 건가요?
수식1에 대해서 설명을 생략하신 것은 괜찮지만 수식 속 변수의 정의에 대해서는 언급해주셨으면 좋겠다는 생각이 드네요. 그림이랑 매칭해서 보려고 해도 그림 자체가 그리 깔끔하지 못하다보니 이해하기 어렵습니다.
빔스플리터 측면 길이 r, 빔스플리터 중심과 카메라 거리 d, fov theta 입니다.