오늘은 IROS2026에 붙은 열화상 RGB VFM에서의 representation 정렬관점에 연구입니다. 최근 IROS accept 논문을 보다가 제가 관심있는 영역의 논문이 나와 보게 되었습니다

Introduction

열화상 카메라는 모두가 알다시피 야간이나 저조도, 악천후처럼 RGB 카메라가 제 역할을 하지 못하는 환경에서도 적외선 복사를 통해 장면의 구조를 포착할 수 있습니다. 다만 열화상 이미지는 온도 대비만을 담고 있어 텍스처가 희박하고 물체의 경계가 모호하다보니 학습에 쓸 수 있는 데이터 자체가 RGB에 비해 턱없이 부족합니다. 이 두 가지가 열화상 연구를 어렵게 만드는 근본적인 이유입니다.

이런 상황에서 자연스럽게 떠오르는 접근이 이미 잘 학습된 RGB foundation model의 표현을 가져다 쓰는 것입니다. DINOv2나 DINOv3 같은 모델은 대규모 데이터로 학습되어 다양한 도메인에 일반화되는 표현을 갖고 있으니, 이를 열화상 쪽으로 옮길 수 있다면 데이터 부족 문제를 상당 부분 피할 수 있기 때문입니다. 실제로 열화상 depth estimation에서도 이런 시도가 이어져 왔었고, 크게 두 갈래로 나뉩니다. 하나는 foundation model의 중간 feature를 그대로 가져다 쓰는 방식이고, 다른 하나는 RGB branch를 따로 두고 열화상 쪽으로 knowledge distillation을 수행하는 방식입니다.

저자들은 이 두 갈래가 각각 반쪽짜리라고 지적합니다. 앞쪽은 foundation model의 표현은 활용하지만 정작 RGB 이미지 자체가 담고 있는 정보는 쓰지 않고, 뒤쪽은 RGB로부터 지식을 옮기기는 하지만 foundation model 내부의 여러 층에 나뉘어 담긴 구조적·의미적 정보는 고려하지 않는다는 것입니다. 결국 어느 쪽도 feature 수준과 데이터 수준의 이점을 동시에 취하지 못하고 있다는 주장입니다.

그리고 저자들이 지적하는 더 중요한 한계는, 기존 방식들이 모든 RGB supervision을 동등하게 취급한다는 점입니다. RGB teacher가 항상 믿을 만한 것은 아닙니다. 주간의 밝은 장면에서는 풍부한 의미 정보를 제공하지만, 야간이나 우천처럼 정작 열화상이 필요한 상황에서는 RGB 자체가 거의 정보를 담지 못합니다. 이런 상황에서까지 열화상 feature를 RGB에 맞추도록 강제하면 오히려 열화상 고유의 강점을 억누르는 결과를 낳게 됩니다. 개인적으로는 이 두 번째 지적이 이 논문에서 가장 설득력 있는 문제 제기라고 느꼈습니다. 최근에 저도 실험을 하게되면서 야간상황에서의 RGB 데이터는 필요한 데이터가 아니라는 생각이 계속들더라고요

아무튼 ,, 이러한 한계를 극복하기 위해 저자들이 제안하는 것이 RGB-HS 입니다Hierarchical Supervision을 통한 열화상 depth estimation 프레임워크입니다. 논문의 Figure 1이 이 아이디어의 전개를 잘 보여주는데요, (a) 기본적인 encoder-decoder 구조에서 출발해 (b) encoder를 foundation model로 교체하고, (c) RGB branch를 병렬로 두어 alignment로 지식을 전달하며, (d) 마지막으로 verification을 붙여 신뢰할 만한 RGB만 골라 쓰도록 하는 순서입니다. 이 네 단계가 그대로 이 논문의 ablation 구성과 대응되기 때문에, 그림 하나만 이해하면 전체 구조가 잡힙니다.

구체적으로 RGB-HS는 baseline 모델의 encoder를 사전학습된 DINOv3 ViT-B/16으로 교체하고, 동일한 구조의 RGB branch를 병렬로 둡니다. 그리고 두 encoder의 토큰을 map-level과 latent-level 두 층위에서 정렬하여, 열화상 student가 구조 정밀도와 전역적인 의미 추상화를 동시에 학습하도록 유도한다고 합니다. 여기에 RGB 이미지의 품질을 image-level에서 평가하는 verification 모듈을 더해, 신뢰도가 낮은 RGB supervision은 정렬 과정에서 반영되도록 합니다. 중요한 것은 이 RGB branch와 alignment, verification이 모두 학습 시에만 사용되고 추론 시에는 열화상 encoder-decoder만 남습니다. 즉 RGB를 학습 신호로만 소비하고 실제 운용에서는 열화상 단독으로 동작하는 모듈입니다

저자들이 정리한 기여는 다음과 같습니다.

• RGB foundation model로부터 hierarchical supervision(verification-guided alignment)을 받아 열화상 depth estimation을 개선하는 프레임워크 RGB-HS를 제안
• map-level과 latent-level에서 구조적·의미적 단서를 전달하는 alignment 기법과, 신뢰할 수 없는 RGB supervision을 적응적으로 걸러내는 verification 전략을 설계
• Multi-Spectral Stereo(MS²) 데이터셋에서의 광범위한 실험을 통해 RGB 모달리티로부터의 학습이 실제로 효과적임을 입증

읽기 전에는 결국 distillation 논문이겠거니 했는데, “어느 층위에서 맞출 것인가”와 “언제 맞추지 말아야 하는가”를 나누어 다룬다는 점에서 제가 요즘 보고 있는 문제와 겹치는 부분이 많았습니다. 그럼 Method에서 두 정렬 방식과 verification이 각각 어떻게 구현되는지 살펴보겠습니다.

Method

RGB-HS는 크게 세 부분으로 구성됩니다. 백본을 담당하는 foundational encoder, 두 모달리티의 feature를 맞추는 alignment, 그리고 그 정렬을 언제 얼마나 믿을지 결정하는 verification입니다. 전체 구조는 Figure 2에 정리되어 있습니다.

우선, RGB-열화상 이미지 쌍이 주어지면 각각의 encoder를 통과해 계층적 feature를 얻습니다. 각 encoder는 L개의 층으로부터 feature를 내놓는데, DINOv3는 토큰 시퀀스를 출력하기 때문에 여기서 class token과 register token을 제외한 spatial patch token만을 뽑습니다. 그리고 원본 이미지의 2D 공간 구조를 되살리기 위해 이를 아래 식처럼 feature map 형태로 reshape합니다.

이후 decoder는 열화상 branch의 feature들만을 받아 dense depth map을 예측합니다. RGB branch는 예측에 직접 관여하지 않고, 오직 대응되는 feature map을 만들어 정렬의 기준을 제공하는 역할만 합니다.

Foundational Encoder

baseline이 되는 열화상 depth 모델은 원래 Swin-L encoder를 scratch부터 학습합니다. RGB-HS는 이를 사전학습된 DINOv3 ViT-B/16으로 교체합니다. 저자들은 이 교체만으로도 foundation model이 가진 구조적·의미적 prior가 열화상 도메인의 depth 학습에 도움이 될 것이라 기대하는데, 실제로 Table III에서 이 교체 하나의 효과가 상당히 크게 나타납니다. 이 부분은 실험에서 다시 짚겠습니다.

Alignment

정렬은 두 층위로 나뉩니다. 국소적인 구조를 다루는 map-level과 전역적인 의미?를 다루는 latent-level입니다. 저자들이 왜 굳이 둘로 나누었는지를 먼저 이해하려면. depth estimation은 물체의 경계나 세밀한 부분이 중요한 태스크이지만, 동시에 텍스처가 없는 열화상에서 장면 전체가 무엇인지에 대한 전역적인 의미가 필요하다고 합니다. 전자를 map-level이, 후자를 latent-level이 담당한다고 이해했습니다.

Map-level alignment는 teacher의 구조적 대응 관계를 student feature map으로 옮기는 것이 목표로 보입니다. 여기서 한 가지 문제는, RGB와 열화상은 서로 다른 센서로 촬영되기 때문에 픽셀 단위로 완벽히 대응되지 않는다는 점입니다. 그래서 저자들은 feature 값을 직접 맞추는 대신 두 feature map의 공간적 의존 관계를 맞추는 방식을 택합니다. 아래 correlation loss가 그 역할을 합니다.

식에서 사용되는 항들은 각 채널에 해당하는 단일 feature map입니다. 즉 “이 위치와 저 위치가 서로 얼마나 닮았는가”라는 관계 구조만을 두 모달리티 간에 일치시키는 것으로, 픽셀이 어긋나 있어도 학습이 가능하도록 한 우회 설계입니다.

다만 이 수식은 표기가 다소 애매한것 같습니다. 채널별 feature map을 그대로 전치해서 곱하면 스칼라가 되고, 바깥의 L2 norm이 붙을 이유가 없어집니다. 본문의 “spatial dependency를 정렬한다”는 얘기는 있던데 논문에는 차원에 대한 명시가 없어서 자세하게 이해는 어려웠습니다,, 심지어 구현 코드가 공개되어 있지 않아 확인이 어렵습니다

Latent-level alignment는 map-level이 국소 구조에 집중하는 만큼 전역적인 의미 일관성은 놓치게 되는데. 이를 보완하기 위해 각 feature map을 공간 방향으로 max-pooling하여 채널별 전역 표현을 만듭니다.

이렇게 얻은 채널 차원의 벡터는 해당 층이 장면 전체를 어떻게 요약하고 있는지를 담고 있습니다. 여기에 두 종류의 loss를 겁니다. 하나는 두 벡터의 방향을 맞추는 cosine similarity loss이고, 다른 하나는 채널별 활성 분포를 맞추는 KL divergence loss입니다. CLS 토큰을 쓰면 좋았을텐데 patch token만 남기게되니 설계상 어려웠을 것 같습니다.

Verification

RGB teacher의 신뢰도는 장면 조건에 따라 크게 달라져서 모든 상황에서 열화상을 RGB에 맞추는 것은 오히려 위험하다는 문제의식에서 출발합니다. 저자들은 RGB 이미지의 품질을 밝기와 대비라는 아주 단순한 두 통계량으로 측정하고 이를 최종 confidence로 정의합니다. 좀 디테일한 수식들이 있는데 이부분은 넘어가도록 하겠습니다. 밝기? 휘도? 관련한 수식들인데 어두우면 confidence score를 낮추는 방식 ? 정도로 사용합니다

Experiments

실험은 모두 MS2 데이터셋에서 수행됩니다.

먼저 확인할 것은 RGB-HS가 추론 시 RGB를 사용하지않고 열화상단독인데 그래서인지 단독들과 비교를 합니다.

결과를 보면 RGB-HS가 지표에서 가장 좋은 성능을 보입니다. 그런데 저는 이 표에서 stereo 결과보다 mono 결과가 더 좋은것이 RGB-HS(Mono)는 SqRel 0.650, RMSE 3.806으로, baseline의 stereo 결과를 크게 앞섭니다. 한쪽 카메라만 쓰고도 양쪽을 쓴 기존 방법을 이겼습니다. 다만 여기서 한 가지 짚고 싶은 것이 있는데, 야간과 우천은 정확히 RGB teacher가 무력해지는 조건입니다. RGB로부터 배웠기 때문에 좋아졌다고 설명하려면 RGB가 쓸모없는 상황에서의 향상은 다른 이유를 필요로 합니다. 뒤의 ablation을 보면 이 의문이 어느 정도 풀리는데, 결론부터 말하면 향상의 상당 부분은 정렬이 아니라 encoder 교체와 verification에서 나옵니다.

B. Ablation

baseline을 DINOv3 계열로 바꿨을 때의 결과인데, 여기서 흥미로운 것이 ViT-S에서 ViT-B로 갈 때는 RMSE가 개선되지만, ViT-L에서는 3.939로 다시 나빠집니다. 저자들은 “어느 정도까지는 용량이 클수록 성능이 좋아진다”고만 서술하고 이 현상은 따로 다루지는 않는 것 같습니다. 근데 이것이 진짜 함정인데 RGB에서 학습된 표현을 열화상에 그대로 적용할 때, 모델이 클수록 RGB 도메인에 정보도 분명히 커질텐데 텍스처나 색 정보에 기반한 표현은 열화상에서 대응이 없으므로 용량 증가가 곧 유용한 증가로 이어지지 않는 것으로 보입니다.

또 하나 주목할 것은, baseline의 encoder를 ViT-B로 바꾸기만 해도 RMSE가 5.068에서 3.826까지 떨어진는데 최종 성능이 3.548이니, 전체 개선 폭의 대부분이 정렬 이전에 이미 확보되지 않았나 싶습니다 논문이 내세우는 hierarchical supervision의 순수 기여는 드라마틱은 하지않은 것 같습니다

저자들은 두 정렬을 함께 썼을 때 가장 좋았다며 상호 보왅거인 역할을 주장하지만 수치를 뜯어보면 그렇게 단순하지 않습니다.

먼저 개선 폭이 크지 않습니다. 정렬을 전혀 쓰지 않은 상태에서 둘 다 적용해도 3.646으로 앞서 encoder 교체가 만든 격차에 비하면 미미합니다. 더 문제는 AbsRel이 오히려 나빠진는데. 정렬 없이 0.111이던 값이 map만 적용하면 0.116, latent만 적용하면 0.116, 둘 다 적용해도 0.114로, 어느 조합에서도 baseline을 넘지 못합니다. 저자들은 이 표를 설명하면서 두 loss 모두 오차와 정확도를 개선한다고 얘기는하는데, 적어도 AbsRel에 관한 한 사실과 다릅니다.

여기에 더해서 아쉬운것은 표에는 층별 분석이 전혀 없습니다. 논문 제목이 hierarchical supervision인데 정작 어느 층에서 map-level이 유효하고 어느 층에서 latent-level이 유효한지는 다루지 않고, 모든 층에 균일하게 걸고 평균을 취합니다. 앞의 ViT-L 역전 현상과 함께 놓고 보면, 층과 용량에 따라 전이 가능한 정보의 양이 달라진다는 신호가 두 번이나 나타났음에도 논문이 그 방향으로 파고들지 않은 것입니다.

conclusion

사실 제가 요즘 RGB-Thermal 사이의 feature representation 정렬을 관심 있게 보고 있는데, 어느 수준까지를 contribution으로 주장할 수 있을지 감을 잡기 어려워 참고 삼아 읽기 시작한 논문이었습니다. 정리하면 RGB-HS는 map-level과 latent-level의 이중 정렬, 그리고 RGB 품질에 따라 정렬 강도를 조절하는 verification이 전부입니다. 다만 ablation을 뜯어보면 개선의 대부분은 encoder 교체에서 나오고, 정작 논문이 내세우는 정렬은 AbsRel을 오히려 악화시키며 그것을 verification이 되돌려놓는 구조입니다. 제목이 hierarchical supervision인데 층별 분석이 없다는 점,,, 사실은 그냥 낮 데이터로만 학습하면 되지않을까 ? 생각이 들기도하고 verification 이 어떤 패치가 유효한지 낮밤을 가려서 confidence로 쓰자는 저자의 의도인거 같은데 낮데이터로만 학습하면 사실상 문제가 적지않을까 생각이듭니다 물론 데이터셋의 한계가있기에 그렇게 하는 것이겠죠. 이런 문제들을 종합해서 한번쯤은 생각했던 방법들을 ? 적용하면 해볼만 하지 않을까 ??생각이듭니다.
제가 너무 까내린거 같긴한데한데 … IROS2026 에 붙었습니다. 제가 눈치채지 못한 것이 분명히 있을 것 같은데 잘 모르겠습니다. 아시는분이 계신다면 댓글 달아주세요

감사합니다