[AAAI 2026] Endowing Vision-Language Models with System 2 Thinking for Fine-Grained Visual Recognition

Abstract

VLMs는 query 이미지에서 주요한 시각적 특징을 추출하는 능력이 뛰어나지만, fine-grained 시나리오에서는 미묘한 차이를 식별하는 데 어려움을 겪습니다. 저자들은 인간의 “System 1 & System 2” 인지 이론에서 영위한 감을 받아 fine-grained를 위한 시스템을 설계하였습니다. 먼저 VLM이 System 1과 유사하게 동작하여 후보 카테고리를 추릴 수 있으나, 혼동하기 쉬운 카테고리는 구분하지 못한다는 점을 확인하였으며, 이러한 관찰을 바탕으로 VLM이 미묘한 차이를 인식할 수 있도록 plug-and-play 방식인 System-2 enhanCed visuAl recogNition(SCAN)를 제안합니다. SCAN은 기존의 foundation 모델을 활용하여 혼동하기 쉬운 카테고리와 쿼리 이미지에 대해 판별 속성을 각각 지정하고 추상화 합니다. 이후 System 1의 주요 시각적 특징과 System 2에서 구한 미묘한 차이를 적응적으로 통합하여 불확실성 기반으로 후보를 구분하고자 하였습니다. 저자들 8개의 fine-grained recognition 벤치마크에서 다양한 실험을통해 제안한 방법의 효과를 검증하였습니다.

Introduction

VLM의 발전으로 다양한 시각 인지 분야가 크게 바전하였으나, VLM은 query 이미지가 사전학습된 분포와 차이가 있을 경우에는 여전히 어려움을 겪고있습니다. 이를 해결하기 위해서 학습 기반의 방식들은 학습 가능한 모듈을 추가하여 VLM을 새로운 시나리오에 적응시키며, 이는 few-labeled 데이터나 self-supervised 방식으로 최적화됩니다. 학습 비용을 없애기 위해 cache 기반의 방법론은 카테고리별 프로토타입을 저장하여 query 이미지를 식별하고자 하였습니다. 이러한 방식들 또한 카테고리에 대한 few-shot 이미지나, pseudo-label 데이터에 품질이요구되며, 성능이 이러한 데이터에 크게 의존하게 됩니다.

이러한 기존 연구와 다르게 인간은 이중 시스템(System 1 & System 2)을 통해 복잡한 시각 작업을 해결합니다. fine-grained recognition의 경우, 두드러진 시각적 특징을 기반으로 빠르게 가능한 카테고리들을 식별한 뒤, 후보 카테고리 사이의 미묘한 차이를 분석하여 어떤 물체인지 식별하게 됩니다. 이러한 방식에 영감을 받아 저자들은 VLM이 미묘한 차이를 식별할 수 있도록 하는 것을 목표로 합니다.

먼저, 저자들은 위의 이미지에서 확인할 수 있듯 VLM이 미묘한 차이를 인식하는 데는 어려움이 있으나, 후보 카테고리 집합을 식별할 수는 있다는 것을 관찰하였습니다. 따라서 System 1의 역할을 할 수 있다고 보았으며, 미묘한 차이를 인식하기 위한 System 2를 설계합니다.

저자들은 System-2 enhanCed visuAl recogNition(SCAN)를 설계하였으며, 이는 Nuance Reasoning(NR) 모듈과 이러한 뉘앙스 기반으로 후보 카테고리를 추론하는 Uncertainty-aware Integration(UI)모듈로 구성됩니다. 먼저 NR 모듈은 판별 속성을 지정하고 추상화하여 이미지와 후보 카테고리 사이의 정보를 정렬합니다. 이후 UI 모듈을 통해 후보 카테고리의 불확실성 추정을 기반으로 System 1의 두드러진 시각적 특징과 System 2의 미묘한 차이를 동적으로 통합합니다.

해당 논문의 contribution을 정리하면,

1. 인지 과학에서 영감을 받아 fine-grained recognition을 위한 새로운 접근 방식인 System-2 enhanCed visuAl recogNition(SCAN)을 제안하였으며, 저자들이 아는 한 최초로 VLM에 System 2 사고 능력을 부여한 연구라 주장함
2. addaptation을 위해 레이블이 지정된 데이터나 reference 데이터를 필요로 하는 기존의 VLM 학습 기반 방식과 다르게 SCAN은 인간의 인지 패턴을 모방하여 zero-shot으로 쿼리 이미지를 인식할 수 있음
3. 8개의 fine-grained recognition 벤치마크에 대한 다양한 실험을 통해 SCAN의 효과를 검증하였으며, SCAN의 일반화 가능성을 입증하여 다양한 VLM을 향상시키기 위한 plug-and-play 솔루션 임을 보임

Method

System-1 for Candidate Identification

이미지 x와 카테고리 집합 C = \{c_1,c_2, … , c_N\}이 주어졌을 때, cosine similarity로 유사도 s(x,c_i) = cos(E_v(x), E_t(f(c_i)))를 계산합니다. 이때 E_v, E_t는 vision 인코더와 text 인코더이며, f(.)는 “a photo of a {category name}”과 같은 textual prompt로 바꿔주는 역할을 합니다. 이 유사도를 기반으로 top-k(여기서는 20을 사용)의 카테고리를 후보 카테고리 C*로 선정합니다.

Nuanced Reasoning

Nuanced Reasoning(NR) 모듈은 System 2의 미묘한 차이를 식별하는 역할을 하기 위한 것으로, 후보 카테고리 C*의 핵심 적인 분별 속성을 기반으로 상세한 비교를 수행합니다. 혼동하기 쉬운 카테고리의 미묘한 차이를 인식하기 위해 먼저 LLM(여기서는 GPT-4.1-mini)을 이용하여 카테고리 이름으로부터 판별 속성 집합 A = \{a_1,a_2, … , a_n\}을 자동으로 추출합니다. 이때 중복된 속성을 피하기 위해 LLM이 모든 카테고리에 대한 속성을 한번에 추론하도록 합니다.

저자들은 저수준의 시각 정보가 풍부한 이미지와, 추상적인 카테고리 명은 가지고 있는 정보량과 정보 수준이 다르기 때문에 이 갭을 메우기 위해 이미지에 대한 정보는 추상화(Abstraction)하고, 카테고리 명의 정보는 구체화(Concretization) 하는 방식을 제안하였습니다.

• Concretization: 판별 속성 집합 A를 기반으로 LLM에 내재된 지식을 활용하여 카테고리 이름을 설명 d_{c_i} (c_i \in C*) 수준으로 확장합니다.
• Abstraction: LLM을 이용하여 쿼리 이미지 x를 속성 수준의 텍스트 설명 d_x로 추상화합니다.

이렇게 만들어진 d_x 와 d_{c_i}를 비교한 뒤, 텍스트 reranker 모델(Qwen3-Reranker-8B)을 이용하여 C*에 대한 연관성을 평가하여 유사도 점수 p(x,c_i)를 구합니다. 즉, p(x,c_i)는 텍스트 공간에서 속성 수준의 비교를 통해 이미지와 각 후보 카테고리 사이의 일치 정도를 나타내는 것 입니다.

Uncertainty-aware Integration

저자들은 이미지와 카테고리 후보 사이의 유사도 s(x,c_i)와, 쿼리 이미지에 대한 설명과 후보 카테고리에 대한 설명 사이의 유사도 p(x,c_i)를 적응적으로 결합하여 가장 유사도가 높은 카테고리를 최종 카테고리를 추정합니다.

두 유사도를 결합하는 방식은 \alpha · s(x,c_i) + (1 - \alpha) · p(x,c_i)로, \alpha는 VLM의 불확실성에 다라 달라지는 파라미터입니다. 구체적으로, reranking 된 카테고리에 대하여 top-1의 유사도가 이후의 순위의 카테고리들과 유사도 차이 (diff_j)를 구하여, 유사도 차이가 클 경우 불확실성이 낮아 \alpha가 커지게 되며, 불확실성이 높을 경우에는 작은 값이 되도록 조절합니다. 아래의 식으로 정리할 수 있으며, h_1, h_2, … , h_k는 내림차순으로 정렬된 top-k 카테고리를 의미합니다. Uncertainty(C*)는 랭킹 k가 증가할수록 높아지고, diff_j (j=1,…,k)가 커질수록 낮아지며, \tau값은 민감도를 조절하는 파라미터입니다.

Experiments

저자들은 fine-grained recognition에서 많이 사용되는 8가지 벤치마크에 대하여 평가를 수행하였습니다.

Table 1은 다양한 벤치마크에서의 성능을 리포팅한 것으로 저자들이 제안한 CLIP + SCAN 방식이 전반적으로 좋은 성능을 보여주고 있습니다. 특히, zero-shot 방식임에도 우수한 성능을 보여준다는 것을 어필하고있습니다. (AF: annotation free, RF: referennce free, LR: learningfree)

Ablation study

Table 2는 SCAN에 대한 ablation study 결과로, SCAN의 구성요소를 평가하기 위해 변현을 주어 실험한 결과입니다. “(System 1) CLIP_PE”는 System 1의 결과를 의미하며(1행), “(System 1) CLIP_PE + NR-C”는 LLM을 이용하여 속성 정보로 카테고리 명을 확장하여 CLIP과 비교한 결과(2행) 입니다. 성능 저하가 발생한 이유는 CLIP이 상세한 설명을 직접 이용하는 방식이 큰 효과가 없다는 것을 의미합니다. “(System 2)NR”은 모든 카테고리에 대하여 비교를 수행하는 방식(3행)이며, 마찬가지로 1행의 방식보다 성능 저하가 이루어지는 것을 통해, System 1 & System 2 구조가 유효함을 확인할 수 있습니다. (System 1+2) CLIP_PE + NR 방식은 전체 SCAN 파이프라인에서 \alpha를 적응적으로 바꾸지 않고, 0.5로 설정한 결과를 나타내며(4행), 두 시스템이 결합하였을 때 성능이 크게 개선되는 것을 확인할 수 있습니다. 마지막으로 예측의 불확실성을 고려하여 \alpha를 적응적으로 바꾸는 방식이 가장 성능이 좋다는 것을 보였습니다.

Figure 3은 Uncertainty를 계산할 때 사용한 민감도 조절 파라미터로, \tau가 10~50까지 10 간격으로 증가시키며 성능을 검토하였습니다. 실험 결과 대체로 안정적으로 동작한다는 것을 확인할 수 있었다고 합니다.

Figure 4는 불확실성에 대한 분석 결과로, (a)는 단순히 이미지와 카테고리에 대한 프롬프트 사이의 유사도를 활용한 방식의 정답 및 오답 분포입니다. 보시면 두 분포가 많이 겹쳐있다는 것을 확인할 수 있습니다. (b)는 top 1과 다른 카테고리 사이의 유사도 점수 차이를 나타낸 것으로, 정답에 대 해서는 top 1과의 유사도가 크게 차이가 난다는 것을 포여주고 있습니다. 이러한 관찰을 기반으로 저자들은 top 1과 다른 예측의 유사도 차이를 불확실성에 모델링하였다고 합니다. (c)는 이러한 불확실성 모델링을 사용하였을때의 분포로, 정답과 오답 사이의 분포가 조금 더 분리가 되었다는 것을 보여줍니다.

저자들은 CLIP이 아닌 SigLIP으로 실험을 확장핳였으며, 마찬가지로 저자들의 방식을 추가함으로써 성능 개선이 이루어진다는 것을 확인하였습니다.

마지막으로 Table 4는 최근의 대규모 멀티모달 모델이 fine-grained에서 어떻게 동작하는 지를 보여주기 위한 실험 결과입니다. 큰 모델임에도 불구하고 여전히 fine-grained에서 어려움을 겪고있다는 것을 확인할 수 있으며, 저자들은 이를 통해 자신들의 방식의 효과를 어필하고있습니다. (하지만 실험을 자세히 보면 저자들도 이미지마다 Qwen2.5-VL-32B를 통해 이미지에 대한 캡션을 생성하고, Qwen3-Reranker-8B)로 reranking 하는 등 대규모 모델의 영향에서 벗어났다고 할 수는 없어보입니다. 어떻게 더 잘 사용했는지를 어필하고있다 정도로 받아들여야 할 것 같습니다.)

Conclusion

해당 논문은 인지 과학에서 영감을 받아 VLM이 fine-grained visual recognition을 부여하기 위한 프레임워크 SCAN을 제안합니다. 인간의 System 1 & System 2 인지 패턴을 모방하여, System 2 사고 과정을 강화하여 미묘한 차이를 인식하고 혼동하기 쉬운 카테고리를 식별할 수 있도록 하는 데 집중하고 있습니다. 다양한 벤치마크에서 저자들의 효과를 확인하였으며, 쉽게 plug-and-play 할 수 있는 방식을 제안하였으며, LMM과의 비교를 통해 SCAN의 효과를 입증하였습니다.(사실 SCAN도 LMM을 사용한다고 볼 수 있는데 이렇게 주장하네요….) 저자들은 추후 SCAN을 language-guided grounding과 같은 작업으로 확장하여 System 1 & System 2 프렝림워크를 더 넓은 범위로 확장하는 것을 목표로 하고 있다고 합니다.

---

해당 논문의 실험파트까지 자세히 보고나니 논문에 어떤 실험을 추가로 가져가면 좋겠다 하는 정리가 되는 것 같습니다.