[ICLR 2026] DiVE-k: Differential Visual Reasoning for Fine-Grained Image Recognition

Abstract

LVML은 방대한 text 지식을 보유하고 있으나, 이를 fine-grained image recognition에 적용하기에는 어려움 겪고있으며, 시각적으로 유사한 카테고리를 구분하지 못하는 경우가 많습니다. 정확한 문자열이 일치할 경우 reward를 주는 RL 기반의 fine-tuning 방식은 학습에 사용된 카테고리에 특화되며, unseen 클래스로의 일반화가 어렵습니다. 따라서 저자들은 모델의 top-k 예측을 객관식 문제로 만들어 강화학습에 사용하는 DiVE-k를 제안합니다. 이를 통해 그럴듯한 정답지에서 세밀한 순차적 추론을 수행하도록 하며, 5개의 fine-grained image recognition 벤치마크에서 우수한 성능을 달성하였다고합니다. 또한, base-to-novel 세팅(base 카테고리로 학습 후 novel 카테고리로 평가)에서 DiVE-K는 Qwen2.5-VL-7B와 ViRFT보다 더 좋은 성능을 달성하였으며 few-shot 시나리오에서도 유사한 성능 개선을 이루었다고합니다.

Introduction

해당 논문은 기존의 LVLM을 기반으로 하는 zero-shot fine-grained 이미지 인식을 목표로합니다. CLIP과 같은 초기의 zero-shot 이미지 인식에는 이미지의 시각적 임베딩과 클래스 이름의 텍스트 임베딩을 비교하여 가장 높은 유사도를 가지는 텍스트를 라벨로 선정하였습니다. 이후 Qwen2-VL과 같은 LVLM의 멀티모달 지식을 활용한 zero-shot 이미지 인식이 좋은 성능을 보였으나, fine-grained 인식에서는 여전히 제한적인 성능을 보였습니다.

Figure 1의 (a) 그래프의 Pass@1과 Pass@K의 비교 결과, top-1에는 정답이 포함되지 못하는 경우가 많고 분산이 큰 반면, K(=20)개의 샘플에는 정답이 포함될 확률이 높은 경향을 보입니다. 저자들은 이를 통해 LVLM이 대략적인 특징에 의존며, 세밀한 구분에는 어려움을 겪고있다고 보았습니다. 또한 (b)의 답변을 보면 (Qwen2.5-VL-7B 답변) LVLM이 부리 모양, 등의 색상 등 속성을 이해하고 있다는 것을 확인할 수 있습니다. 저자들은 이러한 관찰을 기반으로, 상세한 속성을 차등 분석에 활용하고자 하였습니다.

텍스트 작업인 수학 및 코딩 분야에서 CoT가 성공하였으며, 여기서 영감을 받아 ViRFT는 이미지 분류와 같은 시각 분야에 GRPO 방식의 RL을 통해 시각적 추론을 강화하였습니다. 그러나 카테고리 이름과 모델의 최종 답변에 대한 문자열 일치를 통한 보상은 다음의 문제가 발생할 수있습니다. 먼저 (i)문자열에 대한 후처리가 필요하며, 모델의 답변이 학명과 일반 명칭의 차이로 불일치가 발생할 수 있음. (ii)학습 카테고리를 암기할 수 있음. (iii) 속성 수준의 추론을 장려하지 못함.

따라서 저자들은 K번의 rollout을 통해 얻은 base 모델의 top-k결과를 차등적 시각 추론을 가능하도록 하는 학습 데이터로 활용하는 DiVE-k(Differential Visual rEasoning top-k generations) 프레임워크를 제안합니다. 저자들은 모델의 자체 분포를 활용하여 top-k를 선택지로 사용하는 MCQ(Multi-Choice-Question)로 공식화합니다. 이를 통해 모델이 자신의 상위 예측 결과를 선택지로 활용함으로써 단순한 패턴 인식을 넘어, 그럴듯한 답변을 구별하기 위해 속성을 식별하여 세밀한 추론을 수행하도록 합니다. 또한, 모델이 선택한 답변 인덱스를 통해 보상을 쉽게 검증할 수 있도록 하여, 정확한 문자열 일치에 의존하는 ViRFT와 같은 방식에 비해 검증이 쉽도록 하였습니다.

저자들은 5가지 fine-grained image classification 데이터 셋에 대한 실험을 통해 DiVE-k가 두 가지 zero-sho 설정(카테고리에 대한 base-to-novel 실험 & 도메인 변화)에서 기존 방법론에 비해 성능이 개선되었음을 보였습니다.

해당 논문의 contribution을 정리하면

1. fine-grained image classification을 위해 base 모델의 top-k 겨과를 사용한ㄴ DiVE-k 프레임워크 제안
2. 의미론적으로 유사한 범주를 구분하기 위해 MCQ 방식을 사용하는 이점을 실험적으로 입증
3. ablation study와 다양한 fine-grained image classification에서 성능 개선을 이룸

Method

DiVE-k는 top-k 결과를 학습에 사용하여 LVLM의 differential reasoning을 끌어내는 2 단계 방식으로 구성됩니다. Figure 2가 전체적인 개요에 해당하며, 먼저 base 모델로 top-k를 생성하고, MCQ(multi-choice question)를 구성할 hypotheses를 구축합니다. 이후 GRPO를 사용하여 RL 학습을 통해 세분화된 정보를 활용하여 구분력 있는 인식이 가능하도록 합니다.

Top-k as hypotheses set

베이스 policy model \pi_{\theta}에 대하여 이미지 I와 텍스트 쿼리 q가 주어지면 K개의 응답 \mathcal{Y}=(y_1,y_2,…,y_K)을 생성합니다. 각 응답y_i = (r_i,c_i)은 추론 과정 r_i과 최종 예측 카테고리 c_i로 구성됩니다. K개의 응답에 존재하는 카테고리의 빈도를 계산하여 가장 빈도가 가장 높은 k개의 카테고리를 선택하여 옵션 집합 \mathcal{O}{top-k}을 구성합니다. 이때, k=min(5,|\mathcal{C}|) 로, |\mathcal{C}|는 K개의 응답에 포함된 고유 카테고리 수를 의미합니다. 또한, \mathcal{O}{top-k}에 정답 카테고리가 포함되지 않을 경우, 가장 빈도가 낮은 후보를 정답 클래스 \hat{c}로 대체합니다.

이렇게 구성된 \mathcal{O}{top-k} 를 MCQ 형식으로 변경합니다. 편향을 피하기 위해 옵션의 순서는 랜덤으로 설정하여 번호를 할당하여 \mathcal{O}{enum}으로 만들고, 정답 옵션의 번호는 \hat{a}가 됩니다. 즉, 최종 데이터 셋 \mathcal{D}=(I,q,\mathcal{O}_{enum},\hat{a})가 됩니다.

Hard-negative mining을 통해 어려운 예제에 집중하기 위해, 학습 데이터에서 모델이 올바른 카테고리만을 예측하여 |\mathcal{C}|=1인 경우는 모두 제외하며, 베이스 poilcy model \pi_{\theta}을 학습시킵니다.

RL training using GRPO

중간 추론 토큰 s와 최종 답변 a를 생성할 수 있는 poilcy 모델 \pi_{\theta}를 학습시키는 것이 목표이며, 이를 위해 GRPO 방식으로 학습합니다.

모든 데이터 샘플 d_i에 대해 모델은 현재의 policy 모델 \pi_{\theta}로 N개의 롤아웃 (\mathcal{O}_1, … , \mathcal{O}_N)을 생성하고, 각 응답에 대한 reward (r_1,..,r_N)을 계산합니다.

먼저 각 그룹에 대한 advantage를 추정합니다. (δ는 분모가 0이 되지 않도록 하기 위한 작은 상수)

보상은 2가지로 구성됩니다. 먼저 MCQ reward r_{mcq}는 정답 옵션을 올바르게 예측하면 1, 아니면 0의 값을 부여합니다. 두번째는 형식 reward r_{format}로, 올바른 형식을 맞추도록 하며, <think> <answer> 태그를 생성할 수 있도록 합니다. 최종적인 reward는 r=\lambda_f r_{format}+\lambda_m r_{mcq}로, 이 두 reward의 가중합으로 정의됩니다. (여기서 \lambda_m=\lambda_f=1로 설정)

최종적으로 목적 함수는 아래의 식 \mathcal{J}_{GRPO}(\theta)로 정의되며, 이때 \epsilon과 \beta는 하이퍼파라미터, \pi{ref}는 학습된 policy가 발산하지 않도록 사용하는 참조 policy 모델(사전학습모델입니다.

또한, s_i = {{\pi_{\theta}(o_i|q)} \over {\pi_{\theta_{old}}(o_i|q)}} 로, s_i = {\pi_{\theta_{old}}(o_i|q)} 는 업데이트 이전의 policy 모델로, 안정적인 학습을 위해 참조 정책에 가깝도록 하면서 기대 보상이 최대가 되도록 학습되게 됩니다.

Inference

추론시에는 학습된 policy 모델을 사용하여 먼저 top-k를 생성하여 잠재적 옵션을 생성한 뒤, 동일 정첵에 다시 프롬프트를 입력하여 옵션 중 정답 옵션이 무엇인지 선택하도록 합니다.

Experiments

Setting

베이스라인 모델은 사전학습된 Qwen2.5-VL-7B, LoRA로 학습시킨 SFT(Supervised Fine Tuning), base-to-novel 세팅에서 학습한 ViRFT를 비교하였습니다. 또한, 저자들이 제안한 추론 파이프라인을 사용하는 Qwen2.5-VL-7B & ViRFT, 2단계 추론 중 K개 생성 결과가 가장 일관된 예측을 최종으로 사용한 방식을 ( Consistency로 표현하였습니다. 추가로 독점 모델인 Gemini2.5-flash-lite, GPT-5-mini, Grok4-fast도 비교하였습니다.

실험은 5가지 fine-grained image classification 데이터셋 OxfordFlowers-102, CUB-200, OxfordPets-37, StanfordCars-196 , FGVC Aircraft-100에서 이루어집니다. 세팅은 2가지로 나눠지며, 먼저 base-to-novel은 카테고리를 base와 novel로 나누고, novel은 학습에 사용하지 않습니다. mixed-dataset 세팅은 모든 데이터셋의 base 클래스를 결합하여 단일 모델을 학습시키는 방식입니다. 추가로, 클래스당 4개의 shot으로 구성된 few-shot 세팅도 평가합니다.

Results

Zero-shot Base-to-Novel Generalization

Table 1은 zero-shot base-to-novel 세팅에서의 일반화 성능을 평가한 결과입니다. DiVE-k는 5개의 벤치마크에서 전반적으로 좋은 성능을 달성하였으며, 기존의 방법론 중 SOTA인 ViRFT와 비교했을 때 base +7.8, novel +4.6, HM +6.2의 성능 개선이 이루어졌습니다. 또한 ViRFT*는 ViRFT에 에 저자들의 파이프라인을 적용한 실험 결과이며, 기존 ViRFT보다 성능 개선이 이루어졌습니다.

그러나 Pet 데이터에 대해서는 ViRFT가 조금 더 좋은 성능을 보였으며, 이에 대해 저자들은 Ablation study 실험을 통해 클래스 간 시각적 변별력이 높은 경우 모델이 MCQ 답변을 고르는 과정에 오류가 발생하였다고 주장합니다.

또한, fine-tuning 결과인 SFT는 base 카테고리에서의 성능 개선을 일으키지만, novel 카테고리에 대해서는 성능이 급격히 저하되는 결과를 통해 일반화의 어려움을 보였습니다.

Mixed-Dataset Base-to-Novel Generalization

Table 2는 mixed-dataset 세팅으로, 여러 데이터 셋의 base 카테고리를 모아 하나의 policy 모델을 학습시킨 뒤, 각 데이터의 base와 novel 카테고리에 대하여 평가한 결과입니다. 마찬가지로 대체로 좋은 성능을 보였으며, 이를 통해 일반화 능력을 확인합니다.

Few-shot Classification

Table 4는 Few-shot 세팅에서의 성능을 검토한 결과입니다. 마찬가지로 대부분의 데이터에서 좋은 결과를 보였습니다. ViRFT*(consistency)도 ViRFT에 2-stage 뿐만 아니라 MCQ를 적용한 결과로, 저자들이 제안한 파이프라인이 효과가 있다는 것을 확인할 수 있습니다.

Visualization

Figure 4는 DiVE-k와 ViRFT에 대한 결과를 시각화 한 것입니다. ViRFT는 높은 수준의 “thistle-like”(=엉겅퀴같은) 단서에 직접적으로 의존하여 유사한 속성을 구분하지 않고 부정확한 “global thistle”로 예측합니다. 반면에 DiVE-k는 먼저 작은 top-k후보 목록을 생성한 뒤, 최종 옵션을 결정하기 전에 기하학적 구조, 꽃의 배열 등 세부적인 속성 정보를 비교하여 후보를 선별합니다. 이러한 정성적 결과를 통해 저자들의 의도한 결과대로 동작함을 보였습니다. (추가 정성적 결과는 논문의 appendix 확인)

Ablation study

위의 Table은 CUB데이터셋에서 classification 방식에 대한 비교실험으로, Top-K를 선별한 MCQ 방식의 효과가 있음을 확인할 수 있습니다.

Figure 5는 top-K 생성시 하이퍼파라미터 K에 따른 정확도를 나타낸 것 입니다. 우선, DiVE-k가 가 대체로 기존 알고리즘보다 좋은 성능을 보이고있으며, K가 증가함에 따라 정확도는 일반적으로 개선되지만, K가 너무 커지면 성능 저하가 발생하기도 합니다.

또한, 저자들의 방식은 Top-K 안에 정답이 포함되어야만 두번째 단계가 성공할 수 있으므로, 두 단계 사이의 병목을 확인하는 실험을 진행하였습니다. Table 6은 이에 대한 실험 결과로, 먼저 Top-k 안에 정답이 포함되었는지를 나타낸 결과입니다. 대체로 높은 성능을 보이고 있으며, DiVE-k에서 대체로 성능이 조금 더 개선되는 경향을 보였습니다. 이를 통해 저자들은 이후의 방법론이 동작하는 데 큰 문제가 없다는 것을 정량적으로 보였습니다.

마지막으로 MCQ에서의 정확도에 대한 실험 결과입니다. 마찬가지로 최종적으로 DiVE-k가 유효함을 보였습니다.