대부분의 모델이 가지는 long-tailed 문제를 해결하려고 한 ICML 논문에 대해 리뷰해보겠습니다.

---

Venue: ICML 2026
Authors: Wenjun Miao, Mingda Li, Yanchao Hao, Zheng Wei
Affiliation: Beihang University (Beijing), Tencent PCG
Title: Adaptive Token Refinement in Long-Tailed Large Vision-Language Models Fine-Tuning

---

0. Background

본격적인 리뷰에 앞서, 이 논문이 다루는 Long-tailed distribution부터 간단히 살펴보겠습니다.

Long-tailed distribution은 소수의 Head 클래스에 데이터가 집중되고, 나머지 대다수의 Tail 클래스에는 데이터가 극히 적은 현실적인 데이터 분포를 말합니다. 이런 데이터로 모델을 학습하면 데이터가 많은 Head 쪽에만 과적합되어, 전체 성능이 높아 보여도 정작 Tail 데이터에서는 성능이 크게 떨어지는 문제가 발생합니다.

기존의 long-tailed recognition 연구들은 이를 해결하기 위해 Head class의 loss를 줄이거나 Tail class의 loss를 높이는 reweighting, Tail 데이터를 더 자주 보여주는 re-sampling, 또는 class별 logit을 보정하는 방법 등을 사용해왔습니다. 그러나 이런 방식은 학습 전에 각 class의 데이터가 몇 개씩 존재하는지 알고 있다는 것을 전제로 합니다. 현실에 적용하기에는 당연히 어려움이 있겠죠?

게다가 Large Vision-Language Model(LVLM)에서는 기존 방식을 적용하기가 훨씬 어렵습니다. 명확한 단일 라벨을 맞추는 일반 이미지 분류와 달리, LVLM은 이미지와 질문을 바탕으로 여러 토큰의 문장을 생성하기 때문입니다.

LVLM 환경에서 롱테일 편향은 단순한 객체 카테고리뿐만 아니라 시각적 개념, 질문 형식(단순 질문 vs 복잡한 추론), 언어 표현 등 다방면에서 복합적으로 나타납니다. 따라서 무엇이 Head이고 Tail인지 명확히 정의하거나 빈도를 계산하는 것 자체가 불가능에 가깝기 때문에 새로운 접근 방식이 필요하죠

1. 문제: LVLM은 왜 Tail 데이터를 놓치고 있는지?

그렇다면 long-tailed data로 LVLM을 fine-tuning하면 실제로 어떤 문제가 발생할까요?

일반적으로 Fine-tuning을 거치면 데이터가 추가되는 만큼 Head와 Tail 클래스의 성능이 같이 상승할 것으로 기대합니다. 하지만 저자들이 Qwen2.5-VL-7B를 학습해 본 결과(Figure 1), Head 성능은 대폭 향상(65.4 → 84.9)된 반면 Tail 성능 개선(60.4 → 64.7)은 매우 조금이었습니다.

단순히 Tail 데이터가 턱없이 부족해서일까요? Figure 3의 학습 과정을 자세히 살펴보면, 학습 초기에는 Tail 성능도 오르지만 시간이 지날수록 다시 하락하는 현상을 확인할 수 있습니다. 즉, 모델이 Tail 데이터를 아예 학습하지 못하는 것이 아닙니다. 이미 잘 학습한 Head 데이터를 반복적으로 최적화하느라 Overfitting되고, 이 과정에서 Tail을 학습할 기회는 물론 사전학습 모델의 일반화 능력까지 잃게되는 것입니다.

2. Introduction

그렇다면 Class별 데이터 개수를 알기 어려운 LVLM 환경에서, 모델이 이미 충분히 학습한 정보와 아직 학습이 필요한 정보를 어떻게 구분할 수 있을까요?

저자들은 그 단서로 각 output token에 대한 모델의 predicted probability, 즉 confidence를 사용합니다.

모델이 어떤 정답 token을 이미 높은 확률로 예측한다면, 해당 token은 현재 모델이 충분히 잘 학습한 정보일 가능성이 높습니다. 그렇다면 이러한 token을 계속해서 강하게 최적화하기보다는, loss에서 제외하여 다른 학습 신호에 집중하도록 할 수 있겠죠.

하지만 반대로 confidence가 매우 낮은 token에 무조건 큰 loss를 부여하는 것도 좋은 방법은 아닐 수 있습니다. 지나치게 어려운 token이나 noisy한 sample을 강하게 최적화하면, 모델이 우연한 패턴이나 spurious correlation까지 외우면서 사전학습 지식을 훼손할 수 있기 때문입니다.

또한 output token의 loss만 조절하는 것만으로는, 모델이 이미지 속 특정한 쉬운 단서에 의존하는 문제를 해결하기 어렵습니다. 예를 들어 자주 등장하는 배경이나 특정 visual pattern만으로 답을 예측한다면, 학습 데이터에서는 잘 동작하더라도 드물게 등장하는 Tail 샘플에서는 제대로 일반화하지 못할 수 있습니다.

따라서 저자들은 output과 input을 함께 조절하는 Adaptive Token Refinement(ATR)을 제안하였습니다

ATR은 크게 두 가지로 구성됩니다: 먼저 Bounded Adaptive Loss는 output token의 confidence를 바탕으로, 이미 잘 맞히는 token은 학습에서 제외하고 지나치게 어려운 token의 loss는 제한합니다. 그리고 Visual Token Mask는 쉽게 예측되는 일부 visual token을 가려, 모델이 특정한 시각적 단서에만 의존하지 않도록 합니다.

지금부터 ATR이 output token과 visual token을 각각 어떻게 조절하는지 살펴보겠습니다.

3. Method: Adaptive Token Refinement

본격적으로 ATR을 살펴보기 전에, 먼저 일반적인 LVLM의 fine-tuning objective부터 간단히 정리하겠습니다.

• 입력 이미지로부터 추출된 visual token: V=\{v_1,v_2,\ldots,v_N\}
• 입력 text token: T
• 모델이 생성해야 하는 정답 token sequence: Y=\{y_1,y_2,\ldots,y_L\}

LVLM은 이전까지 생성된 token y_{<t}와 입력 V,T를 바탕으로, t번째 정답 token y_t^*의 확률을 다음과 같이 계산합니다.

그리고 일반적인 SFT에서는 모든 output token에 대해 cross-entropy loss를 계산합니다.

즉, 모델이 이미 높은 확률로 맞히는 token이든, 거의 맞히지 못하는 token이든 모두 같은 objective 안에서 학습됩니다.

저자들은 바로 이 때문에 long-tailed fine-tuning에서 문제가 된다고 보았습니다. 자주 등장하는 Head concept과 관련된 token은 학습 초기에 빠르게 높은 confidence를 가지지만, 이후에도 계속 loss에 포함되면서 반복적으로 최적화됩니다. 반대로 confidence가 지나치게 낮은 token은 매우 큰 loss를 발생시켜, 일부 어려운 sample이 학습을 과도하게 끌고 갈 수 있습니다.

ATR은 크게 두 부분으로 구성됩니다.

1. Output token의 loss를 조절하는 Bounded Adaptive Loss
2. Input visual token 일부를 제거하는 Visual Token Mask

먼저 Bounded Adaptive Loss가 output token의 학습 강도를 어떻게 조절하는지 살펴보겠습니다.

3.1 Bounded Adaptive Loss

Bounded Adaptive Loss, BAL은 output token의 confidence를 기준으로 학습량을 조절합니다. 다시말해 이미 잘 맞히는 token은 제외하고, 지나치게 어려운 token의 loss는 제한하는 역할을 합니다

3.1.1 Dynamic Filtering of High-Confidence Tokens

먼저 정답 token의 predicted probability P_t가 threshold \tau보다 높으면, 해당 token을 이미 충분히 학습한 것으로 보고 loss에서 제외합니다. 이를 위해 indicator function을 사용하고,

이를 기존 cross-entropy loss에 적용하면,

수식을 보면 P_t>\tau인 high-confidence token에서는 I_\tau[P_t]=0이 되기 때문에, 해당 token의 loss가 완전히 제거되겠죠? 다시말해, 이미 높은 확률로 맞히는 token을 계속해서 P_t\rightarrow1로 밀어붙이지 않는 것입니다.

다만 threshold \tau는 고정되어 있지 않고, 학습 과정에 따라 업데이트 됩니다

여기서 r은 threshold의 증가 속도를 조절하고, \gamma는 각 token의 confidence가 threshold 업데이트에 미치는 영향을 조절합니다.

이 덕분에 초기에는 비교적 낮은 \tau를 사용해 많은 high-confidence token을 빠르게 걸러내게 되는거죠. 이후 \tau가 점차 높아지면, 정말 높은 confidence를 가진 token만 제외됩니다. 즉, 모델의 학습 상태에 맞춰 filtering 기준도 함께 변화하는 것입니다.

하지만 high-confidence token을 제외했다고 해서, confidence가 낮은 token을 모두 강하게 학습하는 것은 아닙니다.

3.1.2 Adaptive Reweighting of Low-Confidence Tokens

Cross-entropy에서 token별 loss는 -\log P_t 입니다. 따라서 P_t가 0에 가까워질수록 loss가 매우 커지게 되겠죠? 이런 token은 전체 gradient에서 큰 비중을 차지하게 됩니다.

기존 long-tail learning 관점에서는 단순히 어려운 token을 더 강하게 학습하는 것이 좋아 보일 것 같습니다. 그러나 저자들은 LVLM fine-tuning에서는 지나치게 큰 loss가 noisy sample이나 spurious correlation에 대한 sharp optimization으로 이어질 수 있다고 합니다.

그래서 다음과 같이 token별 weight를 적용합니다.

Token loss가 ⁡\ell_{\max}보다 작으면 w_t=1이므로 그대로 학습됩니다. 반대로 loss가 너무 크면 w_t가 감소하여, 최종 loss가 대략 \ell_{\max}를 넘지 않도록 제한됩니다.

두 과정을 결합한 최종 BAL은 다음과 같습니다.

정리하면, BAL은 high-confidence token은 학습에서 제외하고, 지나치게 low-confidence인 token은 loss에 상한을 두는 방식입니다. 이를 통해 이미 잘 학습된 Head pattern에 대한 반복적인 최적화와, 일부 어려운 token에 대한 과도한 최적화를 동시에 줄이고자 했습니다.

3.2 Visual Token Mask

BAL이 output token의 loss를 조절했다면, Visual Token Mask(VTM)는 입력되는 visual token을 조절하는 역할을 합니다. 저자들은 모델이 쉽게 활용할 수 있는 단순한 visual cue에 반복적으로 의존하면, Tail data에 대한 일반화가 어려워질 수 있다고 본거죠

이를 위해 각 visual token v의 generation entropy를 계산하였습니다

여기서 p_i는 visual token v[/latedx]가 주어졌을 때 각 vocabulary token [latex]i가 예측될 확률입니다. 저자들은 entropy가 낮은 token을 prediction이 특정 vocabulary에 집중된, 즉 상대적으로 쉽고 중복된 시각 정보로 해석하였습니다.

이후 entropy가 기준 H_k(V)보다 낮은 token 중 일부를 masking probability m에 따라 무작위로 선택합니다.

그 다음 최종적으로 선택된 token V'을 원래 visual token에서 제거하여 모델에 입력합니다.

즉, 모든 low-entropy token을 제거하는 것이 아니라 그중 일부만 확률적으로 가리는 거죠. 이를 통해 모델이 항상 동일한 쉬운 visual token에 의존하지 않고, 남아 있는 다양한 시각 정보를 활용하도록 유도합니다.

정리하면, 저자가 제안하는 ATR은 output에서는 confidence를 기준으로 loss를 제한하고, input에서는 entropy를 기준으로 visual token을 일부 제거하는 방식으로 구성됩니다.

4. Experiments

저자들은 ATR을 두 가지 환경에서 평가하였습니다.

먼저 class별 데이터 수가 명확한 ImageNet-LT와 Places-LT에서 long-tailed classification 성능을 확인했습니다. 이후에는 long-tail bias가 질문 유형이나 visual concept 등에 복합적으로 나타나는 IconQA와 ScienceQA를 사용해 VQA 환경에서도 평가했습니다.

모델은 주로 Qwen2.5-VL-7B를 사용했으며, LoRA 또는 DoRA로 3 epoch 동안 fine-tuning 했다고 하네요

4.1 Long-Tailed Classification

먼저 Table 1에서 일반 SFT와 ATR의 성능 비교입니다.

ImageNet-LT에서 일반 SFT는 Head 성능을 65.4에서 84.9까지 크게 높였지만, Tail 성능은 60.4에서 64.7로 다소 조금 향상됐습니다. 반면 ATR은 Head 90.2, Medium 82.8, Tail 71.5를 기록하며 모든 구간에서 SFT를 개선했습니다.

재밌는 부분은 ATR이 Head 성능을 희생해 Tail을 높인 것이 아니라는 것입니다. 보통 long-tail learning은 Head와 Tail 사이에 trade-off가 발생하는게 일반적인데, ATR은 Head, Medium, Tail 성능을 모두 높이는 결과를 보였습니다

또한 class frequency를 이용한 Reweighting보다도 높은 성능을 보였습니다. 즉, ATR은 사전 정보인 각 class의 데이터 개수를 직접 사용하지 않고도 token confidence를 바탕으로 long-tail 학습을 조절함을 알 수 잇었습니다.

4.2 Generalization

그런데 ATR이 fine-tuning dataset에만 더 잘 맞도록 만든 것은 아닐까 하는 의문이 들 것 같은데요.

저자들은 ImageNet-LT로 학습한 모델을 Places-LT에서, Places-LT로 학습한 모델을 ImageNet-LT에서 zero-shot으로 평가한 결과도 보였습니다

일반 SFT를 적용하면 학습한 데이터셋의 성능은 높아지지만, 다른 데이터셋에서의 zero-shot 성능은 크게 떨어졌습니다. 예를 들어 ImageNet-LT로 SFT한 모델의 Places-LT 성능은 zero-shot 38.6에서 32.6으로 감소한 것처럼요.

ATR 역시 fine-tuning 이전의 zero-shot 성능을 완전히 유지하지는 못했지만 SFT, MinorSFT, FisherSFT와 비교하면 가장 높은 cross-dataset 성능을 보였습니다.

따라서 ATR은 catastrophic forgetting을 완전히 해결했다기보다는, downstream 성능을 높이면서 fine-tuning 과정에서 발생하는 generalization 저하를 상대적으로 줄인 방법으로 보는 것이 좋을 것 같네요

4.3 Visual Question Answering

다음으로 class frequency를 명확하게 계산하기 어려운 VQA 환경에서도 ATR을 평가하였습니다

Qwen2.5-VL-7B에 LoRA를 적용했을 때, IconQA의 fine-tuning 성능은 일반 SFT의 92.4에서 ATR의 98.9로 향상됐습니다. ScienceQA에서도 개선된 건 마찬가지 였습니다.

또한 OKVQA, OCRVQA, GQA, TextVQA에서 측정한 평균 zero-shot 성능도 기존 fine-tuning 방법보다 높았습니다. 이러한 경향은 Qwen2.5-VL뿐 아니라 LLaVA-1.5, LoRA뿐 아니라 DoRA에서도 전반적으로 유지되었죠

즉, ATR은 class가 명확하게 정의된 classification뿐 아니라, long-tail bias가 여러 요소에 얽혀 있는 generation task에도 적용할 수 있다는 걸 보여주는 결과인데요

다만 VQA 실험에서는 어떤 데이터가 실제 Head이고 Tail인지 직접 구분하여 평가하지는 않았다는 점이... VQA 성능 향상이 정말 long-tail bias의 완화 때문인지, 아니면 ATR이 일반적인 regularization으로 작용한 결과인지는 명확하게 분리하기 어려운거 아닌가 하는 의문이 들긴 합니다.

4.4 Ablation Study

마지막으로 ablation study 보고 마무리하겠습니다

ImageNet-LT에서 저자가 제안하는 기법을 적용햇을 때 순차적으로 성능이 향상되는 것을 확인할 수 있습니다. Places-LT에서도 동일하게 모든 구성 요소를 함께 사용했을 때 가장 좋은 성능을 보였습니다.

특히 VTM은 Tail 성능을 64.7에서 69.8로 높여, Tail generalization에 비교적 큰 영향을 보였습니다. 마스킹을 하는 것이 가장 큰 효과를 보인게 인상적이네요

5. Conclusion

논문은 여기까지였습니다. 마지막으로 정리하면, 이 논문은 LVLM의 long-tailed fine-tuning을 class가 아닌 token 수준에서 해결하려고 한 연구라고 할 수 있을 것 같습니다.

기존 long-tail 방법은 class별 데이터 수를 바탕으로 loss를 조절했지만, LVLM의 generation task에서는 long-tail 분포를 명확하게 정의하기 어렵습니다. 그래서 저자들은 모델의 예측 상태 자체를 이용한 것이죠

Output에서는 high-confidence token을 loss에서 제외하고, 지나치게 low-confidence인 token의 loss에는 상한을 두었습니다. Input에서는 low-entropy visual token 일부를 무작위로 제거해, 모델이 특정한 쉬운 visual cue에만 의존하지 않도록 했습니다.

다만 high-confidence output token이 실제로 Head concept을 의미하는지, low-entropy visual token이 정말 단순하거나 불필요한 cue인지는 직접 확인한 건 아니었는데요. 개인적으로 이 부분에 대한 분석이 있었다면.. 하는 아쉬움이 좀 있었습니다. 또한 VQA에서는 Head와 Tail을 구분한 성능을 제시하지 않았기에, 성능 향상이 long-tail 완화인지 일반적인 regularization 효과인지에 대해서는 추가적인 분석이 필요해 보입니다.

이상 리뷰 마치겠습니다!