[AAAI 2026] Rethinking Visual Token Reduction in LVLMs Under Cross-Modal Misalignment

Abstract

LVLMs 들은 visual 입력들을 dense 한 sequences 들의 패치들로 변환하여 미세한 semantics들을 포착한다고 합니다. 이러한 visual tokens 들은 textual tokens 들과 달리 토큰수가 많고 그래서 large margin 이 남는다는 token pruning 의 task 설명을 먼저 진행합니다. 그 뒤에는 흔히 아는 computational overhead가 높으니 그런 이야기를 하고 이전 in-LLM reduction 방법론들은 text-conditioned 정보를 활용하여 발전이 되어왔는데, 그러한 발전은 LLM 내부에서의 text-patch attention 을 활용한 방식이 신뢰할 수 있는 정보라는 가정이었고 저자는 이 가정을 revisit 하여 text-guided token reduction이 causal, semantic, and spatial forms 의 cross modal misalignment가 있음을 밝혔다고 합니다.

그러한 관점에서 저자는 visual only pruning framework 를 제안하고 VLM 의 전체 파이프라인중 ( Vision encoder, projeoct, in llm ) 모두에서 pruning 을 점진적으로 하게 구현하였다고 합니다.

이러한 cross-modal misalignment 문제를 해결하기 위해 저자는 VisionDrop이라는 training-free visual token pruning framework를 제안합니다. 기존 in-LLM pruning 방식처럼 text-guided relevance를 사용하지 않고, visual token끼리의 self-attention, 즉 image-to-image attention만을 이용해서 token importance를 계산합니다.

저자는 text token이 LLM 내부에서 visual token의 중요도를 항상 안정적으로 판단할 수 있다고 보기 어렵기 때문에, potentially misaligned textual signal을 사용하지 않고 visual modality 내부의 관계만으로 중요한 token을 선택하는 것이 더 안정적이라고 봅니다.

실험 결과, VisionDrop은 별도의 training이나 복잡한 구조 변경 없이도 기존 방법들보다 좋은 성능을 보였다고 합니다. 특히 LLaVA-NeXT-7B에 적용했을 때 inference latency는 약 2.7배 줄이고, FLOPs는 약 6배 줄이면서도 원래 성능의 95.71%를 유지했다고 합니다.

Introduction

우선 저자는 LVLM이 visual question answering, image captioning, visual reasoning 같은 다양한 multimodal task에서 좋은 성능을 보이고 있다고 설명합니다. 이러한 성능의 핵심 요인 중 하나는 이미지를 dense한 patch-level token sequence로 변환해서, 이미지의 세밀한 semantic information을 충분히 표현하는 방식입니다.

하지만 이런 dense representation은 computational cost가 매우 크다는 문제가 있습니다. 텍스트 token과 비교하면 visual token은 보통 훨씬 많고, 이미지 한 장만 넣어도 수백 개에서 많게는 수천 개의 token이 생성될 수 있습니다. Attention 연산은 token 수에 대해 quadratic하게 증가하기 때문에, high-resolution image나 real-time application에서는 이 비용이 더 큰 문제가 됩니다.

이 문제를 해결하기 위해 기존 연구들은 visual token을 줄이는 방법을 제안해왔습니다. 크게 보면 visual token을 LLM에 들어가기 전에 줄이는 방식과, LLM 내부에서 줄이는 방식으로 나눌 수 있습니다.

LLM에 들어가기 전에 token을 줄이는 방식은 visual representation 단계에서 redundant feature를 미리 압축할 수 있다는 장점이 있습니다. 하지만 너무 이른 단계에서 pruning하면 subtle한 detail이나 task와 관련된 정보를 잃을 수 있습니다.

반대로 LLM 내부에서 token을 줄이는 방식은 visual information이 text context와 어느 정도 결합된 이후에 token importance를 판단할 수 있다는 장점이 있습니다. 하지만 visual token과 text token이 이미 복잡하게 섞인 뒤이기 때문에, 실제로는 중요하지만 entangled되어 있거나 문맥상 필요한 token을 잘못 제거할 위험이 있습니다.

저자는 특히 기존 in-LLM pruning 방식들이 대부분 text-conditioned scoring에 의존한다는 점을 문제로 봅니다. 즉, visual token이 text instruction과 얼마나 관련 있는지를 계산해서 token importance를 정하고, 이 score가 높은 토큰을 남기는 방식입니다.

하지만 이런 방식은 LLM 내부에서 visual token과 text token이 계속 잘 align되어 있다는 가정을 깔고 있습니다. 저자는 이 가정을 다시 검토하면서, 실제로는 LLM layer 내부에서 visual representation과 textual representation 사이에 세 가지 종류의 cross-modal misalignment가 존재한다고 설명합니다.

첫 번째는 causal misalignment입니다. LLM은 autoregressive하게 동작하기 때문에, 마지막 text token이 sequence상 가까운 token에 더 attention을 주는 경향이 생길 수 있습니다. 따라서 visual token이 실제로 중요한지와 무관하게, sequence 위치 때문에 높은 score를 받을 수 있고, 이것이 visual token scoring에 locality bias를 만든다는 것입니다. 이는 앞서 제가 리뷰했던 VisPruner 등 많은 논문등에서 언급한 attention shfit 현상과 동일한 문맥으로 설명한 것 같습니다.

두 번째는 semantic misalignment입니다. LLM layer를 거치면서 visual token과 text token이 점점 더 깊게 섞이게 되는데, 이 과정에서 text token이 원래 가지고 있던 semantic distinctiveness가 약해질 수 있습니다. 즉, 처음에는 질문의 의미를 비교적 명확하게 담고 있던 text token이 여러 layer를 거치면서 visual information과 섞이고, 결국 visual token의 importance를 판단하기 위한 명확한 query 역할을 하지 못할 수 있다는 것입니다.

세 번째는 spatial misalignment입니다. visual token은 원래 이미지 patch의 위치 정보를 가지고 있지만, LLM 내부에서는 text token과 함께 하나의 1D sequence로 flatten되어 처리됩니다. Text token은 이미지 내부의 spatial structure에 대한 prior를 가지고 있지 않기 때문에, 시각적으로 중요한 위치에 있는 token이라도 text가 직접 강조하지 않으면 pruning될 수 있다는 것입니다.

저자는 CLIP-style encoder나 LVLM의 projection layer가 입력 단계에서는 image-text alignment를 만들려고 하지만, LLM 내부에서 multimodal token fusion이 진행되면 이런 alignment가 점점 약해질 수 있다고 봅니다. 그래서 text-guided score만으로 visual token을 줄이면 visually salient하거나 semantic하게 중요한 정보를 버릴 수 있다는 것입니다.

이를 검증하기 위해 저자는 visual-only scoring과 text-guided scoring을 직접 비교하는 실험을 수행합니다. 기존 image-to-text relevance score 대신 visual self-attention score를 사용해서 token importance를 계산한 뒤, 여러 compression ratio에서 성능을 비교합니다.

그 결과 visual-only scoring이 전반적으로 text-guided scoring보다 더 좋은 성능을 보였고, 특히 pruning ratio가 높아질수록 차이가 더 커졌다고 합니다. 즉, token이 LLM layer를 통과하면서 visual-text alignment가 약해지고, aggressive pruning 상황일수록 text-guided reduction의 신뢰성이 더 떨어질 수 있다는 것입니다.

저자의 figure 1 을 보면, 파란 박스는 image-to-image token attention 이고, 빨간 박스는 text-to-image attention일때, 빨간 박스의 attention을 이용한 pruning 에서는 실제로 살려야하는 주황색 부분을 살리지 못했고, 파란 박스로 patch to patch attention을 사용하게 되면, 질문에 대답할 수 있는 부분이 살아남는 것을 확인할 수 있습니다. 번외로 저자의 그림상 4개의 파란박스중 우상단의 박스는 causal masking 때문에 생길 수 없는 값인 것 같은데, 그냥 그림의 편의상 그려넣은 것으로 저는 이해했습니다.

이러한 분석을 바탕으로 저자는 VisionDrop을 제안합니다. VisionDrop은 visual encoder와 LLM 전체에서 stage-wise pruning을 수행합니다. 각 stage에서는 visual-only score를 기반으로 dominant token을 먼저 선택하고, 남은 token들은 similarity를 기준으로 contextual token으로 병합합니다. 이를 통해 핵심 visual information은 유지하면서, complementary information도 최대한 보존하려는 구조입니다.

마지막으로 저자는 VisionDrop이 training-free 방식임에도 다양한 benchmark에서 기존 방법들을 능가했다고 설명합니다. 특히 5.6% token retention만 남기는 매우 강한 compression setting에서도, LLaVA-1.5-7B에서는 원래 성능의 91.46%, LLaVA-NeXT-7B에서는 원래 성능의 92.06%를 유지했고, 각각 기존 best baseline보다 0.96%, 1.71% 높은 성능을 보였다고 합니다.

Methodoogy

저자는 기존 visual token reduction을 크게 두 위치에서 수행한다고 설명합니다.

하나는 visual encoder 단계에서 줄이는 방식이고, 다른 하나는 LLM decoding 단계에서 줄이는 방식입니다. 특히 LLM 내부에서 token을 줄이는 방법들은 대부분 text-guided strategy를 사용합니다. 즉, text relevance score를 이용해서 visual token 중 어떤 것을 남길지 결정합니다.

그런데 저자는 visual input이 projector를 통해 text embedding space로 들어오더라도, LLM 내부에서 visual token과 text token이 끝까지 잘 align되어 있다고 보기는 어렵다고 주장합니다. 그리고 text-guided pruning에는 세 종류의 cross-modal misalignment가 생긴다고 설명합니다.

첫 번째는 causal misalignment입니다. 기존 text-guided pruning은 보통 마지막 instruction token을 사용해서 visual token의 중요도를 계산합니다. 그런데 autoregressive LLM에서는 이 마지막 text token이 sequence상 뒤쪽에 있는 visual token에 더 강하게 attention을 주는 경향이 있습니다. 즉, visual token이 실제로 중요한지보다 sequence 위치 때문에 score가 높아질 수 있습니다. 앞서 introduction 에서 언급한 attention shfit 현상입니다.

그래서 Figure 3에서는 shallow layer에서 pruning한 결과, semantic relevance와 관계없이 retained visual token이 input sequence의 끝부분에 반복적으로 몰리는 현상이 나타난다고 합니다. 저자는 이를 causal mask와 autoregressive attention이 만드는 locality bias로 봅니다.

두 번째는 위의 Figure 4에서 본 semantic misalignment입니다. visual token과 text token이 LLM을 통과하면서 점점 entangle되고, 마지막 instruction token이 더 이상 질문 의미를 명확하게 담은 token이 아니게 됩니다. 따라서 이 token을 query로 사용해 visual token importance를 측정하면, 실제 질문과 관련된 region을 놓칠 수 있다는 것입니다.

세 번째는 spatial misalignment입니다. visual token은 원래 이미지 patch의 2D 공간 위치를 가지고 있지만, LLM에 들어오면 text token과 함께 하나의 1D sequence로 flatten되어 처리됩니다. 이 과정에서 visual token이 가지고 있던 spatial prior가 희석될 수 있습니다.

또한 text 자체는 이미지의 공간 구조를 완전하게 표현하지 못합니다. 예를 들어 질문이 “What is the person holding?”이라고 해도, 사람의 손, 물체, 몸통, 주변 context처럼 실제 spatial relation에 필요한 모든 영역을 text가 직접 지정해주지는 않습니다. 그런데 text-guided pruning은 text가 강조한 부분만 중요하다고 볼 가능성이 있으므로, spatially 중요한 visual region을 버릴 수 있다는 것입니다.

이 세 misalignment를 통해 저자는 text-guided visual token pruning이 modality interaction bias에 근본적으로 제약된다고 주장합니다.

이를 검증하기 위해 저자는 PyramidDrop framework를 그대로 재현합니다. pruning layer와 token retention ratio는 동일하게 유지하고, 기존의 image-to-text relevance score만 image-to-image self-attention score로 바꿉니다. 즉, pruning 구조 자체가 좋아서 성능이 오른 것인지가 아니라, text-guided score 대신 visual-only score를 쓴 효과만 비교하려는 controlled experiment입니다. 해당 성능이 위의 Figure 2 결과입니다.

LLaVA-1.5-7B를 기반으로 GQA, MMBench, MMBench-CN, POPE에서 평가한 결과, retained token이 192개일 때부터 visual-only scoring이 text-guided scoring보다 일관되게 좋았다고 합니다. 그리고 token 수를 128개, 64개로 더 줄일수록 성능 차이가 더 커집니다.

저자는 이를 통해 aggressive pruning일수록 visual-text alignment가 충분히 신뢰할 만하지 않고, text-guided score가 더 불안정해진다고 해석합니다. 반면 visual-only scoring은 visual token 사이의 attention만 보기 때문에 cross-modal misalignment 영향을 덜 받고, 강한 compression에서도 더 robust한 pruning 기준이 될 수 있다는 것입니다.

Preliminaries

우선 저자는 일반적인 LVLM이 크게 세 가지 구성요소로 이루어진다고 설명합니다. 첫 번째는 이미지에서 patch-level feature를 뽑는 vision encoder이고, 두 번째는 이 visual feature를 LLM이 사용할 수 있는 embedding space로 옮겨주는 modality projector이며, 마지막이 실제 text generation을 수행하는 LLM입니다.

이미지가 입력되면 vision encoder가 patch 단위 feature를 추출하고, 이 feature는 projector를 거쳐 n개의 visual token x_V로 변환됩니다. 이후 이 visual token들은 tokenized text token x_T와 concatenate되어 LLM에 들어갑니다. LLM은 이전에 생성한 token y<t와 visual token, text token을 바탕으로 다음 token y_t를 autoregressive하게 생성합니다.

저자는 visual token reduction이 주로 두 위치에서 이루어져 왔다고 다시 설명합니다. 하나는 vision encoder 내부에서 pruning하는 방식이고, 다른 하나는 LLM decoding 단계에서 pruning하는 방식입니다.

Vision encoder 단계에서 pruning하면 visual token들이 아직 visual modality 안에서 비교적 잘 구조화되어 있고, semantic coherence도 유지되어 있기 때문에 token importance를 안정적으로 판단할 수 있습니다. 하지만 너무 이른 단계에서 pruning하면 downstream reasoning에 필요한 fine-grained detail이 사라질 수 있습니다.

반대로 LLM 내부에서 pruning하면 visual token이 text token과 어느 정도 결합된 이후이기 때문에, 질문과 관련된 visual cue를 반영해서 더 informed한 pruning을 할 수 있다는 장점이 있습니다. 하지만 여러 LLM layer를 지나면서 visual information이 text와 점점 더 entangle되고 diffuse되기 때문에, 어느 visual token이 정말 중요한지를 안정적으로 판단하기 어려워진다고 합니다.

그래서 저자는 encoder-stage pruning의 안정성과 in-LLM pruning의 표현력을 같이 활용하기 위해, vision encoder와 LLM 모두에서 token을 조금씩 줄이는 training-free visual-only progressive pruning framework를 제안합니다. 즉, 초반에는 visual structure가 잘 보존된 상태에서 안정적으로 일부 token을 줄이고, 뒤쪽에서는 text와 어느 정도 결합된 뒤 추가 pruning을 하되, text-guided score 대신 visual-only score를 쓰는 방식입니다.

---

Progressive Dominant Token Selection

저자는 전체 LVLM architecture를 여러 개의 stage로 나눕니다. 이 stage에는 vision encoder 쪽 stage와 LLM decoder 내부 stage가 모두 포함됩니다.

S={s0,s1,…,sN}

그리고 각 stage의 끝에서 현재 남아 있는 visual token에 대해 stage-specific pruning ratio λn를 적용합니다. 즉, 첫 stage에서 일부 줄이고, 다음 stage에서 또 줄이고, 이런 식으로 token을 단계적으로 감소시킵니다.

각 stage에서 visual token은 visual-only attention importance score를 기준으로 ranking됩니다. 그리고 score가 높은 상위 token만 다음 stage로 넘어갑니다.

여기서 S(i)는 i번째 visual token의 importance score이고, τn은 해당 stage에서 유지할 token 비율 λn에 따라 정해지는 threshold입니다.

즉, 매 stage에서 “현재 남아 있는 visual token 중 visual attention 관점에서 중요한 token만 골라 다음 stage로 넘긴다”는 뜻입니다.

---

Visual-only Importance Score

저자는 token importance를 새로 학습하거나 별도의 module을 추가해서 계산하지 않습니다. 기존 model이 이미 계산하는 self-attention map을 재사용합니다.

여기서 핵심은 text token이 visual token을 보는 attention이 아니라, visual query token이 visual key token을 얼마나 보는지를 사용한다는 점입니다.

우선 query visual token을 xV, 전체 입력 sequence를 x라고 둡니다. 전체 sequence에는 visual token과 text token이 둘 다 포함됩니다.

이후 일반적인 attention matrix는 다음처럼 계산됩니다.

여기서 A는 각 visual query token이 전체 token sequence를 얼마나 보는지를 나타냅니다.

그런데 저자는 여기서 전체 attention matrix를 그대로 쓰지 않고, visual key token에 해당하는 부분만 추출합니다.

즉, “visual token들이 전체 sequence를 보는 attention” 중에서, 그 대상이 visual token인 부분만 남깁니다.

그다음 모든 visual query token에 대해 평균을 냅니다.

이 score는 각 visual token이 다른 visual token들로부터 평균적으로 얼마나 많이 참조되는지를 나타냅니다. 결국 score가 높은 visual token은 visual modality 내부에서 다른 token들이 많이 참고하는 token이고, 저자는 이를 dominant visual token으로 봅니다.

아까 Figure 1의 blue box가 바로 이 개념을 단순화한 그림이었습니다. 각 visual token이 visual token들로부터 받은 attention을 모아서 importance score를 만들고, 높은 score를 받은 token을 보존하는 방식입니다.

---

Visual Query Selection

여기서 vision encoder와 LLM은 attention 구조가 약간 다르기 때문에, 저자는 architecture에 따라 query를 다르게 잡습니다.

LLM 내부에는 CLIP처럼 명시적인 [CLS] token이 없습니다. 그래서 LLM에서는 visual token들이 visual token을 보는 attention만 따로 뽑고, 각 visual token이 다른 visual token들로부터 받는 평균 attention을 importance score로 사용합니다.

반면 vision encoder에 CLIP처럼 [CLS] token이 있는 경우에는, [CLS] token이 각 visual token을 보는 attention을 그대로 token importance로 사용합니다. 이건 기존 ViT에서 [CLS] token이 이미지 전체 정보를 모으는 global aggregator처럼 동작한다는 가정에 기반합니다.

만약 SigLIP처럼 dedicated [CLS] token이 없는 vision encoder라면, LLM과 동일하게 모든 visual token이 다른 visual token을 보는 attention을 평균내서 score를 만듭니다.

즉, 저자는 backbone마다 무조건 같은 token을 쓰는 것이 아니라,

CLIP처럼 CLS token이 있으면
→ CLS → visual token attention 사용

CLS token이 없거나 LLM 내부라면
→ visual token → visual token attention 평균 사용

이런 식으로 visual-only importance를 계산합니다.

---

Stage-wise Contextual Token Merging

저자는 dominant token만 남기고 나머지 token을 전부 버리면, subtle한 visual detail이나 auxiliary cue가 사라질 수 있다고 봅니다. 그래서 각 pruning stage마다 contextual token merging을 추가합니다.

즉, dominant token은 그대로 유지하지만, 선택되지 않은 token은 바로 drop하지 않고 similarity를 기준으로 남은 token과 병합합니다. 이렇게 하면 중복 token은 줄이면서도, 완전히 버리면 사라질 수 있는 보완 정보는 어느 정도 유지할 수 있습니다.

이 과정에서도 attention module 내부의 key embedding을 재사용합니다. Key embedding은 token의 semantic content를 담고 있다고 보고, token 간 similarity를 계산하는 데 사용합니다.

LLM 내부에서는 visual token과 text token이 섞여 있으므로, similarity를 계산하기 전에 key vector 중 visual token에 해당하는 부분만 따로 뽑습니다. 즉, visual token끼리만 병합하도록 해서 text token의 영향이 들어가지 않게 합니다.

각 stage에서 dominant token으로 뽑히지 않은 token들은 candidate set과 reference set으로 나뉩니다. 그리고 각 candidate token은 reference token들 중 dot-product similarity가 가장 높은 token을 찾습니다. 이후 이 둘을 fusion해서 enriched contextual token을 만듭니다.

쉽게 말하면:

1. 중요한 dominant token은 그대로 보존
2. 나머지 token은 버리지 않음
3. 가장 비슷한 retained/reference token에 붙여서 병합
4. 병합된 token은 주변 context나 fine detail을 일부 포함

이렇게 해서 visual redundancy는 줄이되, fine-grained detail이나 auxiliary visual information은 최대한 잃지 않으려는 것입니다.

결국 VisionDrop은 단순히 “attention 높은 token만 top-k로 뽑는 방법”이 아니라, vision encoder와 LLM의 여러 stage에서 visual-only attention으로 dominant token을 고르고, 나머지 token은 context를 보존하는 형태로 병합하면서 점진적으로 줄이는 방법이라고 보면 됩니다.

Experiments

메인 실험 결과로, VisionZip 과 VisPruner 와의 비교를 메인으로 한 것 같습니다. 전체 SOTA를 달성하였고, related work 에서는 CDPruner라는 논문도 언급을 하였는데, main table 에서는 찾아볼 수는 없었습니다. (해당 방법론이 들어가면 모든 Token budget 에서 SOTA가 깨지게 되긴 하는데, 어떤 평가 기준인지는 모르겠네요.)

고해상도 이미지에서의 평가성능을 확인하는 LLaVA-NeXT 에서의 평가 성능입니다. 위의 Table1과 다르게 VisPruner 가 빠진채 비교가 되고있고, 물론 성능은 SOTA라 고 언급합니다. 저자의 방법론중 큰 contriubtion은 Latency라고 생각합니다. 이미 모델 내부에서 계산되어지는 값을 활용하기 때문에 computational overhead가 크지 않습니다.

위의 latency 실험 결과를 보면 LLaVA-NeXT 같은 고해상도 이미지에서 저자의 방법론이 기존 baseline 대비 2.7배의 속도를 보여주어 위의 제 생각을 뒷받침해주고 있습니다.

위의 Figure는 각 방법론별로 ablation 하여 저자의 학습설계를 붙일수록 성능이 올라가는 것을 보여줍니다. 다만 제가 현재 실험하고 있는 상황에서의 분석과, AgilePruner라는 논문에서 주장한 것을 생각해보면 POPE 라는 데이터셋과 MME 라는 데이터셋으로 비교했으면 더욱 신빙성 있었을 것 같습니다. 두 데이터셋이 pruning 방법론들에 따라서 학습 성능의 Trade off 가 존재함을 AgilePruner가 밝혔는데, 경향이 비슷한 GQA 와 POPE로 보여주었네요. (b) 그래프에서 MME 성능을 보여주고는 있지만, 22.2% retention 하더라도 MME 성능은 크게 떨어지지 않습니다. Table1 실험을 기준으로 64Token 부터 성능이 많이 떨어지게 되는데, 저자가 전략적으로 잘 Figure등을 만든 것 같습니다.

Conclusion

결론적으로 저자는 VisionDrop이라는 간단하지만 효과적인 training-free, visual-only pruning framework를 제안했다고 정리합니다.

VisionDrop은 LVLM 내부에서 발생하는 modality misalignment를 완화하고, 동시에 visual token으로 인한 computational cost를 줄이기 위해 설계되었습니다. 기존처럼 text-conditioned signal에 의존하지 않고, visual encoder와 LLM을 하나의 통합된 processing pipeline으로 보고 visual token을 단계적으로 줄입니다.

구체적으로 VisionDrop은 각 stage에서 중요한 visual token을 선택하는 dominant token selection과, 나머지 token의 보완 정보를 유지하기 위한 contextual merging을 수행합니다. 이를 통해 매우 제한적인 token budget에서도 중요한 visual cue를 최대한 보존할 수 있다고 합니다.

또한 VisionDrop은 순수하게 visual signal만 사용하기 때문에, language cue가 부족하거나 visual content와 잘 align되지 않는 domain에서 특히 유리할 수 있다고 설명합니다. 예를 들어 고해상도 의료 영상이나 remote sensing image처럼, 텍스트가 이미지의 세부적인 시각 정보를 충분히 설명하지 못하는 경우에 text-guided pruning보다 더 안정적으로 작동할 수 있다는 주장입니다

감사합니다.