[CVPR 2026] One Layer’s Trash is Another Layer’s Treasure: Adaptive Layer-wise Visual Token Selection in LVLMs

안녕하세요 이번에는 최근 token compression 논문들중 update 된 애들이 있나 살펴보고 찾은 논문입니다.

그럼 리뷰 시작하겠습니다.

Abstract

우선 이 논문은 LVLM에서 visual token pruning을 layer별로 다르게 해야 한다는 문제의식에서 출발합니다.

기존 LVLM은 다양한 multimodal task에서 좋은 성능을 보이지만, visual token 수가 너무 많아서 실제 deploy가 어렵습니다. 특히 visual token은 text token보다 훨씬 길기 때문에 LLM 내부 attention 계산량을 크게 증가시킵니다. 그래서 visual token pruning이 중요한 가속화 방법으로 연구되어 왔습니다.

그런데 저자는 기존 pruning 방법들이 근본적인 한계를 가진다고 말합니다. 기존 방법들은 보통 특정 layer에서 token importance를 계산한 뒤, 중요하지 않은 token을 제거합니다. 문제는 이렇게 한 번 제거된 token은 이후 모든 layer에서 다시 접근할 수 없다는 점입니다.

즉, 어떤 token이 layer 2에서는 중요하지 않아 보여서 제거되었더라도, layer 10이나 layer 20에서는 중요한 정보가 될 수 있습니다. 하지만 기존 static pruning 방식에서는 이미 제거된 token을 뒤쪽 layer가 다시 사용할 수 없습니다. 그래서 premature information loss, 즉 너무 이른 정보 손실이 발생하고, 이것이 모델 성능을 떨어뜨릴 수 있다고 지적합니다.

저자들은 empirical study를 통해 layer마다 집중하는 visual region이 다르다는 것을 관찰합니다. 어떤 layer는 이미지의 한 부분을 보고, 다른 layer는 또 다른 부분을 봅니다. 따라서 모든 layer에 동일한 token subset을 유지하는 것은 최적이 아니며, layer마다 필요한 token subset이 달라질 수 있다는 것입니다.

이 관찰을 바탕으로 저자는 ALVTS, Adaptive Layer-wise Visual Token Selection을 제안합니다. 기존 pruning처럼 한 번 token을 제거하고 끝내는 것이 아니라, 각 layer마다 중요한 token만 선택해서 해당 layer의 computation에 참여시키고, 덜 중요한 token은 그 layer를 skip하게 합니다.

중요한 점은 skip된 token이 완전히 제거되는 것이 아니라는 점입니다. 해당 layer의 연산만 건너뛰고, layer output 이후에는 다시 processed token과 합쳐져 다음 layer로 전달됩니다. 그래서 다음 layer에서는 다시 모든 token을 대상으로 새롭게 selection을 할 수 있습니다.

즉 ALVTS의 핵심은 기존 Pruning은 한 번 버린 token은 이후 layer 에서 영영 사라지지만 제안하는 방법론은 각 layer마다 중요한 token만 처리하고 덜 중요한 token 은 해당 layer만 skip 하여 이후 다시 전체 token sequence 로 reintegrate 한다는점입니다. 이렇게 하면 layer별로 다른 visual focus를 반영하면서도, 불필요한 연산은 줄일 수 있습니다.

또한 저자는 이 token selector를 단순 heuristic이 아니라, importance consistency constrained low-rank approximation에 기반해 설계했다고 합니다. 쉽게 말하면 full attention을 직접 계산하지 않고도, full attention이 선택했을 중요한 token pattern을 저비용으로 근사하도록 selector를 만든 것입니다. 그리고 이 과정은 별도의 retraining 없이 가능하다고 합니다.

실험은 LLaVA-1.5, LLaVA-NeXT, Qwen2.5-VL에서 수행했고, 89% token compression에서도 원래 모델 accuracy의 96.7%를 유지했다고 합니다. 즉, 강한 token compression에서도 성능을 꽤 유지하면서 inference 효율을 높였다고 합니다.

Introduction

저자는 먼저 LLM의 성공이 LVLM 발전으로 이어졌다고 설명합니다. LVLM은 visual modality와 textual modality를 연결해서 visual question answering, image captioning, object grounding 같은 다양한 multimodal task를 수행합니다.

하지만 LVLM은 visual token 수가 많기 때문에 계산 비용이 큽니다. 예를 들어 LLaVA-NeXT는 672×672 이미지를 처리할 때 최대 2880개의 visual token을 생성할 수 있습니다. 반면 text input은 보통 100개 token보다 적습니다. 그래서 전체 sequence에서 visual token이 대부분의 계산량을 차지하게 됩니다.

이 문제를 해결하기 위해 visual token pruning이 많이 연구되었습니다. 기존 연구들은 VLM 내부 visual token에 상당한 redundancy가 있다고 보고, 중요하지 않은 token을 제거해서 계산량을 줄이려 했습니다.

기존 방법들은 대체로 특정 module에서 attention signal을 이용해 token importance를 계산합니다. 예를 들어 ViT backbone에서는 [CLS] token attention을 사용하거나, LLM 내부에서는 text-to-vision attention을 사용합니다. 즉, 어떤 token이 [CLS]나 text token으로부터 많이 attention을 받는지를 보고 중요한 visual token을 고릅니다.

하지만 저자는 이런 방식들이 모두 공통적인 한계를 가진다고 말합니다. 특정 layer에서 token을 제거하면, 그 token은 이후 모든 layer에서 사라집니다. 즉, 뒤쪽 layer에서 필요할 수 있는 정보가 앞쪽에서 너무 일찍 제거될 수 있습니다.

이 문제를 설명하기 위해 저자는 FastV를 예로 듭니다. FastV는 LLM layer 2에서 attention score를 계산하고, 이 score를 기준으로 visual token을 prune합니다. 그런데 저자들이 각 layer에서 높은 attention을 받는 image token을 시각화해보니, layer마다 보는 영역이 다릅니다.

Figure 1에서 입력 이미지는 Roebling Bridge이고, 질문은 “What is the landmark in the picture?”입니다. 정답은 “The landmark is Roebling Bridge.”입니다.

여기서 layer 2는 주로 아래쪽 bridge structure에 attention을 둡니다. layer 10은 bridge name plaque, 즉 다리 이름이 적힌 표지판 쪽을 봅니다. layer 20은 tower structure에 집중합니다.

만약 layer 2에서 중요하지 않다고 판단한 token을 바로 제거하면, layer 10이나 layer 20에서 필요한 bridge name plaque나 tower structure 정보를 잃을 수 있습니다. 결국 정답을 생성하는 데 필요한 시각 정보가 layer별로 다르기 때문에, 단일 layer 기준으로 고정 token subset을 선택하는 것은 위험하다는 것입니다.

이 관찰을 바탕으로 저자는 ALVTS를 제안합니다.

기존 방법들은 한 번 compressed token subset을 정하면 모든 layer에서 그 subset만 사용합니다. 반면 ALVTS는 각 layer마다 동적으로 visual token을 선택합니다. 각 layer는 자기 layer에서 필요한 visual focus에 맞춰 중요한 token만 처리하고, 중요도가 낮은 token은 해당 layer 연산을 skip하게 됩니다.

여기서 중요한 차이는, ALVTS가 token을 영구적으로 제거하지 않는다는 점으로, 낮은 importance token은 해당 decoder layer 계산을 건너뛰지만, layer output 이후 다시 전체 token sequence에 합쳐지게 됩니다. 그래서 다음 layer에서는 다시 전체 token 중에서 중요한 token을 새롭게 선택할 수 있다고 합니다.

저자는 이 구조를 통해 redundant computation은 줄이면서도, visual semantics는 전체 model hierarchy에서 보존할 수 있다고 합니다.

ALVTS는 각 decoder layer에 들어가기 전에 lightweight token selector를 둡니다. 이 selector는 visual token마다 importance score를 계산하고 score가 높은 token은 현재 layer의 full computation에 참여합니다. score가 낮은 token은 현재 layer를 skip한다고 생각하면 됩니다.

그 뒤 decoder layer output에서 processed token과 skipped token을 다시 합칩니다. 이렇게 복원된 complete token sequence가 다음 layer로 들어갑니다.

이 구조의 장점은 두 가지입니다.

첫 번째는 layer별 adaptive selection이 가능하다는 것입니다. layer 2에서 중요했던 token과 layer 10에서 중요한 token이 달라도, 각 layer가 자기 기준으로 token을 선택할 수 있습니다.

두 번째는 정보가 완전히 사라지지 않는다는 것입니다. 기존 pruning은 제거된 token이 이후 layer에서 접근 불가능하지만, ALVTS에서는 skip token이 다음 layer에 다시 전달됩니다. 그래서 나중 layer에서 필요해지면 다시 선택될 수 있습니다.

하지만 여기서 한 가지 문제가 생깁니다.

각 layer마다 중요한 token을 고르려면 full attention을 계산해서 importance를 보면 될 것 같지만, full attention을 계산하면 이미 계산량이 많이 들어갑니다. 그러면 token selection으로 줄이려던 비용이 selection 과정에서 다시 발생합니다.

그래서 저자는 full attention을 직접 계산하지 않고, 이를 저비용으로 근사하는 lightweight token selector를 설계합니다.

이 selector는 importance consistency constrained low-rank approximation에 기반합니다. 말이 어렵지만, 핵심은 full attention이 만들어내는 token importance pattern을 low-rank 방식으로 근사한다는 것입니다. 즉 full attention과 비슷한 token 선택 결과를 내면서도, 실제 full attention보다 훨씬 적은 비용으로 score를 계산하려는 것입니다.

저자는 이 설계 덕분에 모델 retraining 없이 기존 LVLM에 plug-in할 수 있다고 주장합니다.

저자는 ALVTS를 LLaVA-1.5, LLaVA-NeXT, Qwen2.5-VL에 적용합니다. 결과적으로 89% visual token compression ratio에서도 원래 모델 성능의 96.7%를 유지하고, 1.6× inference speedup을 얻었다고 합니다.

즉 ALVTS는 기존 static pruning보다 효율성과 성능 사이의 trade-off가 좋다는 것이 저자의 주장입니다.

저자의 contribution은 네 가지입니다.

첫 번째로, 기존 visual token pruning의 근본적인 한계를 지적합니다. 기존 방법은 특정 layer에서 token을 제거하면 이후 layer에서 그 token을 다시 사용할 수 없고, 이로 인해 deeper layer에 필요한 정보가 조기에 사라질 수 있습니다.

두 번째로, 이를 해결하기 위해 ALVTS를 제안합니다. ALVTS는 모든 layer에서 동일한 token subset을 쓰지 않고, 각 layer마다 adaptive하게 visual token을 선택합니다. 그래서 redundant computation은 줄이면서도 중요한 visual semantics는 유지하려고 합니다.

세 번째로, full attention을 직접 계산하지 않고도 full attention과 유사한 token selection을 수행하는 low-rank token selector를 제안합니다. 이 selector는 retraining 없이 사용할 수 있다고 합니다.

네 번째로, 여러 LVLM과 benchmark에서 ALVTS가 좋은 efficiency-accuracy trade-off를 달성함을 실험적으로 보입니다.

Methodoogy

우선 method의 시작은 일반적인 LVLM 입력 구조를 다시 정리하는 부분입니다. Text input은 language model의 embedding layer를 거쳐 생성되고, image input은 vision encoder와 projector를 거쳐서 생성되게 됩니다. 여기서 보통 visual token 수 N이 text token 수 M보다 훨씬 큽니다. 이후 text token과 visual token을 concat하고 해당 sequence를 LLM에 넣어 autoregressive generation을 수행합니다. 즉 매 step t에서 모델은 이전에 생성된 token을 조건으로 다음 token yt를 생성합니다. 여기까지는 “visual token이 너무 많아서 LLM 연산량이 커진다”는 부분 설명입니다.

이후 저자는 ALVTS framework를 설명합니다. ALVTS의 핵심은 visual token을 한 번 prune해서 끝내는 것이 아니라, 각 LLM layer마다 동적으로 token을 고른다는 것입니다. 각 layer에 들어가기 전에 모든 visual token에 대해 importance score를 계산하고, score가 높은 visual token만 해당 layer의 computation에 참여시킵니다. 반대로 score가 낮은 visual token은 그 layer를 그냥 skip합니다. 그런데 중요한 점은 skip된 token이 완전히 사라지는 것이 아니라는 점입니다. 해당 layer의 연산만 건너뛴 뒤, layer output에서 처리된 token들과 다시 합쳐져서 다음 layer로 넘어갑니다. 그래서 다음 layer에서는 또다시 전체 visual token을 대상으로 새롭게 importance를 계산하고, 그 layer에 필요한 token subset을 선택할 수 있습니다. 이게 기존 static pruning과 가장 큰 차이입니다. 기존 pruning은 한 번 제거된 token이 이후 layer에서 계속 사라지지만, ALVTS는 token을 영구 삭제하지 않고 layer-wise로 routing합니다.

문제는 각 layer마다 token importance를 계산하려면 full attention을 계산해야 할 것 같은데, 그러면 pruning으로 줄이려던 연산량이 다시 selection 과정에서 발생한다는 점입니다. 그래서 저자는 full attention을 직접 계산하지 않고, attention mechanism을 low-rank approximation으로 근사하는 token selector P를 둡니다. 원래 self-attention layer에는 query projection matrix W_Q, key projection matrix W_K가 있는데,

ALVTS는 이를 rank R짜리 low-rank matrix로 근사합니다. 즉 원래 D X D 크기의 projection matrix를 그대로 쓰지 않고, D X R , R X D matrix의 곱으로 표현합니다. 여기서 R < D 이기 때문에 full projection보다 훨씬 가볍게 query와 key를 만들 수 있습니다. 수식으로는 위의 (1) 처럼 표현됩니다.

이 low-rank projection을 이용해서 approximate query와 approximate key 를 만들고, 이를 통해 approximate attention matrix A를 계산합니다.

이때 A는 전체 token 간 attention이므로 text token과 visual token이 모두 포함됩니다. 저자는 여기서 두 부분을 따로 봅니다. 하나는 visual token이 visual token을 보는 attention이고, 다른 하나는 text token이 visual token을 보는 attention입니다.

어떤 visual token i가 중요하다는 것은 두 가지 조건을 만족해야 한다고 봅니다. 첫째, 다른 visual token들로부터 많이 참조되어야 합니다. 이것이 수식(4)입니다.

둘째, text token들로부터도 많이 참조되어야 합니다. 이것이 수식(5) 입니다. 그래서 최종 importance score는 두 값을 곱해서 계산합니다.

즉 단순히 image 내부에서만 중요한 token도 부족하고, text query와만 관련 있지만 visual context 안에서 별로 중심적이지 않은 token도 부족하다고 보는 것입니다. 저자는 두 score를 곱함으로써 visual context와 textual context 양쪽에서 모두 중요한 token만 높은 점수를 받도록 만듭니다.

그다음 importance score S(i)가 계산되면 top-k selection을 수행합니다. 선택된 token들이 XVselect이고, 나머지는 XVskip입니다.

선택된 visual token과 모든 text token은 현재 layer의 attention/FFN 계산에 참여합니다. 반면 skip token들은 이 layer를 통과하지 않고 그대로 bypass됩니다. layer 계산이 끝나면 processed token들과 skipped token들을 다시 합쳐서 다음 layer의 입력 sequence를 만듭니다. 이때 원래 token ordering은 유지한다고 말합니다. 즉 token을 선택했다가 다시 합칠 때 sequence 순서를 뒤섞지 않고, 원래 위치에 맞춰 복원해서 positional information이 깨지지 않도록 한다는 의미입니다.

여기서 ALVTS의 중요한 특징은 이 과정을 모든 layer에서 독립적으로 반복한다는 점입니다. 어떤 visual token이 layer 2에서는 skip될 수 있지만, layer 10에서는 선택될 수 있습니다. 반대로 layer 2에서 선택된 token이 layer 20에서는 skip될 수도 있습니다. 그래서 “어떤 layer에서는 trash였던 token이 다른 layer에서는 treasure가 될 수 있다”는 제목과 연결됩니다.

위의 수식은 저자가 Low rank 로 근사화할때 사용된 수식입니다. 전체 rank 의 절반이 사용된거로 보입니다.

그런데 SVD 초기화만으로는 token selector가 원래 full attention의 importance score를 충분히 잘 따라가지 못할 수 있습니다. 그래서 저자는 selector를 추가로 optimization합니다. 이때 원래 LVLM은 freeze하고, selector parameter만 업데이트합니다. 각 input sample에 대해 원래 모델의 full attention pattern으로부터 reference token importance score S∗을 구합니다. 그리고 low-rank selector가 계산한 score S가 이 S∗와 비슷해지도록 MSE loss를 최소화합니다.

즉 selector가 full attention의 token importance 판단을 모방하도록 학습시키는 것입니다.

여기서 중요한 점은 이게 LVLM 전체를 retraining하는 것이 아니라는 점입니다. LLaVA나 Qwen 같은 base model parameter는 그대로 frozen이고, 각 layer에 붙는 lightweight selector만 최적화합니다. 그래서 저자는 이 과정을 매우 효율적이라고 말합니다. LLaVA-1.5-7B 기준으로 전체 optimization이 15분 안에 끝난다고 합니다. 또한 selector가 low-rank 구조이기 때문에 추가 parameter overhead도 작다고 주장합니다.

정리하면 이 method는 기존 pruning처럼 “한 layer에서 token 중요도 계산하고 쓸모없는 token을 영구 제거”하는 방식이 아닙니다. 각 layer마다 lightweight selector가 approximate attention을 이용해서 visual token importance를 계산하고, 중요한 token만 현재 layer 계산에 참여시키며, 나머지는 layer를 skip시킵니다. 이후 다시 전체 token sequence를 복원해서 다음 layer로 넘깁니다. 따라서 ALVTS는 정보 자체를 없애는 pruning이라기보다, layer별로 token computation을 선택적으로 수행하는 routing/computation skipping 방식에 가깝습니다. 그리고 token selector는 원래 attention projection matrix를 SVD로 low-rank approximation한 뒤, full attention의 importance score를 따라가도록 가볍게 최적화됩니다.

Experiments

실험 부분에서는 ALVTS를 여러 LVLM 구조에서 검증합니다. 대상 모델은 LLaVA-1.5 7B/13B, LLaVA-NeXT-7B, Qwen2.5-VL-3B-Instruct입니다. LLaVA-1.5는 visual token 수가 576개로 고정되어 있고, LLaVA-NeXT는 2880개토큰을 넣습니다. Qwen2.5-VL도 dynamic resolution을 지원해서, 이미지를 고정 크기로 resize하지 않고 variable-length token sequence를 생성합니다. 즉 저자들은 ALVTS가 단순히 LLaVA-1.5 같은 고정 token 모델에서만 되는 게 아니라, 고해상도나 dynamic-resolution 구조에서도 잘 작동하는지를 보려고 한 것입니다. 평가 benchmark는 AI2D, POPE, TextVQA, OKVQA, VizWiz, COCO Caption, NoCaps, RealWorldQA까지 총 8개입니다. 그래서 단순 VQA뿐 아니라 text-based VQA, image captioning, multimodal reasoning까지 포함한 꽤 넓은 setting에서 성능을 봅니다.

저자들은 공정 비교를 위해 각 방법의 hyperparameter를 조정해서 FastV와 FLOPs를 맞추었다고 합니다. Token selector를 최적화할 때는 LLaVA-655k에서 256개 sample만 random하게 뽑아 사용하고, low-rank weight의 rank는 LLaVA-1.5-7B와 LLaVA-NeXT-7B에서는 256, Qwen2.5-VL-3B에서는 128로 둡니다. 이때 각 decoder layer당 parameter overhead는 대략 1~2% 수준이라서, selector가 붙더라도 모델 크기 증가는 크지 않다고 주장합니다. (비교는 training free 방법론들과 하기 때문에 조금 아쉬운 측면도 있습니다.)

LLaVA-NeXT-7B 실험은 고해상도 입력에서의 효과를 보여줍니다. Table 3에서는 2880 tokens를 모두 쓰는 vanilla를 upper bound로 두고, 320 tokens만 남기는 89% reduction setting을 비교합니다. 특히 POPE에서는 ALVTS가 87.09로 vanilla 86.41보다 약간 높게 나옵니다. 이런 경우는 token compression이 단순히 계산량만 줄이는 게 아니라, 일부 noisy/redundant visual token을 덜 처리하게 해서 hallucination이나 불필요한 visual bias를 줄이는 효과가 있을 수도 있다고 해석할 수 있습니다.

Qwen2.5-VL-3B 실험은 LLaVA 계열이 아닌 architecture에서도 일반화되는지를 보는 부분입니다. Table 5에서 89% token reduction을 적용했을 때 ALVTS는 평균 86.39%를 유지합니다. 다만 LLaVA 계열에서 96% 정도 유지한 것과 비교하면 Qwen에서는 유지율이 낮습니다. 그래도 기존 방법들보다 높기 때문에, 저자는 ALVTS가 서로 다른 vision-language architecture에서도 적용 가능하다고 주장합니다.

Efficiency analysis에서는 LLaVA-1.5-7B와 POPE dataset을 기준으로 total inference time, end-to-end latency, prefill time, accuracy를 비교합니다.

Vanilla LLaVA-1.5-7B는 전체 시간이 31:44, latency가 211ms, prefill이 165ms입니다. FastV는 60% reduction에서 latency 179ms, prefill 126ms, accuracy 93.2%입니다. 즉 ALVTS는 FastV보다 더 강하게 token을 줄이면서도 정확도는 4.5%p 높고, latency와 prefill time도 더 낮습니다. 저자는 이를 통해 ALVTS가 단순히 accuracy만 높은 것이 아니라 실제 inference efficiency 측면에서도 더 좋은 trade-off를 만든다고 설명합니다.

Ablation에서는 두 가지를 봅니다. 첫 번째는 layer-wise dynamic token selection 자체가 필요한지입니다. 이를 위해 ALVTS w/o dynamic selection이라는 static pruning baseline을 만듭니다. 이 baseline은 FastV처럼 layer 2 이후 한 번 token을 prune하고, 이후 모든 layer에서 같은 token subset을 계속 사용합니다. 실험은 LLaVA-1.5-7B에서 visual token 64개만 남기는 setting으로 진행합니다. Figure 3을 보면 ALVTS가 static baseline보다 더 좋은 것을 확인할 수 있습니다.

두 번째 ablation은 token selector optimization의 효과입니다. 저자는 low-rank selector가 full attention의 importance score를 얼마나 잘 근사하는지 봅니다. AI2D에서 1000개 instance를 random sample하고, low-rank selector가 만든 approximate importance score와 full-rank query/key projection으로 계산한 oracle importance score 사이의 L2 distance를 측정합니다. Figure 4를 보면 SVD 초기화만 했을 때보다 Eq. 11의 objective로 optimization한 뒤에 L2 distance 분포가 0 근처로 더 몰립니다. 즉 selector가 full attention의 token importance pattern을 더 잘 따라가게 된 것입니다. 이 실험은 ALVTS에서 low-rank selector가 그냥 대충 만든 heuristic이 아니라, 실제 full attention의 중요도 판단을 어느 정도 모방하도록 학습되었다는 근거입니다. 다만 여기서 “training-free”라고 할 때 완전히 아무 최적화도 없는 것은 아니고, base LVLM은 freeze하지만 selector는 256개 sample로 짧게 optimization합니다. 그래서 엄밀히 말하면 “base model retraining-free” 또는 “lightweight selector calibration”에 가깝다고 볼 수 있습니다.

마지막 visualization에서는 FastV와 ALVTS가 실제로 어떤 token을 남기는지 비교합니다. Figure 5에는 두 가지 실패/성공 사례가 있습니다. 첫 번째 질문은 “이미지에 bike가 있는가?”이고, 정답은 yes입니다. FastV는 중요한 bike region을 제대로 남기지 못해서 no라고 답하지만, ALVTS는 다른 layer에서 해당 region을 선택해 yes라고 답합니다. 시각화 결과가 FastV(Layer 2) 일텐데, 해당 layer에서는 attention shfit problem 이 존재하여 저런 결과가 생기긴 합니다. 저자가 이 현상을 몰랐을리는 없고 첫 Figure와 마찬가지로 의도적으로 사실을 숨기고 정성적 결과를 가져온 것 같네요. 이전에도 단계별 혹은 뒷단의 layer의 attention을 사용하는 논문들도 존재하기는 했어서 솔직히 방법론적으로나 주장으로나 아쉽긴 합니다.

Conclusion

결론적으로 저자는 ALVTS가 기존 LVLM token pruning의 static한 패러다임에 문제를 제기하는 방법이라고 정리합니다. 기존 방법들은 특정 layer에서 visual token을 제거하면 그 token이 이후 모든 layer에서 영구적으로 사라지는 구조였습니다. 반면 ALVTS는 각 layer마다 visual token을 새롭게 선택합니다. 각 layer는 자신이 중요하다고 판단한 token만 실제 연산에 참여시키고, 나머지 token은 해당 layer만 skip하게 하지만, 전체 모델을 통과하는 동안 모든 token은 계속 접근 가능한 상태로 유지됩니다.

이를 위해 저자는 importance consistency constrained low-rank approximation 기반의 token selector를 설계했습니다. 이 selector는 full attention을 직접 계산하지 않고도, full attention이 보여주는 token selection behavior를 가깝게 모방하도록 만들어졌습니다. 또한 기존 LVLM 전체를 다시 학습하지 않고도 사용할 수 있다는 점을 강조합니다.

“one layer’s trash into another layer’s treasure”는 이 논문의 핵심을 잘 요약합니다. 저자의 철학과 주장을 논문의 제목에 한 줄로 녹여낼 수 있다는게 사실 논문을 작성할때 중요한 것 같습니다. (논문을 읽게되는 리뷰어나 독자 입장에서는 제목부터 어떠한 완결된 글을 읽는 초석이라 생각이 들게 만드는게 중요하다고 생각하게 되었습니다.)

감사합니다.