[ICML 2026] Position Is All You Need: A Free Lunch Token Compression Strategy for MLLM-based Referring Expression Segmentation

안녕하세요 이번에는 ICML 학회에 다녀오게 되면서 보게 된 포스터 논문 중 제가 연구하고 있는 분야와 동일 분야를 연구하고 있던 논문이 있어서 가져왔습니다. 기존에 VQA task 에서만 리포팅하던 Token compression 분야를 RES 라는 task로 확장시킨 논문이었습니다.

그럼 리뷰 시작하겠습니다.

Abstract

우선 저자는 Referring Expression Segmentation, RES가 복잡하거나 암시적인 textual query를 입력으로 받아서, 해당 대상에 대한 pixel-wise segmentation mask를 생성하는 task라고 설명합니다. 쉽게 말하면 “왼쪽에 앉아 있는 남자”, “빨간 옷을 입은 사람 옆의 개”처럼 텍스트로 특정 대상을 지칭하면, 이미지 안에서 그 대상의 segmentation mask를 만들어야 하는 문제입니다.

최근에는 MLLMs의 발전으로 RES 성능이 크게 향상되었다고 합니다. MLLM이 텍스트와 이미지를 함께 이해하고, 복잡한 referring expression을 처리할 수 있기 때문에 segmentation 성능도 좋아진 것이라고 합니다.

하지만 문제는 MLLM 기반 RES가 계산 비용이 매우 크다는 점입니다. Visual token 수가 많고, 이를 LLM이 함께 처리해야 하므로 computational overhead가 큽니다. 그런데 저자는 이러한 계산 비용 문제가 RES task에서는 거의 충분히 연구되지 않았다고 지적합니다. 앞서 제가 언급했듯이 보통은 VQA task 들에서만 연구되어왔습니다.

그래서 저자들은 먼저 기존의 대표적인 token compression method들을 RES task에 적용해봅니다. 그런데 예상과 다르게, 기존 token compression 방법을 사용하면 RES 성능이 크게 떨어지는 현상을 관찰합니다. 즉, 다른 MLLM task에서는 token compression이 어느 정도 잘 작동하더라도, RES에서는 기존 방식들이 잘 맞지 않는다는 것입니다.

저자는 이 성능 저하가 왜 발생하는지 이해하고, 이를 해결하는 방법을 찾는 것이 본 논문의 목표라고 말합니다. 사실 해당 논문의 포스터 발표만 듣고 질의응답을 가졌을때는, 기존 VQA task 에 대해서 언급을 하나도 하지 않고 다른 task로 좀 쉽게 novelty를 가져간게 아닌가 싶었는데, 확실히 논문을 읽어보니 reasonable한 것 같습니다.

광범위한 실험을 통해 저자는 RES에서 token compression을 할 때 특히 중요한 것이 두 가지라는 것을 발견합니다. 첫 번째는 original position embedding을 보존하는 것이고, 두 번째는 local neighboring spatial structure를 유지하는 것입니다.

즉, RES에서는 단순히 의미적으로 중요한 visual token만 남기는 것이 아니라, token이 원래 이미지에서 어디에 있었는지, 그리고 주변 token들과 어떤 local spatial relation을 가지고 있었는지가 매우 중요하다는 것입니다. 저자는 이를 통해 visual token의 position information이 다른 task보다 RES에서 훨씬 더 중요하다고 주장합니다.

이 insight를 바탕으로 저자는 다음 질문을 합니다.

“ 그러면 position information만을 기반으로 token compression 방법을 설계할 수 있지 않을까? “

이에 따라 저자는 PAYN이라는 plug-and-play, training-free token compression method를 제안합니다. PAYN은 semantic score, attention score, text relevance 같은 복잡한 기준을 쓰지 않고, 오직 position information만을 사용해서 token을 선택합니다.

PAYN의 핵심은 각 local neighboring region마다 token이 적절히 분포되도록 유지하는 것입니다. 즉, 특정 salient region에만 token이 몰리게 하지 않고, 이미지 전체의 local region들에서 일정하게 token을 남겨 spatial coverage를 보장하게 합니다.

또한 PAYN은 선택된 token의 original positional index를 엄격하게 보존합니다. 이게 중요한 이유는, RES에서는 segmentation mask를 만들기 위해 visual token의 위치 관계가 그대로 유지되어야 하기 때문입니다. 만약 token을 병합하거나 재정렬하면서 position index가 바뀌면, 모델이 “이 token이 이미지의 어느 위치를 의미하는지”를 헷갈릴 수 있고, segmentation 결과가 망가질 수 있다고 합니다.

결국 PAYN은 visual token을 줄이면서도, 원래 이미지의 공간적 관계와 위치 일관성을 유지하는 방식입니다. 저자는 이를 통해 RES task에서 필요한 spatial relational consistency를 보존한다고 설명합니다.

여러 RES benchmark에서 실험한 결과, PAYN은 기존 token compression method들보다 더 좋은 성능을 보였다고 합니다. 물론 기존 방법론들이 RES task 들을 위한 방법론들이 아니었을지라도, 이를 통해 저자는 MLLM 기반 RES task에서는 token compression을 할 때 복잡한 importance score보다도 position information 자체가 중요하다고 합니다.

정리하면, 이 논문은 기존 MLLM token compression 방법들이 RES에서는 왜 잘 안 되는지 분석하고, RES에서는 semantic importance보다 token의 원래 위치와 local spatial structure가 훨씬 중요하다는 점을 보인 논문입니다. 그리고 이를 바탕으로 position information만 사용하는 training-free compression 방법인 PAYN을 제안한 논문이라고 보면 됩니다.

Introduction

우선 Figure 1은 이 논문이 왜 필요한지를 보여주는 overview 그림입니다.

(a)는 RES taks 자체를 설명하는 부분인데 일반적인 segmentation 이 “dog” 와 같은 class label 을 주고 개 영역을 찾는 방식이라면 RES 는 단순 class label이 아니라 사람이 자연어로 지칭한 특정 object를 찾아야 합니다.

(b)는 기존 token compression 방법들이 일반 vision-language task 에서는 잘 작동하지만, RES에서는 성능이 심하게 무너진다는 것을 보여주는 그래프입니다.

그래프의 x축은 retained token 수 이고 비교 방법론들은 23년도 논문부터 25년도 논문까지 리포팅한 것 같습니다. 기존 방법들이 일반적인 vision-language task 에서는 원래 성능의 90% 이상을 유지할 수 있다고 알려져 있지만, RES task에서는 성능이 거의 20% 근처까지 떨어진다는 것입니다. 즉, 다른 task에서는 Visual token을 줄여도 괜찮네~ 싶었지만 RES 에서는 token compression을 하면 segmentation 성능이 거의 collapse 되는 것을 알 수 있습니다.

(c)는 기존 방법과 PAYN의 token retention 결과를 시각적으로 비교한 것입니다. 왼쪽의 other method 는 token이 의미적으로 중요해 보이는 일부 영역에 모이거나, token compression이 후 공간 구조가 깨진 모습을 보여줍니다. 그 결과 segmentation mask도 제대로 나오지 않습니다. 반면 오른쪽의 PAYN은 position information만 사용해서 token을 고르게 남깁니다. 즉 특정 object나 attention이 높은 부분만 남기는 것보다 이미지 전체 local region에서 token이 적절히 분포되도록 유지합니다.

앞서 abstract에서 얘기했듯이 저자는 RES가 복잡하거나 암시적인 텍스트 설명이 주어졌을 때, 그 표현이 가리키는 object의 pixel-level segmentation mask를 예측하는 task라고 설명합니다.

기존 category-based segmentation은 “dog”, “person”처럼 정해진 class label을 기준으로 segmentation을 수행합니다. 반면 RES는 위의 Figure1처럼 “the dog sitting on bench” 같이 자유로운 자연어 표현을 사용할 수 있습니다. 그래서 사용자가 훨씬 유연하게 object를 지칭할 수 있고, 더 user-friendly한 segmentation task라고 볼 수 있습니다.

최근 연구들은 이런 어려운 RES task를 처리하기 위해 MLLM을 활용합니다. MLLM은 복잡한 text input과 visual input을 함께 이해할 수 있기 때문에, referring expression을 해석하고 segmentation decoding에 필요한 multimodal representation을 만드는 데 효과적입니다.

하지만 문제는 MLLM의 inference cost가 크다는 점입니다. Attention 계산량은 input sequence length에 대해 quadratic하게 증가합니다. 즉, visual token 수가 많아질수록 계산량이 급격히 늘어납니다. RES task에서도 MLLM을 쓰면 성능은 좋아지지만, 실제 deployment 관점에서는 너무 무겁다는 문제가 생깁니다.

그런데 저자는 MLLM 기반 RES task에서 acceleration 문제, 특히 token compression을 통한 가속화는 거의 연구되지 않았다고 말합니다.

그래서 저자는 먼저 MLLM에서 널리 사용되는 acceleration strategy인 token compression을 RES task에 적용해봅니다. Token compression은 visual token 중 redundant한 token을 제거하거나 병합해서 inference cost를 줄이는 방법입니다. 기존 MLLM task에서는 ToMe, VisionZip, PruMerge 같은 방법들이 token 수를 줄이면서도 성능을 어느 정도 유지하는 것으로 알려져 있습니다.

하지만 저자는 기존 token compression 방법들을 MLLM-based RES model에 적용했을 때, 예상과 다르게 성능이 심각하게 떨어지는 현상을 발견합니다. Figure 1(b)에서 말했듯, 같은 비율의 visual token을 남겼을 때 기존 방법들은 일반 vision-language task에서는 원래 성능의 90% 이상을 유지할 수 있지만, RES task에서는 원래 성능의 약 20% 수준도 유지하기 어렵다고 합니다. 즉, token compression 이후 segmentation 결과가 거의 collapse된다는 것입니다.

이 논문의 목적은 바로 이 현상이 왜 발생하는지 이해하고, RES task에 맞는 token compression 방법을 설계하는 것입니다. 저자는 먼저 기존 token compression 방법들을 RES task에서 자세히 평가합니다. 그리고 기존 방법들을 대략 두 가지로 나눕니다.

첫 번째는 attention 또는 similarity 기반 방법입니다. 이런 방법들은 attention score가 높은 token을 남기거나, similarity가 높은 token들을 병합하는 방식입니다.

두 번째는 diversity 기반 방법입니다. 이런 방법들은 token들이 특정 영역에 몰리지 않도록 더 다양한 위치나 feature를 가진 token들을 남기려는 방식입니다.

분석 결과, RES task에서는 diversity 기반 방법들이 attention/similarity 기반 방법들보다 훨씬 좋은 성능을 보였다고 합니다. 저자는 그 핵심 이유를 original position embedding의 유지에서 찾습니다. Diversity 기반 방법들은 보통 token의 원래 위치 정보를 더 잘 유지하는 경향이 있고, 이것이 RES 성능에 중요하게 작용한다는 것입니다.

저자는 왜 RES에서 position embedding이 다른 task보다 훨씬 중요한지도 실험적으로 분석합니다. 일반적인 vision-language task는 visual token의 semantic part를 이해하는 것이 주목적입니다. 예를 들어 이미지에 개가 있는지, 어떤 물체가 있는지, 장면이 어떤지 정도를 맞히는 task라면 일부 token의 위치가 조금 흔들려도 전체 의미 이해에는 큰 문제가 없을 수 있습니다.

하지만 RES는 다릅니다. RES는 최종적으로 각 visual token 또는 각 pixel이 target object에 속하는지 아닌지를 정확히 예측해야 합니다. 즉, semantic understanding뿐만 아니라 정확한 spatial localization이 중요합니다.

그래서 local neighbor position이 조금만 perturbation되어도, 예를 들어 원래 위치 embedding을 유지하지 않거나 주변 token 구조가 깨지면, segmentation mask 예측에 훨씬 큰 영향을 줍니다. 다른 task에서는 괜찮았던 작은 위치 정보 손실이 RES에서는 치명적으로 작용할 수 있다고 주장하는 것입니다.

여기서 저자의 핵심 주장은 MLLM 기반 RES task에서 visual token의 position information은 다른 task보다 훨씬 중요하다는 것입니다.

이 주장을 바탕으로 저자는 다음과 같이 질문합니다.

그렇다면 semantic content를 보지 않고, position information만으로 token compression을 설계할 수 있지 않을까?

그러한 질문을 통해 저자는 PAYN을 제안합니다. 중요한 점은 PAYN이 attention score, semantic similarity, text relevance 같은 정보를 사용하지 않고, 오직 positional information만 사용한다는 것입니다.

저자들은 이를 일종의 free-lunch solution처럼 표현합니다. 추가 학습도 필요 없고, 모델 구조를 복잡하게 바꾸지 않으면서, 위치 정보만 잘 보존해도 RES에서는 기존 token pruning 방법보다 좋은 성능을 낼 수 있다는 주장입니다.

구체적으로 PAYN은 두 가지를 지키려고 합니다.

첫 번째는 선택된 token의 original positional index를 엄격하게 보존하는 것입니다. 즉, token을 선택한 뒤에도 이 token이 원래 이미지의 어느 위치에 있었는지를 바꾸지 않습니다.

두 번째는 token들이 공간적으로 평균적으로 분포되도록 유지하는 것입니다. 특정 foreground나 attention이 높은 부분에만 token이 몰리지 않고, 각 local neighboring region에서 token이 적절히 남도록 합니다. 이렇게 하면 local spatial structure를 충분히 보존할 수 있습니다.

저자는 PAYN을 구현하는 두 가지 방법을 제시합니다.

첫 번째는 checkerboard-style spatial sampling입니다. 체스판처럼 일정한 패턴으로 token을 남겨서, 모든 local region에 token이 고르게 분포되도록 하는 방식입니다.

두 번째는 farthest point sampling입니다. 이미 선택된 token들과 최대한 멀리 떨어진 token을 반복적으로 선택해서, 전체 공간을 넓게 커버하도록 하는 방식입니다.

여러 RES benchmark에서 실험한 결과, PAYN은 기존 SOTA token pruning 방법들보다 좋은 성능을 보였다고 합니다.

Contribution

저자의 기여도는 네 가지입니다.

첫 번째로, 기존 token compression 방법들이 MLLM-based RES task에서는 심각한 성능 저하를 겪는다는 점을 발견했습니다. 그리고 이 문제는 기존에 거의 다뤄지지 않았던 영역이라고 설명합니다.

두 번째로, 실험과 분석을 통해 RES에서는 visual token의 positional information이 다른 task보다 훨씬 중요한 역할을 한다는 것을 보였습니다.

세 번째로, 이 관찰을 바탕으로 positional information만 사용하는 간단하지만 효과적인 free-lunch token compression method인 PAYN을 제안했습니다.

네 번째로, 여러 RES benchmark에서 PAYN이 기존 SOTA token pruning 방법들을 능가함을 보였고, 이를 통해 MLLM-based RES task에서는 token compression에서 position이 핵심이라는 점을 검증했습니다.

Rethinking Token compression for Referring Expression Segmentation

우선 저자는 MLLM 기반 RES를 수식적으로 정리합니다. RES는 이미지 I와 자연어 T가 주어졌을 때, 해당 텍스트가 가르키는 target object에 대한 pixel-level segmentation mask M 을 생성하는 task 입니다. 이미지는 먼저 SigLIP 같은 Vision encoder를 통해 visual token sequence 로 변환됩니다.

여기서 M은 visual token 수이고 d는 임베딩 차원수입니다. 반면 referring expression T 는 language token sequence X로 변환됩니다.

여기서 일반적으로 visual token 수를 압축해서 넣게되고, compressed 된 visual 정보들을 textual 정보와 concat하여 LLM 에 넣는 방식입니다.

Evaluation of Existing Token Compression Methods

앞선 실험에서 저자는 기존 token compression 방법들이 RES task에서 심각한 성능 저하를 보인다는 것을 관찰했습니다. 그래서 이 현상을 더 자세히 보기 위해, 더 다양한 token compression method들을 체계적으로 평가합니다.

실험은 하나의 통일된 RES baseline에서 수행합니다. 여기서는 Text4Seg를 사용하고, backbone은 LLaVA-1.5-7B를 사용합니다. 그리고 visual token 수를 원래 576개에서 192개로 줄이는 setting에서 비교합니다.

저자는 기존 방법들을 메커니즘 기준으로 크게 네 가지로 나눕니다.

첫 번째는 similarity-based method입니다. 예를 들어 ToMe처럼 서로 비슷한 token을 merge하는 방식입니다.

두 번째는 attention & similarity-based method입니다. 예를 들어 VisionZip이나 PruMerge처럼 attention score를 보고 중요한 token을 고르면서, similarity 기반 merging이나 clustering을 같이 사용하는 방식입니다.

세 번째는 diversity-based method입니다. 예를 들어 DART나 DivPrune처럼 token들이 특정 영역이나 비슷한 feature에 몰리지 않도록 다양한 token을 유지하는 방식입니다.

네 번째는 attention & diversity-based method입니다. 예를 들어 VisPruner처럼 attention 기준과 diversity 기준을 함께 사용하는 방법입니다.

Table 1의 top 부분을 보면, 결과가 굉장히 극단적입니다. Vanilla는 평균 74.9입니다. 그런데 similarity-based 방법인 ToMe는 평균 12.9까지 떨어지고, VisionZip은 10.3, PruMerge는 9.6까지 떨어집니다. 거의 segmentation이 collapse된 수준입니다.

반면 diversity-based 방법들은 훨씬 높습니다. DART는 평균 60.6, DivPrune은 63.6, VisPruner는 62.8입니다. 물론 vanilla보다는 낮지만, similarity/attention-similarity 기반 방법들과 비교하면 훨씬 안정적입니다.

여기서 저자는 두가지 가능성을 생각합니다.

첫 번째 가설은, diversity-based method 자체가 RES task 에 더 잘 맞다는 것입니다. 즉 segmentation에는 다양한 token을 남기는 것이 중요해서 diversity 기준이 좋은 것일 수 있습니다.

두 번째 가설은, 두 방법들이 positional information을 처리하는 방식이 다르기 때문이라는 것입니다. 여기서 저자가 주목하는 점은, similarity-based나 attention-similarity-based 방법들은 token merging이나 clustering을 하면서 token들을 새로운 contiguous sequence로 재구성하는 경우가 많다는 것입니다. 즉, 원래 위치가 0,2,4 였던 token들이 compression 이후 0,1,2 처럼 다시 index가 매겨질 수 있습니다. 반면 diversity-based method 들은 보통 token 을 merge 하기보다는 pruning 합니다. 그래서 남겨진 token들이 원래 가지고 있던 position index를 유지하는 경우가 많습니다.

저자는 이 두 가설 중 무엇이 맞는지 확인하기 위해 controlled experiment를 수행합니다.

먼저 attention-based selection component만 분리해서, 같은 수의 token을 남기되 original position index를 유지하는 경우와 유지하지 않는 경우를 비교합니다. Table 1 middle 부분을 보면, position id를 보존했을 때 성능이 크게 좋아집니다.

예를 들어 VisionZip에서 attention만 사용하면 평균 9.5인데, position id를 보존하면 평균 54.0까지 올라갑니다. PruMerge도 attention만 쓰면 평균 9.4인데, position id를 보존하면 평균 54.2까지 올라갑니다.

즉 attention 기반 token 선택 자체가 완전히 문제라기보다는, 선택된 token의 original position id를 유지하느냐가 RES 성능에 매우 크게 영향을 준다는 것입니다.

반대로 diversity-based 방법에서 original position id를 제거하고 contiguous index로 바꿔버리면 어떻게 되는지도 실험합니다. Table 1 bottom을 보면, DART는 평균 60.6이었는데 position id를 제거하면 9.5까지 떨어집니다. DivPrune도 63.6에서 9.7로 떨어지고, VisPruner도 62.8에서 9.3으로 떨어집니다.

해당 Table 결과는 Diversity-based method가 좋은 이유가 단순히 diversity 기준 때문만은 아니고, original position embedding을 유지했기 때문이라는 것을 보여줍니다.

그래서 저자는 첫 번째 insight를 도출합니다.

RES task에서는 token compression 과정에서 original positional embedding을 보존하는 것이 필수적이다.

즉, segmentation에서는 visual token이 “무슨 의미를 담고 있느냐”뿐만 아니라, “원래 이미지의 어느 위치에 있었느냐”가 매우 중요하다는 것입니다.

The Role of Position in Sparse and Dense Prediction Tasks

다른 논문들에서는 original position index를 유지하느냐가 성능에 약 2% 정도 차이만 준다고 언급된 경우가 있는데, RES에서는 왜 이렇게 치명적인 차이가 나는지를 분석합니다.

저자의 가설은 sparse prediction task와 dense prediction task의 차이입니다.

Sparse prediction task는 VQA처럼 하나의 정답을 맞히는 task입니다. 예를 들어 “이미지에 무엇이 있나요?”, “몇 개 있나요?”, “이 물체는 무슨 색인가요?”처럼 최종적으로 하나의 answer나 짧은 text를 생성하면 됩니다. 이런 task에서는 전체 이미지에서 몇 개의 discriminative semantic patch만 제대로 이해해도 답을 맞힐 수 있습니다. 그리고 그 patch들이 서로 공간적으로 조금 떨어져 있어도 큰 문제가 없을 수 있습니다.

반면 RES는 dense prediction task입니다. 최종적으로 각 pixel 또는 각 visual token 위치가 target object에 속하는지 아닌지를 예측해야 합니다. 그래서 local neighborhood structure가 매우 중요합니다. 즉, 어떤 token이 어느 token 옆에 있었는지, object boundary가 어디인지, 주변 patch와 어떤 공간 관계를 가지는지가 segmentation mask 품질에 직접적으로 영향을 줍니다.

Figure 3은 이 차이를 보여줍니다.

Sparse prediction은 주로 semantic part를 인식하면 되기 때문에, position shift가 있어도 영향이 작습니다. 예를 들어 강아지를 알아보는 task라면 강아지의 일부 patch가 위치상 조금 흐트러져도 “dog”라는 답은 나올 수 있습니다.

하지만 dense prediction은 모든 token의 label을 맞혀야 하므로, local neighborhood가 깨지면 영향이 큽니다. 멀리 떨어져 있던 token들이 compression 후에 서로 이웃한 것처럼 index가 붙어버리면, segmentation decoder나 LLM이 잘못된 spatial relation을 학습하거나 해석할 수 있습니다. 그 결과 mask boundary나 target region 예측이 망가집니다.

이를 검증하기 위해 저자는 local spatial perturbation 실험을 설계합니다. 의미 정보는 최대한 유지하면서, local spatial structure만 깨뜨리는 방식입니다.

첫 번째 perturbation은 TPS, Thin Plate Spline interpolation입니다. 이는 이미지를 부드럽게 휘게 만드는 continuous spatial deformation입니다. object의 의미는 대체로 유지되지만, local spatial arrangement가 바뀝니다.

두 번째는 local patch shuffle입니다. 이미지를 local window로 나누고, 각 window 안에서 patch 순서를 random하게 섞습니다. 예를 들어 2×2 shuffle이나 4×4 shuffle처럼 patch를 지역적으로 섞어서 discrete local spatial reordering을 만듭니다.

Figure 4 왼쪽은 original image, TPS 변형, 2×2 shuffle, 4×4 shuffle 예시를 보여줍니다.

그리고 저자는 이런 perturbation을 sparse prediction task와 dense prediction task 모두에 적용합니다. Sparse task로는 MME, ScienceQA, TextVQA를 사용하고, dense task로는 여러 RES dataset을 사용합니다.

Figure 4 오른쪽 결과를 보면, 같은 local spatial perturbation을 주었을 때 dense prediction task가 sparse prediction task보다 훨씬 큰 성능 하락을 보입니다. 즉, RES 같은 dense prediction은 local position 변화에 훨씬 민감하다는 것입니다.

이 결과를 통해 저자는 두 번째 insight를 도출합니다. RES는 local spatial structure의 보존에 매우 강하게 의존한다.

즉, RES에서 token compression을 할 때는 semantic score나 attention score보다도, 원래 위치 관계와 local neighborhood 구조를 유지하는 것이 핵심입니다.

Methodoogy

우선 저자는 앞에서 얻은 두 가지 insight를 바탕으로, RES task에서는 position information만으로 token compression을 설계할 수 있는지를 실험한다고 합니다.

앞에서 Insight 2로 저자는 RES가 local spatial variation에 매우 민감하고, local spatial structure 보존에 크게 의존한다고 말했습니다. 따라서 token compression 이후에도 이미지의 모든 local region이 충분히 대표되어야 합니다.

즉, 특정 object나 attention이 높은 영역에 token이 몰리면 안 되고, 이미지 전체의 local neighboring region마다 token이 어느 정도 남아 있어야 합니다. 그래서 저자는 남길 token들이 이미지 공간에서 넓고 균등하게 분포하도록 설계합니다.

이를 위해 저자는 두 가지 position-guided token selection 방식을 제시합니다.

Checkerboard-Style Spatial Sampling

첫 번째 방법은 checkerboard-style spatial sampling입니다. 말 그대로 visual token들이 2D grid 위에 있다고 보고, 체스판 패턴처럼 일정한 간격으로 token을 남기는 방식입니다. 수식이 존재하지만 정성적 결과를 보는게 훨씬 깔끔할 것 같고, 쉽게 말하자면 남길 token 수 K에 맞춰서 어느 정도 간격으로 token 을 뽑을지 stride를 정하고 그 stride 에 따라 체스판처럼 token을 선택하는 방식입니다. 정성적으로는 Figure 5의 우측 상단의 방식입니다.

Farthest Point Sampling, FPS

두 번째 방법은 Farthest Point Sampling, FPS입니다. 이 방법은 특히 남길 token 수 K가 매우 작을 때 더 유연하게 사용할 수 있는 position-guided selection 방법입니다.

FPS는 spatial coordinate space에서 직접 수행됩니다. 처음에는 하나의 token을 random하게 선택하고, 그다음부터는 이미 선택된 token들과 가장 멀리 떨어진 token을 반복적으로 선택합니다. 이러게 되면 선택된 token들이 이미지 전체에 넓게 퍼지게 됩니다.

Experiments

저자는 두 가지 RES baseline을 사용합니다.

첫 번째는 Text4Seg입니다. Text4Seg는 text-as-mask paradigm을 따르는 모델이고, backbone으로 LLaVA-7B를 사용합니다. 쉽게 말하면, MLLM이 segmentation에 필요한 text-like guidance를 만들고, 이를 이용해 mask를 생성하는 구조라고 보면 됩니다.

두 번째는 InstructSeg입니다. InstructSeg는 embedding-as-mask paradigm을 따르는 최신 RES 모델이고, Mipha-3B를 기반으로 합니다. 즉 Text4Seg와 InstructSeg는 둘 다 MLLM 기반 RES 모델이지만, segmentation guidance를 만드는 방식과 모델 구조가 다릅니다.

데이터셋은 RES에서 표준적으로 쓰이는 RefCOCO, RefCOCO+, RefCOCOg를 사용합니다.

RefCOCO는 위치 정보와 외형 정보를 모두 포함한 referring expression이 있습니다. 예를 들어 “left man”, “dog on the bench”처럼 위치 단서가 들어갈 수 있습니다.

RefCOCO+는 위치 표현을 제한하고, 주로 appearance-based description을 사용합니다. 즉 “왼쪽”, “오른쪽” 같은 직접적인 위치 표현은 줄이고, 색상이나 외형 중심의 표현을 사용합니다.

RefCOCOg는 더 길고 복잡한 referring expression을 포함합니다. 위치 표현 제한도 없고, 문장 자체가 더 길어서 복잡한 reasoning이 필요합니다.

평가지표는 cIoU, cumulative Intersection-over-Union입니다. 일반 IoU처럼 각 이미지마다 평균내는 방식이 아니라, 전체 예측 mask와 GT mask의 total intersection / total union을 계산하는 방식입니다. 즉 segmentation 성능을 전체 dataset 수준에서 평가하는 metric입니다.

Table 2는 Text4Seg baseline에서 visual token 수를 줄였을 때 성능을 비교한 결과입니다.

Vanilla는 576 tokens를 모두 사용하는 경우이고, 차례대로 33,50,66 퍼센트의 token을 줄였을때의 결과를 리포팅하고 있습니다. 사실 해당 Table 결과를 보면 저자의 idx 유지하는 세팅이 성능 보존에 크게 도움을 줬다는 분석이 좀 애매하게 보입니다. 저자는 preliminary에서 사실 idx를 llm 에 넣을때 의도적으로 기존 idx를 유지하게 하는 세팅을 설명하는데, Dart나 Divprune 같은 방법론들은 해당 세팅이 적용된 방법론이 아님에도 성능 Drop 이 크지 않았습니다. 따라서 ToMe나 VisionZip 과 같은 방법론이 Vision token selection 에 있어서 merge 하는 과정에서 생기는 vision encoder의 idx가 섞이는 것이 주요 원인으로 보이는데, Table 1과 Table 2 의 결과를 봤을때는 약간 의문이 생기기는 합니다.

아래의 Table 3는 InstructSeg에서의 결과로 모델간의 범용성을 보여준 것으로 보입니다.

Table 6은 PAYN의 token selection 방식이 정말 좋은지 확인하는 실험입니다. 모두 position-based 방법이지만, spatial coverage 방식이 다릅니다.

Center-biased sampling은 이미지 중앙 쪽에 더 많은 token을 남기는 방식입니다. 그런데 평균 56.1로 낮습니다. 즉 RES에서는 중앙 bias가 항상 좋은 것은 아닙니다. target object가 중앙에 없거나, referring expression이 다양한 위치의 물체를 가리킬 수 있기 때문입니다.

Fixed-stride row sampling은 특정 row들을 일정 간격으로 남기는 방식입니다. 평균 63.3입니다.

Fixed-stride column sampling은 특정 column들을 남기는 방식이고, 평균 61.7입니다.

Group-wise random은 token을 연속 group으로 나눈 뒤 각 group에서 random하게 하나씩 고르는 방식입니다. 평균 64.1입니다.

PAYN spatial FPS는 65.2, checkerboard는 66.4로 가장 높습니다.

이 결과는 단순히 position만 쓴다고 다 좋은 것이 아니라, local neighboring region을 균등하게 커버하는 방식이 중요하다는 것을 보여줍니다. Checkerboard는 local region마다 token이 골고루 남도록 하는 데 가장 안정적인 방식이라 성능이 가장 높게 나온 것으로 보입니다.

Limitation and Future Direction

저자는 PAYN이 대부분의 setting에서는 효과적이지만, 극단적인 경우에는 한계가 있을 수 있다고 말합니다.

대표적인 경우는 남기는 token 수가 매우 적은데, 이미지의 대부분이 정보가 거의 없는 background인 상황입니다. 예를 들어 target object는 아주 작고, 나머지 영역은 거의 의미 없는 배경인데, PAYN이 position만 보고 token을 고르게 뽑으면 중요한 object token을 놓칠 수 있습니다.

PAYN은 attention이나 feature를 보지 않고, 단순히 spatial coverage를 유지하는 방식입니다. 그래서 보통은 이미지 전체의 local structure를 잘 보존한다는 장점이 있지만, token budget이 극단적으로 작을 때는 문제가 생길 수 있습니다.

예를 들어 576개 token 중 192개를 남기는 정도라면, checkerboard나 FPS가 local structure를 꽤 잘 유지할 수 있습니다. 하지만 16개처럼 극단적으로 적게 남기면, 전체 이미지를 골고루 커버하려다 보니 정작 아주 작은 target object가 선택되지 않을 가능성이 있습니다.

이런 상황에서는 position만 볼 것이 아니라, 정보량이 높은 region을 우선적으로 남기는 전략이 필요할 수 있다고 저자는 인정합니다. 즉, PAYN의 기본 관점은 position-only compression이지만, 극단적인 small object나 low-information background 상황에서는 semantic/feature/attention 정보를 보조적으로 사용하는 방식이 future direction이 될 수 있습니다.

다만 저자는 이런 경우가 매우 드물고, 논문의 핵심 주장과 충돌하지 않는다고 말합니다. 즉 일반적인 RES setting에서는 position information만으로도 충분히 강력하지만, 아주 극단적인 compression 상황에서는 정보량 기반 selection이 필요할 수 있다는 정도로 한계를 정리합니다. 제가 생각하기에는 저자의 실험 세팅이 꽤나 많은 token 을 남긴다는 점에서 저 극단적인 pruning setting에서는 역전당할 가능성도 있다고 생각합니다만, 33 50 66퍼 세팅에서는 저자의 낮은 token budget 세팅으로 갈수록 성능 margin은 커지는 방향으로 가고 있어서 accept이 된 것 같습니다. 다만 기존의 VQA setting에서의 pruning 방법론들은 기본적으로 66, 88 90 95 퍼센트정도의 pruning 비율을 두는 것을 생각해보면 꽤나 많이 남긴 것은 부정할 수 없습니다. 이러한 제 생각과 비슷한 지적을 받았는지 저자도 커버하기 위한 추가 figure를 넣어두긴 했습니다.

(a)는 foreground token과 다른 token들 사이의 feature similarity가 거리와 layer depth에 따라 어떻게 변하는지를 보여줍니다.

x축은 foreground token으로부터의 거리이고, y축은 feature similarity입니다. layer 0, 1, 2, 6, 12, 18로 갈수록 vision encoder 내부에서 token들이 여러 layer를 통과한 상태를 봅니다.

저자의 해석은 이렇습니다. 아주 작은 object가 하나의 patch token에만 존재하더라도, vision encoder의 self-attention을 지나면서 그 정보가 주변 token으로 어느 정도 퍼질 수 있습니다.

초기 layer에서는 foreground token 정보가 주변으로 많이 퍼지지 않았지만, deeper layer로 갈수록 가까운 token들과 foreground token의 similarity가 증가합니다. 반대로 거리가 먼 token들과의 similarity는 낮아집니다.

즉 vision encoder가 진행될수록 작은 object 정보가 local neighborhood 안에서 공유된다는 것입니다.

이 부분은 PAYN이 왜 post-encoder에서 token을 버려도 어느 정도 괜찮은지를 설명합니다. Encoder 이전에 patch를 버리면 small object 정보가 아예 사라질 수 있지만, encoder 이후에는 그 정보가 인접 token들에 어느 정도 반영되어 있을 수 있습니다.

(b)는 실제 segmentation 결과 예시입니다.

왼쪽부터 original image, vanilla result, PAYN 192 tokens 결과, PAYN 16 tokens 결과를 보여주는 구조입니다.

여기서 192 tokens는 전체 token의 33.3%를 유지하는 일반적인 compression setting입니다. 이 경우 PAYN은 local spatial structure를 충분히 보존하고, segmentation 결과도 vanilla와 비슷하게 잘 유지됩니다.

반면 16 tokens는 전체 token의 2.78%만 유지하는 극단적인 compression setting입니다. 이 경우에는 token 수가 너무 적어서 PAYN이 local structure를 제대로 보존하지 못하고, small object나 중요한 region을 놓칠 수 있습니다. 그래서 segmentation 결과가 무너질 수 있다고 합니다.

Conclusion

결론에서 저자는 MLLM 기반 RES task에서 token compression 문제가 거의 연구되지 않았다는 점에서 출발했다고 정리합니다.

기존 token compression 방법들은 일반 vision-language task에서는 어느 정도 잘 작동하지만, RES task에 적용하면 심각한 성능 저하를 보였습니다. 저자는 이 현상을 분석했고, 그 결과 RES에서는 visual token의 positional information이 다른 task보다 훨씬 더 중요하다는 것을 발견했다고 말합니다.

PAYN은 spatially uniform하게 token을 선택하고, original position index를 보존함으로써 RES에서 중요한 local spatial structure를 유지하려고 합니다. 여러 benchmark 실험에서 PAYN은 inference efficiency를 개선하면서도 성능을 잘 유지했고, 기존 token compression 방법보다 좋은 결과를 보였습니다.

따라서 저자의 최종 주장은 다음과 같습니다.

MLLM-based RES task에서는 token compression을 할 때 복잡한 semantic/attention 기준보다 position information이 핵심이며, position만으로도 강력한 compression strategy를 만들 수 있다.

감사합니다.