안녕하세요
오늘은 ICML2026에 억셉된 논문이자 ICML참관했을때 주의깊게 봤던 포스터였던 논문인 Zooming without Zooming 논문을 리뷰해보겠습니다.
들어가기에 앞서 간략하게 설명하자면 추론 과정에서 이미지의 작은 영역을 반복적으로 크롭하고 확대하는 기존 방법을 inference가 아닌 training 과정에 미리 학습시킨 논문입니다.
즉 학습할때는 세부 영역을 확대해서 만든 데이터를 활용 하지만 실제 추론할때는 별도의 줌 도구 없이 원본이미지 한 장만 딱 보고도 작은 시각적인 증거를 찾아 답하도록 만드는 방법입니다!
리뷰 시작하겠습니다
INTRO
저자들은 MLLM이 이미지 전체를 전혀 이해하지 못 하는 것은 아나리고 합니다. 예를 들어서 (도로에 자동차와 사람들이 있다)같은 전체 장면은 잘 이해할 수 있습니다. 하지만 질문이 만약 (앞쪽 자동차의 번호판에 적힌 글자는 무엇인가?)처럼 바뀌면 정답에 필요한 번호판이 전체 이미지에서 매우 작기 때문에 문제가 생긴다고 합니다.
즉 저자들이 말하는 핵심 문제는 세부 증거가 존재하지 않는 것이 아니라 전체 이미지의 수많은 정보 속에서 작은 증거가 묻힌다는 것 입니다. 이미지 안에 필요한 정보는 들어있지만 모델이 그 작은 정보를 안정적으로 찾아내고 활용하지 못하는 fine-grained perception문제로 보는 것 입니다.
기존의 방법들은 이러한 문제들을 Thinking-with-Images 즉, 모델에게 이미지 도구를 주는 방식으로 해결해왔습니다.
예를 들어 원본 이미지가 있을때 → 답이 있을 것 같은 영역을 선택하고 → 해당 영역을 크롭하고 확대합니다. → 확대된 이미지를 시각 인코더에 다시 넣은 후 → 부족하면 다른 영역을 다시 확대합니다 → 이 과정을 반복해서 최종 답을 합니다.
이 방식대로 하면 자동차의 번호판 같은 작은 정보도 확대 된 상태에서 쉽게 읽을 수 있습니다. 하지만 확대 할 때마다 새로운 이미지를 만들고 다시 인코딩해야하기 때문에 도구(영역선택, 크롭)호출이나 비주얼 인코더 재실행, reasoning 반복 수행 등이 계속 필요해지기 때문에 정확도는 높아질 수 있지만 추론 속도가 느려진다는 단점이 있습니다.
따라서 저자들은 위의 기존의 방법에서 추론할 때 마다 줌을 하는 것이 아니라 줌을 통해 얻는 효과를 미리 모델에게 학습 시킬수 없을까? 라는 생각을 하게되고, 이를 통해 확대줌 과정을 추론과정에서 제거하고 학습과정으로 옮기게 됩니다. (fig2 참고)
이 저자들의 방법을 직관적으로 먼저 살펴 보자면 학습할 때 강한 teacher모델에게 작은 영역을 확대해서 보여주고 teacher는 작은 글자나 미세한 속성을 훨씬 정확하게 확인하게 되겠죠. 그럼 이걸 기반으로 질문과 답을(QA)를 만듭니다. 예를 들어 확대한 영역이 자동차 번호판이라 한다면 Q는 자동차의 번호판 번호는 무엇인지 같은 것이 되고 답은 위의 사처럼 JV9971이 됩니다. 이렇게 줌한 영역에서 그럴싸한 QA를 만든 뒤 이 질문과 답을 다시 원본 전체 이미지에 연결해서 student를 학습시킵니다.
이때 크롭된 이미지 안에서는 명확했던 질문도 원본 전체 이미지로 들어가게 되면 어떤 물체를 말하는 것인지 모호해질 수 있기 때문에 (예를들어 자동차가 여러대라거나 ..) 학습할때는 원본 이미지 위에 해당 대상 영역이 바운딩 박스를 표시하고 질문에도 박스 안의 물체에 집중하를 조건을 추가합니다. 이 바운딩박스는 학습할 때만 제공되며 추론할 때는 사용하지 않습니다.
추론할 때는 학습이 끝난 student에 크롭X, 바운딩박스X, 도구호출X, 재인코딩X 상태인 원본 이미지와 질문만 받아서 한번에 답을 하도록 합니다.
이 부분이 바로 이 논문의 제목인 Zooming without Zooming이 되는 것이죠. 쉽게 말하자면 학습을 통해 모델이 머리속으로 줌인 해서 보는 것처럼 행동하지만 실제 추론과정에서는 줌 도구를 사용하지 않는다는 말 입니다.
제목에 보면 Distillation이라는 말이 나옵니다. 일반적인 knowledge distillation은 큰 teacher모델의 출력 분포나 feature를 작은 student가 따라 배우는 것을 말합니다.
하지만 여기서는 조금 더 넓은? 의미의 데이터 기반의 distillation이라고 이해할수 있습니다. teacher가 확대된 작은 영역을 보고 얻은 지식을 작은영역(Reagion)에서 얻은 QA를 통한 신호를 원본 전체 이미지(I)에서 풀어야 하는 문제로 변환해서 student에게 전달하는 것 입니다. 따라서 단순히 teacher의 로짓을 student가 따라 하는 방식이라기 보다는 teacher가 corp에서 쉽게 확인한 세부적인 지식을 전체이미지 학습 데이터로 바꿔서 전달하는 것이라 이해하면 됩니다.
또한 논문에서는 student가 single-glance fine-grained perception을 한다고 표현하는데 이건 모델이 이미지의 특정 부분을 물리적으로 딱 한 번만 본다는 의미가 아니고 여기서 말하는 single-glance는 정확히 말하면 원본 이미지를 한번 입력하고→ 별도의 크롭이나 재인코딩 없이 하나의 추론 프레임워크 과정으로 답한다!! 라는 의미 입니다. 약간 agent처럼 원본 보고, 크롭하고, 다시보고, 크롭하고.. 이런 과정을 하지 않는 다는 의미 입니다.
저자들은 추가적으로 ZommBench라는 성능평가를 위한 845개의 문제로 구성된 벤치마크를 만들었습니다.
이 벤치마크에는 크게 두 가지 이미지가 있습니다. 1. Global View(원본 전체 이미지), 2. Regional View(정답 증거가 있는 작은 영역을 크롭한 이미지) 이렇게 구성되어 있고 각 이미지는 1-2가 페어로 동일한 질문을 풀도록 합니다.(dual-view)
이때 예를 들어서 원본에서는 40%의 정확도이고, 크롭에서는 70%의 정확도라면 zooming gap은 Regional View 정확도 70%에서 Global View 정확도 40%를 뺀 30%입니다. 이런 경우에는 모델이 줌 된 증거를 주면 답은 할 수 있다는 말로, 해당 물체의 속성을 전혀 인지하지 못한다는 것은 아닙니다. 다만 전체 이미지에서 필요한 증거를 찾고 활용하는 과정에 실패했을 가능성이 크다는 것 입니다.
fig1 처럼 논문에서는 이 Zooming without Zooming(ZwZ)모델이 fine-grained perception 벤치마크에서 강한 성능을 보였다고 주장합니다 4B나 8B같은 비교적 작은 모델이 훨씬 큰 오픈소스 모델과 경쟁할 정도로 fine-grained perception능력이 향상됐다고 합니다. (위의 fig1은 여러 벤치마크를 평균낸 요약 결과 입니다)
Method
저자들은 Zooming without Zooming이라는 아이디어를 1. 도구 기반의 줌인으로 인한 이점을 training과정에서 모델 내부에 내재화 하는 Region-to-Image(R2I) Distillation 2. 이 능력을 객관적이고 종합적이게 평가할 수 있도록 설계한 ZoomBench를 통해 구체적으로 구현합니다.
이 두 기여를 각각 나누어서 살펴보겠습니다.
1. Region-to-Image Distillation
저자들이 제안하는 방식인 R2I는 새로운 비전 인코더나 새로운 MLLM구조를 제안하는 방식은 아니고, 학습 데이터를 만드는 방식과 그 만들어진 데이터로 수행하는 post training방식입니다.
전체적인 흐름은
원본 이미지가 들어오면 → 작은영역을 crop하고 → crop에서 신뢰도 높은 QA를 생성한 다음 → QA를 전체 이미지 문제로 변환합니다 → 그 결과를 student가 학습하는 방식입니다.
여기서 신뢰도 높은 QA라는 말은 걍 단순하게 그럴듯한~ 합성데이터를 말하는게 아니라 해당 부분의 세부 정보가 명확히 보이는 crop을 바탕으로 만들어진 신뢰도 높은 QA라는 뜻 입니다.
- I : 원본 전체 이미지
- R : 정답 증거가 들어있는 작은 영역 (Region)
- B : R의 위치를 나타내는 바운딩박스
- Q : crop을 보고 만든 질문
- A : teacher들이 만든 합의 정답
[ (1) Zoom-in Synthesis on the Cropped Region ]
먼저 crop 영역을 정할때 이미지에서 아무 위치나 무작위로 자르는 것이 아니라 객체 recognition과 segmentation을 이용해서 자동차 번호판이나 작은 간판, 표지판, 조각상의 장식 같은 적어도 하나의 객체가 포함된 유의미한 영역들을 찾습니다. 그 다음 이중에서도 전체 이미지에서 차지하는 크기가 0.1보다 작은 것만 남깁니다. (아래의 수식 참고, τ(희소성 임계값)=1.0)
이 필터링을 통해 정답 증거가 전체 이미지에서 좀 쉽게 드러나지 않고 숨겨져 있는 영역이 되도록 합니다. 이렇게 필터링을 하는 이유는 자동차가 있는 이미지를 예를 들자면 자동차 전체처럼 원본에서도 잘 보이는 큰 물체가 아니라 전체 이미지에서는 묻히지만 확대하면 확인 가능한 작은 증거를 학습시키기 위함입니다!
그 다음 teacher가 crop을 보고 질문을 만듭니다. 질문은 반드시 crop된 영역 안의 정보만으로 답 할수 있어야 합니다.
앞서 인트로의 예시처럼 자동차 번호판이 무엇인가? 와 같은 질문을 만들고 여러 teacher이 답을 생성합니다. 그중 대부분이 (JV9971)처럼 같은 답을 냈을 때만 정답으로 사용합니다.
즉 하나의 teacher가 한번 출력한 답을 그대로 믿는게 아니라 여러개의 답변을 다수결의 원칙으로 수도라벨을 채택하는 것 입니다.
[ (2) Zoom-out Distillation to the Full Image ]
이제 앞서 수행한 줌인 이미지를 전체 원본 이미지에 적용해야합니다.
기존의 자동차 이미지를 예시로 계속해서 살펴보자면 crop이미지 안에는 자동차가 한대 뿐이라 (자동차이 번호판은 무엇인가요?)같은 질문이 당연히 명확할 수 있지만 원본 이미지에는 자동차가 여러대 있기 때문에 그냥 질문과 정답만 원본에 옮기면 어느 자동차를 가르키는지 모호해집니다. 그래서 변환 G라는것을 수행합니다.
변환 G는 두가지를 수행하는데 먼저 I → I’로 원본 이미지 위에 정답 바운딩 박스를 그립니다. 두번때로는 Q→Q’로 질문에 (바운딩 박스 암의 객체에 집중해라!)하는 공간 조건지시문을 추가합니다.
그 다음 작은 MLLM으로 난이도 필터링을 수행합니다. 원본 이미지에서도 너무 쉽게 맞힐 수 있는 문제라면 요 작은 증거에 대한 access능력을 학습 시키는데 큰 도움이 되지 않기 때문에 제외하기 위해서 입니다.
다음으로 student의 학습은 위의 수식(1)로 정의됩니다
앞서 만들어진 최종 데이터셋 (I′,Q′,A)∼D_syn을 하나 가져와서 → student모델은 I’, Q’를 입력받아 A^를 A^∼πθ(⋅∣I′,Q′)생성합니다. → 그리고 student의 답A^가 teacher합의 정답 A와 일치 하는지를 reward함수(r)로 평가합니다. → 최종적으로 reward 기댓값이 커지도록 파라미터 θ를 학습합니다.
즉 이 목적함수는 일반적인 크로스엔트로피 기반의 학습이 아닌 student를 policy πθ로 표현하고 정답 여부에 따를 reward를 최적화 하는 RL형태의 목적함수 입니다.
이렇게 학습 시킨으로 바운딩 박스가 가리키는 작은 증거를 보고도 정답을 맞히도록 student를 학습하게 됩니다. 하지만 추론 시점에 이 바운딩 박스를 제거한 원본 이미지를 모델에 넣어줘도 성능이 제대로 나올까? 하는 의문이 들 수 있습니다. 저자들은 이 바운딩 박스 B를 학습할 때만 제공되는 privileged information으로 설명합니다.
모델은 학습 과정에서P(A∣I,Q,B)의 조건부 분포를 학습하고 실제로 구현에서는 원본 이미지 위에 바운딩 박스를 표시한 I’와 박스 내부에 집중하라는 조건을 추가한 Q’를 사용하기 때문에 이는 P(A∣I′,Q′)를 학습하는 것과 거의 동일합니다
이때 바운딩 박스 B 단순히 어느 객체를 가리키는지 모호함을 없애는 역할뿐 아니라 모델의 내부 attention이 실제 정답 증거가 있는 작은 영역R에 정렬 되도록 유도하는 구조적인 힌트로 작용합니다.
즉 학습할 때 반복적으로 (이 질문에서는 이 영역을 봐야 한다)라는 관계를 학습시키고 요 습관이 모델의 파라미터에 내재화되면 추론 시 바운딩 박스가 없어도 질문과 관련된 작은 영역을 스스로 찾을 수 있다는 논리입니다.
따라서 저자들은 실험을 통해 이렇게 바운딩 박스B가 제거된 경우에도 이러한 시각적 정렬이 성공적으로 일반화된다고 주장합니다. (이 부분은 뒤의 ablation과 attention map 분석에서 다시 확인합니다!)
위의 알고리즘으로 이 과정들을 직관적으로 살펴보자면
먼저 필요한 입력은 원본 이미지 집합(D_raw), 도구 행동(f(~)), QA생성기(T) 이렇게 구성됩니다. 최종 결과는 D_syn={(I,Qˉ,A)} 형태의 distillation데이터셋 입니다.
이 과정을 앞서 계속 말하는 자동차 번호판 예시에 대입해서 설면하자면 I^= f(I)는 번호판을 확대해서 자른 crop이고 Teacher가 crop을 보고 T(I^)=(Q,A)를 생성합니다.
그다음 알고리즘의 5번처럼 f(−1)은 이 질문을 다시 원본이미지에 연결합니다. 그 후 실제 R2I구현에서는 원본에 박스를 표시하고 질문에 제약을 추가해서 (I,Qˉ,A)→(I′,Q′,A)형태로 저장하는 것입니다.
2. ZoomBench
저자들이 제안하는 벤치마크인 ZoomBench도 기본적으로 R2I와 같은 아이디어로 만들어집니다
간략하게 설명하자면 (전체이미지 → 작은 영역 crop → crop에서 QA 생성 → 전체 이미지 문제로 변환)입니다.
이때 student학습용 R2I데이터와 이 ZoomBench평가 데이터에는 핵심 차이가 있는데 R2I 학습 데이터에서는 어느 영역을 봐야 하는지 모호해지는 문제를 막기위해 원본 이미지에 Bbox를 표시하고 질문에 박스 내부를 보라는지시를 추가했습니다. 하지만 이 ZoomBench의 목적은 모델이 아무런 위치 힌트 없이 전체 이미지에서 작은 증거를 스스로 찾을 수 있는지 평가하는 것이기 때문에 벤치마크의 Global View에는 바운딩 박스나 좌표 같은 spatial grounding을 제공하지 않습니다!
대신 QA를 만들때 사용한 crop은 버리지 않고 별도로 보관하는데 이렇게 하면 이 crop이 곧 정답 evidence region이 되므로 사람이 따로 증거의 위치를 바운딩 박스로 수작업 annotation하지 않아도 됩니다.
또한 데이터 생성을 전부 AI가 하는 것은 아니고 AI가 QA를 만들면 사람이 최종적으로 검수를 통해 ZoomBench를 만들었다고 합니다!
이렇게 최종적으로 만들어진 ZoomBench는 845개의 QA pair로 구성되어있고. 카테고리는 fig4의 왼쪽 원형그래프처럼 6가지로 나눌수 있습니다.
- Fine-Grained Counting 작고 밀집되어 있는 객체의 개수를 세는 문제
- OCR 작은 텍스트와 기호를 인식하는 문제
- Color Attributes 객체 일부의 미묘한 색상 차이를 구분하는 문제
- Structural Attributes 객체 구조, 부품 배치, 기하학적·형태적 속성을 확인하는 문제
- Material Attributes 금속, 유리, 천과 같은 재료의 구성이나 표면 특성을 인식하는 문제
- Object Identification 국기,랜드마크, 유명 인물 등 구체적인 객체 유형이나 종류를 구분하는 문제
ZoomBench는 객관식(MCQ)과 주관식(OQ)을 함께 사용하며 각 문제마다 원본 전체 이미지인 Global View와 정답 증거가 있는 crop 이미지인 Regional View를 함께 제공합니다. Regional View는 해당 세부 정보를 실제로 인식할 수 있는지를 말하고 Global View는 전체 이미지에서 필요한 증거를 찾아 활용할 수 있는지를 평가합니다.
따라서 두 성능의 차이인 Zooming Gap을 통해 모델의 작은 증거 접근 능력을 분석하고 crop의 위치를 이용해 어텐션이 실제 정답 영역에 집중되는지도 확인할 수 있습니다.
Experiment
- Backbone: Qwen3-VL-4B, Qwen2.5-VL-7B, Qwen3-VL-8B
- 학습 데이터: R2I로 만든 74K 합성 데이터
- 학습 방식: DAPO 기반 RL만 사용, 별도의 SFT 없음
- 평가: 일반 fine-grained perception, 특정 능력(Color/Counting), OOD reasoning 벤치마크
1. Results
메인 성능 테이블로 ZwZ는 4B·7B·8B 모든 backbone에서 성능이 향상됐고, 특히 ZwZ-8B는 전체 평균: 62.86 → 68.12으로, ZoomBench: 37.87 → 58.11 향상된 것을 볼수 있습니다
즉 저자들이 만든 ZoomBench에서만 좋아진게 아니라 여러 perception 벤치마크와 MMStar, BabyVision 같은 OOD 에서도 향상 되었다고 합니다!
즉 실제 추론때 줌 도구를 사용하는 모델보다 성능도 높고 속도도 빠른 결과를 확인 할수 있습니다.
2. Ablation Study
Direct Synthesis는 전체 이미지를 teacher에게 보여주고 QA 생성하는 전략이고, 아래의 R2I가 저자들의 crop에서 QA를 만든 뒤 전체 이미지 문제로 변환하는 방법입니다. 결과적으로 R2I + bbox-in-image가 평균 70.89로 더 좋은 것을 알수 있습니다.
또한 Bbox로 grounding방식도 비교합니다. bbox 없을때는 68.04이고 질문에 bbox 좌표만 입력한 경우 67.84, 이미지 위에 bbox 직접 표시한 경우 70.89의 결과르 볼수있는데, 이 결과는 전체 이미지에서 바로 QA를 만드는 것 보다 crop에서 QA를 만드는 것이 더 효과 적이고 학습 때 bbox이미지 위에 직접 표시하는 visual grounding방식이 가장 중요하다는 것을 의미한다고 합니다!
3. Deeper Analysis on ZoomBench
Dual-View Evaluation와 관련된 실험으로 ZoomBench의 같은 질문을 Global View(전체 이미지를 보고 답함)와 Regional View(정답 증거가 있는 crop을 보고 답함)의 두 조건에서 평가 후 Zooming Gap(Regional 성능 − Global 성능)을 확인합니다.
만약 Regional에서는 맞히는데 Global에서는 틀리면, 세부 정보를 아예 인식하지 못하는 게 아니라 전체 이미지에서 해당 증거를 찾고 활용하지 못한 것으로 분석할수 있습니다
기본 모델인 Qwen3-VL-8B는 global 37.87, regional 63.08로 25.21의 큰 Zooming Gap을 보입니다. 즉 crop을 주면 성능이 크게 상승하는 것을 통해 많은 실패가 세부 정보를 전혀 인식하지 못해서라기보다는 전체 이미지에서 작은 증거를 찾고 활용하지 못해서 발생한다고 분석할 수 있습니다.
저자들이 제안하는 ZwZ-8B는 gap이 15.26으로 비교한 모델들 중 zooming gap이 가장 작은 것을 알수 있는데, R2I 학습 후에는 crop을 따로 주지 않아도 전체 이미지에서 정답 증거를 더 잘 찾는다는 핵심 결과라고 합니다. 저자들은 큰 모델들도 여전히 상당한 gap이 존재하기 때문에 단순히 모델 크기를 키우는 것만으로 이 access 병목이 해결되지는 않는다고 설명합니다!
4. Attention Map Coverage Analysis
저자들은 성능 향상뿐 아니라 모델이 실제 정답 evidence 영역에 더 집중하게 되었는지도 확인합니다.
ZoomBench에 저장된 정답 영역의 바운딩 박스를 이용해서 전체 relative attention 중 박스 내부에 들어가는 비율을 측정합니다. 결과적으로 Qwen3-8B의 attention coverage는 17.39였지만 ZwZ-8B는 21.64로 4.25% 증가 한것을 확인할수 있습니다. 또한 4B와 7B에서도 모두 coverage가 증가했는데 저자들은 R2I 학습을 통해 모델의 attention이 질문과 관련된 작은 증거 영역에 더 집중하게 되었다고 분석합니다!
