이번에 리뷰하려는 페이퍼는 텍스트로만 학습된 LLM이 이미지를 전혀 보지 않고도 시각적 사전 지식인 Visual Priors 를 이미 가지고 있다는 것을 밝힌 논문입니다.

• Venue: ICLR (Oral) 2026
• Authors: Junlin Han, Shengbang Tong, David Fan, Yufan Ren, Koustuv Sinha, Philip Torr, Filippos Kokkinos
• Affiliation: Meta Superintelligence Labs, University of Oxford
• Title: Learning to See Before Seeing: Demystifying LLM Visual Priors from Language Pre-training
• Code: Project Page

---

1. 이미지 없이, LLM은 Vision 학습 가능?

일반적으로 MLLM의 visual ability는 Vision Encoder를 연결하고, image-text data로 학습하는 과정에서 만들어진다​고 생각할 것 같습니다.

하지만 최근 연구들은 조금 흥미로운 현상을 보여주고 있다고 하는데요, Text만으로 학습된 LLM이 2D/3D scene을 생성하는 코드를 작성하거나, 비교적 적은 multimodal data만으로도 빠르게 visual task에 적응하는 등, LLM이 이미지를 직접 학습하기 이전부터 visual world에 대한 상당한 지식과 능력을 가지고 있는 것처럼 보인다는 것입니다.

그럼 정말로, LLM은 이미지를 한 번도 보지 않은 Language Pre-training 단계에서 이미 Vision에 필요한 능력을 학습하고 있는 것은 아닐까요?

본 논문에서 저자들은 LLM의 이러한 능력을 Visual Prior 라는 관점에서 분석을 시작하였습니다

1.1 Visual Prior ?

저자들은 이미지를 보기 전, Language Pre-training만으로도 이후의 visual task에 도움이 되는 능력이 형성될 수 있다고 봤다고 합니다. 그리고 이를 Visual Prior라고 불렀죠

그렇다고 이게 LLM이 이미 이미지를 이해할 수 있다는 의미는 아닙니다. 대신 Language Pre-training을 통해 쌓은 지식과 추론 능력이, 이후 Vision Encoder와 연결되었을 때 이미지를 이해하는 기반으로 활용될 수 있다는 것이죠.

따라서 저자들은 이러한 현상을 그저 신기해하는 것을 넘어, 언어 모델의 사전 학습 과정에서 이 Visual Priors가 어떻게 형성되는지 체계적으로 조사하는 것을 목표로 분석을 수행하였습니다.

이를 확인하기 위해 저자들은 Language Pre-training의 model scale, data scale, data source와 composition을 직접 통제하면서, 이후 multimodal ability가 어떻게 달라지는지를 체계적으로 분석하였습니다

2. Language Pre-training & Visual Ability

앞서 저자들은 Language Pre-training 과정에서 Visual Prior가 형성될 수 있다고 이야기했습니다. 그렇다면 자연스럽게 다음 질문이 생기겠죠.

LLM의 크기나 학습 데이터의 양, 그리고 어떤 데이터를 학습했는지에 따라 이후 visual ability도 달라질까?

저자들은 이를 확인하기 위해 Language Pre-training 조건을 직접 바꾸어가며 LLM을 학습하고, 이후 동일한 multimodal 학습을 거쳤을 때의 성능을 비교하였습니다.

2.1 실험 방식

1. LLM 사전 학습 설정 (Pre-training Setup)
저자들은 Llama-3 구조를 기반으로 340M부터 13B까지 5개 크기의 LLM을 직접 학습하였습니다. 학습 데이터 역시 0B부터 100B tokens까지 조절하였고, 기본 실험에서는 3B 모델과 30B tokens를 사용하였다고 합니다

2. LLM 사전 학습 데이터 (Pre-training Data)
또한 데이터의 종류에 따른 영향을 보기 위해 Code, Math, Academia, Arts, Food, Web-crawl 등 16개의 서로 다른 data source를 구성하였습니다.

3. MLLM 학습 설정 및 데이터 (Adaptation Setting & Data)
이렇게 학습된 LLM은 모두 동일한 Vision Encoder와 연결하고 동일한 multimodal 학습을 수행합니다. 즉, Language Pre-training 조건만 바꾸고 이후 과정은 최대한 동일하게 유지하여, 최종 visual ability의 차이가 어디에서 발생하는지를 확인한 것입니다.

2.2 모델/데이터를 키우면 Visual Ability도 좋아질까?

먼저 가장 기본적인 Scaling부터 살펴보겠습니다

결과는 어느 정도 예상할 수 있듯이, LLM의 크기가 커지고 Language Pre-training 데이터가 많아질수록 이후 VQA 성능도 전반적으로 향상되었습니다.

하지만 모든 visual ability가 똑같이 좋아진 것은 아니었습니다

General과 Knowledge VQA는 model과 data가 증가하면서 비교적 꾸준히 향상된 반면, OCR & Chart는 data보다 model size의 영향을 더 크게 받았습니다. Vision-Centric task 역시 작은 모델에서는 성능이 비교적 빠르게 saturation되는 모습을 보였습니다.

즉, Visual Prior 역시 단순히 하나의 능력으로 동일하게 scaling되는 것은 아닐 수 있다는 것이죠.

Finding 1. Scale을 키우면 visual ability도 좋아지긴 하지만 똑같이 좋아지지는 않는다

2.3. 얼마나 많이보다, 무엇을 학습했는지가 중요

그렇다면 데이터의 양이 아니라 종류를 바꿔보면 어떨까요?

저자들은 이번에는 모델 크기와 데이터 양을 3B / 30B tokens로 고정하고, 16개의 서로 다른 data source만을 이용해 각각 LLM을 학습을 진행해보았습니다.

그 결과, 어떤 text를 학습했는지에 따라 이후 multimodal 성능에 꽤 큰 차이가 나타났습니다. 특히 높은 성능을 보인 데이터는 크게 두 종류였습니다.

• Code, Math, Academia​와 같이 reasoning이 많이 포함된 데이터
• Arts, Food​처럼 visual world에 대한 묘사가 많이 포함된 데이터

특히 Vision-Centric VQA에서는 이러한 경향이 더욱 돋보였는데요. 이는, 단순히 많은 text를 학습하는 것뿐만 아니라 어떤 종류의 text를 학습하느냐가 이후의 Visual Prior를 결정할 수 있다 라고 결론을 내릴 수 있을 것 같습니다.

Finding 2. 어떤 Text를 읽었느냐가 이후 Visual ability를 바꾼다

finding 2를 통해 드는 생각이 있을겁니다. 그럼 과연 Visual Prior를 만드는 데 더 중요한 것은, visual world를 많이 설명하는 text일지? 아니면 reasoning을 많이 요구하는 text일지?

3. 무엇이 Visual Prior를 만드는지?

앞선 실험에서는 Reasoning이 많은 데이터와 Visual world를 많이 설명하는 데이터가 이후 visual task에 특히 도움이 되는 모습을 보였습니다. 그렇다면 둘 중 무엇이 Visual Prior 형성에 더 중요할까요?

저자들은 이를 확인하기 위해 데이터를 조금 더 세밀하게 나누었다고 합니다.

Reasoning 데이터는 Code, Math, Science​로, Visual 데이터는 Concept, Attribute, Relationship​으로 구분하고, 각각의 비율을 0%부터 100%까지 변화시키며 다시 LLM을 학습하였습니다.

3.1 Visual Text보다 Reasoning Text 더 중요

그 결과, Reasoning 데이터의 비율을 높일수록 이후 VQA 성능은 꾸준히 증가했고, 75%까지는 그 효과가 이어졌습니다. 반면 Visual world를 직접 설명하는 데이터는 소량만 포함해도 성능이 크게 향상되었지만, 이후 비율을 계속 높여도 추가적인 성능 개선이은 오히려 줄었죠

즉, Visual Prior를 만들기 위해 이미지에 대한 설명을 계속 많이 보여주는 것보다, Code나 Math처럼 추론을 요구하는 언어 데이터를 충분히 학습하는 것이 더 중요했다는 것입니다.

이는 LLM이 이후 이미지를 더 잘 이해하기 위해 필요한 것은 단순히 “무엇이 어떻게 생겼는지” 에 대한 지식뿐 아니라, 주어진 정보를 어떻게 조합하고 추론할 것인지에 대한 능력​일 수 있기 때문이라고 합니다.

Finding 3. Visual text보다 Reasoning text가 훨씬 중요하다 (시각 묘사 데이터는 빨리 포화되고, 추론 데이터는 꾸준히 성능을 올린다.)

3.2 어떤 데이터로 LLM을 학습해야?

앞선 결과를 바탕으로 저자들은 이번에는 Visual task에 유리한 실제 pre-training data mixture를 찾아보았습니다.

상단 테이블처럼.. Reasoning과 Visual 데이터의 비율을 여러 조합으로 바꿔본 결과, VQA 성능은 대략 60% Reasoning + 15% Visual data 부근에서 가장 높게 나타났다고 합니다.

즉, 좋은 visual foundation을 만들기 위해서는 Visual description을 최대한 많이 넣는 것이 아니라, 충분한 Reasoning + 필요한 만큼의 Visual knowledge 를 함께 제공하는 것이 중요하다는 것입니다.

다만 MLLM만 잘하면 되는 것은 아니겠죠. Reasoning 데이터에 지나치게 치우치면 기존 language ability가 떨어질 수도 있기 때문에, 저자들은 Language 성능과 Visual 성능을 함께 고려하여 여러 mixture를 비교합니다.

그 결과 mix6가 두 성능 사이에서 가장 좋은 균형을 보였으며, 이후 이를 Balanced mixture로 사용하였습니다.

4. Visual Prior는 하나의 능력이 아니다

앞선 결과에서는 Reasoning 데이터가 Visual Prior 형성에 특히 중요한 역할을 하는 것을 확인했습니다. 그렇다면 여기서 말하는 Visual Prior는 하나의 공통된 능력일까요?

저자들은 지금까지 학습한 105개의 LLM을 이용해, 서로 다른 VQA task의 성능이 함께 증가하는지를 분석하였습니다.

4.1 Perception Prior와 Reasoning Prior

Task 간 correlation을 살펴보니, 결과를 두 그룹으로 나눠서 설명할 수 있었습니다
– General / OCR → 이미지에서 정보를 읽어내는 Perception
– Knowledge / Vision-Centric → 주어진 정보를 바탕으로 답을 도출하는 Reasoning

같은 그룹에 속한 task의 성능은 어느 정도 함께 변화했지만, Perception과 Reasoning 사이의 correlation은 상대적으로 낮게 나타났습니다.

즉, 저자들은 지금까지 하나처럼 이야기했던 Visual Prior가 사실은 크게 Perception Prior와 Reasoning Prior라는 서로 다른 능력으로 구성되어 있을 가능성을 제시하였습니다

Finding 4. 시각적 사전 지식은 하나가 아니라 Perception 과 Reasoning 으로 분리된다.

4.2 Perception은 Vision에서, Reasoning은 Language에서

그렇다면 두 Prior는 어디에서 형성되는 걸까요?

이를 확인하기 위해 저자들은 Vision Encoder를 MetaCLIP, DINO, MAE​로 바꾸면서 앞선 Reasoning data 실험을 다시 수행하였습니다.

그 결과, Vision Encoder가 달라져도 Reasoning 데이터를 많이 학습한 LLM일수록 reasoning 중심의 visual task 성능이 공통적으로 향상되었습니다. 반면 Perception 관련 task는 Vision Encoder에 따라 성능 변화가 크게 달라졌습니다.

다시말해, Reasoning Prior는 Language Pre-training의 영향을 크게 받는 반면, Perception은 Vision Encoder와 visual supervision의 영향을 더 크게 받는다​는 것입니다.

Visual instruction tuning 데이터를 제거하는 추가 실험에서도 비슷한 결과가 나타났습니다. Perception 관련 데이터를 제거하면 General/OCR 성능이 크게 감소한 반면, Reasoning 능력은 상대적으로 Language Pre-training에서 이미 많은 부분이 형성되어 있었습니다.

Finding 5. Reasoning은 Language에서 오고, Perception은 Vision에서 온다

저자들은 Perception Prior를 조금 더 세밀하게 살펴보기 위해 MLE-Bench도 제안하였습니다.

이미지 내 object의 크기를 Small, Medium, Large로 나누어 평가한 결과, 다양한 정보를 포함하는 Web-crawl로 학습한 모델이 특히 small/medium object에서 높은 성능을 보였습니다. 이를 통해 저자들은 Perception Prior가 특정 종류의 데이터보다는 다양한 visual concept을 접할 수 있는 폭넓은 Language data에서 형성될 가능성을 제시하였습니다.

---

지금까지의 findings를 한 번 정리해보겠습니다: 이미지를 잘 보는 능력은 Vision에서 배우지만, 본 것을 바탕으로 생각하는 능력은 이미 Language Pre-training에서 상당 부분 만들어질 수 있다

그렇다면, Reasoning이라는 능력은 애초에 Language와 Vision에 종속되지 않는, modality-agnostic한 능력인 것은 아닐까요?

저자들은 이러한 Perception Prior를 더 세밀하게 분석하기 위해 MLE-Bench를 추가로 제안합니다. Object size에 따라 perception 능력을 나누어 평가한 결과, 다양한 정보를 포함하는 Web-crawl로 학습한 모델이 특히 small/medium object에서 높은 성능을 보였습니다. 이는 Perception Prior가 특정 종류의 데이터보다는 다양한 language corpus에서 폭넓게 형성될 가능성을 보여줍니다.

5. Reasoning은 Modality-Agnostic한 능력?

앞선 실험을 통해 저자들은 Visual Reasoning의 상당 부분이 Language Pre-training에서 형성될 수 있다는 결과를 확인했습니다.

여기서 저자들은 한 단계 더 나아가 다음과 같은 가설을 제시하였습니다: Reasoning은 특정 modality에 종속된 능력이 아니라, Language에서 학습한 뒤 Vision에도 그대로 적용할 수 있는 일반적인 능력이 아닐까?

5.1 Language에서 배운 Reasoning은 Vision으로

저자들은 Code와 같은 Reasoning data의 비율을 높여가며 학습한 모델에게 Visual Reasoning 문제를 풀도록 하고, 생성된 reasoning 과정이 어떻게 달라지는지 분석해보앗습니다.

그 결과 Reasoning data를 많이 학습한 모델일수록 더 길고 논리적인 reasoning 과정을 생성하는 경향이 나타났으며, Visual task에서의 reasoning 성능 역시 함께 향상되었습니다.

즉, Language에서 학습한 논리적 추론 방식이 Vision에서도 활용되고 있을 가능성을 보여준 것입니다.

다만 reasoning trace가 길어진다고 해서 반드시 더 깊은 추론을 한다고 볼 수는 없습니다. 따라서 이 결과는 Reasoning이 완전히 modality-agnostic하다는 증거라기보다는, 그 가능성을 뒷받침하는 결과​로 보는 것이 적절할거라고 하네요

5.2 Language와 Vision, 비슷한 구조 공유?

그렇다면 왜 Language에서 배운 Reasoning이 Vision으로 전달될 수 있을까요?

저자들은 Code나 Math와 같은 데이터와 이미지가 모두 구조적인 관계를 포함한다는 점에 집중하였습니다.

Code에는 hierarchy와 dependency가 존재하고, 이미지 역시 object와 spatial relation처럼 여러 요소가 구조적으로 연결되어 있습니다. 따라서 저자들은 Structured Language를 학습하면서 얻은 representation이 Vision의 구조와도 잘 맞을 수 있다는 가설을 제시하였습니다.

그림 10은 Reasoning-centric data의 비율에 따라 LLM과 Vision representation의 alignment가 어떻게 변화하는지를 보여줍니다. Reasoning data가 증가할수록 alignment가 대체로 높아지지만, 100%에서는 다시 감소하기 때문에 저자들도 이를 가설을 뒷받침하는 간접적인 근거로 라고 합니다

---

결국 이번 장에서의 저자들의 가설을 정리하면, Language에서 배운 것은 단순한 언어 지식이 아니라, modality를 넘어 활용할 수 있는 ‘생각하는 방식’일 수 있다는 것입니다.

하지만 과연 이러한 결과만으로 LLM이 이미 Vision을 배우고 있다고 말할 수 있을까요? 마지막으로 논문의 전체 결과를 정리하면서, Visual Prior라는 해석 자체가 얼마나 타당한지 살펴보겠습니다.

6. 좋은 MLLM은 Vision Training 이전부터

지금까지의 실험은 대부분 3B 모델과 30B tokens라는 통제된 환경에서 이루어졌습니다. 그렇다면 앞서 발견한 경향이 실제 대규모 Pre-training에서도 유지될까요?

6.1 1T Token에서도 같은 결과?

저자들은 이를 확인하기 위해 7B LLM 두 개를 각각 1T tokens로 직접 학습하였습니다.

하나는 Language 성능에 유리했던 기존 mixture를 사용하고, 다른 하나는 앞서 찾은 Balanced mixture를 사용합니다. 이후 두 모델에 동일한 multimodal adaptation을 적용해 비교하였습니다.

결과적으로 Balanced 모델은 전체 VQA 성능에서 37.32 → 38.64로 향상되었으며, General, Knowledge, OCR & Chart, Vision-Centric 모든 영역에서 더 높은 성능을 보였습니다.

또한 Language 성능 역시 떨어지지 않았습니다. 오히려 perplexity는 8.72 → 7.49로 개선되었으며, 저자들은 충분히 큰 scale에서는 Reasoning 중심의 데이터가 Language와 Vision 모두에 도움이 될 수 있다고 설명하였습니다. 즉, 앞선 작은 규모의 실험에서 발견한 [Reasoning + 적절한 Visual knowledge] 라는 데이터 구성의 효과가 1T scale에서도 유지된 것​이라고 볼 수 있겠네요

6.2 이미지를 보기 전 ‘보는 법’을 배운 건가?

MLLM의 능력은 Vision-Language Training에서 처음 만들어지는 것이 아니라, 그 이전의 Language Pre-training부터 영향을 받기 시작합니다.

특히 Perception은 Vision Encoder와 visual supervision의 영향을 많이 받지만, Reasoning은 Code, Math, Science와 같은 언어 데이터를 통해 미리 학습되고 이후 Vision으로 전달될 가능성​을 보여주었습니다.

다만 이를 곧바로 LLM이 이미지를 보기 전에 ‘Vision을 배웠다’​고 해석하는 것은 조금 조심할 필요가 있을 것 같긴 합니다.

그 근거로 상단 Blind Visual Instruction Tuning 실험이 있는데요, 저자들은 이미지를 제거하고 VQA의 text instruction만 먼저 학습시켰는데도, 이후 전체 VQA 성능이 Balanced 모델 기준 38.64 → 39.56​으로 오히려 향상되는 것을 확인했다고 합니다.

이는 Language Prior가 실제 visual understanding뿐 아니라, 이미지를 보지 않고도 VQA의 언어적 패턴을 이용해 문제를 푸는 shortcut으로 작동할 수 있음을 의미합니다. 저자들 역시 이러한 학습을 일반적인 방법으로 사용하는 것은 권장하지 않는다고 이야기합니다.

---

결국 저는 이 논문이 보여준 것이, LLM이 이미지를 보기 전에 마법처럼 Vision 자체를 이해한다기보다는 Language Pre-training에서 학습한 지식과 논리적 추론 능력이 향후 Multimodal learning의 성능 한계와 출발점을 결정한다는 사실에 더 가깝다고 생각합니다.

특히 시각적 능력은 Perception과 Reasoning 으로 나뉘는데, 지각 능력은 여전히 Vision Encoder와 시각 튜닝에 크게 의존하지만, 가장 핵심적인 시각적 추론 능력은 오직 언어 모델의 사전 학습(특히 Code/Math) 단계에서 뼈대가 잡힌다는 점이 인상적이었습니다.

따라서 앞으로 더 강력한 MLLM을 만들기 위해서는 단순히 고품질의 Vision-Language 데이터나 뛰어난 Vision Encoder를 찾는 것에만 매몰될 것이 아니라, 그보다 훨씬 앞선 Language Pre-training 단계에서 ‘어떤 텍스트 데이터를 어떻게 배합하여 학습시킬 것인가’부터 전략적으로 설계해야 한다는 것이 이 논문이 가장 중요한 메시지인 것 같다 정리하며 리뷰를 마치겠습니다.