안녕하세요 손우진입니다. 이번에 리뷰할 논문은 self-supervised learning 방법론인 I-JEPA입니다.

사실 JEPA는 얀 르쿤이 주도한 방법론이라 발표 당시부터 많은 주목을 받았고, 최근 ICML 2026에 참관을 다녀오면서도 JEPA 계열이 핫하다는 것을 체감했습니다. 그래서 한 번쯤은 읽어보고 싶다는 생각에 이번 기회에 논문을 읽어보게 되었습니다.

I-JEPA는 픽셀을 복원하는 대신 표현 공간에서 예측한다는 것으로, 기존 self-supervised learning의 두 흐름이 가진 장단점을 흥미롭게 엮어낸 논문입니다. JEPA에 대해서 안 읽어보신분들은 그냥 가볍게 한번 읽어봐주셨으면 합니다. 그럼 리뷰 시작하겠습니다.

Introduction

저자들은 이미지에서의 self-supervised learning 방식을 크게 두 가지로 정의합니다. 하나는 invariance-based 방식이고, 다른 하나는 generative 방식입니다.

invariance-based 방식은 같은 이미지에 서로 다른 augmentation을 적용해 두 개의 view를 만든 뒤, 이 둘이 비슷한 embedding을 갖도록 encoder를 학습시킵니다. 저자들은 이 방식이 semantic한 표현을 잘 학습한다는 강점을 갖지만, 여기서 사용되는 augmentation(random crop, color jitter 등)이 사람이 직접 설계한 hand-crafted 요소라는 점을 한계로 지적합니다. 어떤 augmentation을 선택하느냐는 사람의 가정을 모델에 주입하는 것과 같고, 이렇게 도입된 bias는 해당 가정이 맞지 않는 downstream task에서 오히려 성능을 저해할 수 있기 때문입니다.

generative 방식은 입력의 일부를 가린 뒤 그 가려진 부분을 다시 복원하도록 학습시킵니다.(Masked Autoencoder 라고 생각하시면 될 듯 합니다). 저자들은 이 방식이 augmentation을 통한 사람의 개입이 거의 없어, invariance-based 방식에 비해 주입되는 prior knowledge가 적다는 점을 장점으로 봅니다. 다만 그 대가로 학습된 표현의 semantic한 수준이 상대적으로 떨어진다는 한계가 있다고 설명합니다. 이로 인해 generative 방식의 표현은 linear probing과 같은 평가에서 낮은 성능을 보이며, 이를 제대로 활용하기 위해서는 end-to-end fine-tuning과 같은 더 복잡한 adaptation 과정이 요구된다고 주장을 합니다.

저자들은 이미지 변환을 통해 추가적인 prior knowledge를 주입하지 않으면서도 표현의 semantic 수준을 끌어올릴 방법을 제안한 것이 I-JEPA입니다. I-JEPA의 핵심 아이디어는 단순합니다. 하나의 context block이 주어졌을 때, 같은 이미지 안의 여러 target block들의 표현을 예측하는 것입니다. 이때 예측의 대상이 되는 target 표현은 학습된 target-encoder를 통해 계산됩니다.

여기서 중요한 점은, 저자들이 generative 방식처럼 픽셀이나 토큰을 복원하는 것이 아니라 표현 공간에서 예측을 수행한다는 것입니다. 이렇게 하면 픽셀 단위의 불필요한 세부 정보가 제거되어, 모델이 보다 semantic한 특징을 학습하도록 유도할 수 있다고 설명합니다. 또한 저자들은 이러한 semantic한 표현을 얻기 위한 또 하나의 핵심 설계로 multi-block masking 전략을 제안하는데, 충분히 큰 target block을 informative한 context block으로부터 예측하도록 하는 것이 중요하다고 강조합니다.

저자들이 정리하는 이 논문의 기여(contribution)는 다음과 같습니다.

• 첫째, I-JEPA는 hand-crafted view augmentation 없이도 강력한 off-the-shelf 표현을 학습하며, ImageNet-1K linear probing이나 semi-supervised 1% ImageNet-1K, 그리고 semantic transfer task에서 MAE와 같은 픽셀 복원 기반 방법을 능가합니다.
• 둘째, I-JEPA는 semantic task에서 view-invariant 방식과 경쟁력 있는 성능을 보이면서, 동시에 object counting이나 depth prediction과 같은 low-level task에서는 오히려 더 나은 성능을 달성합니다. 즉 더 단순하고 inductive bias가 약한 모델로 더 넓은 범위의 task에 적용될 수 있습니다.
• 셋째, I-JEPA는 확장성과 효율성 측면에서도 강점을 가집니다. 표현 공간에서 예측을 수행함으로써 self-supervised pretraining에 필요한 전체 연산량을 크게 줄일 수 있으며, 저자들은 ViT-H/14를 ImageNet에 pretrain하는 데 iBOT 대비 2.5배 이상, MAE 대비 10배 이상 효율적이라고 보고합니다.

Background

이제 저자들이 I-JEPA를 어떤 관점에서 설계했는지를 살펴보겠습니다. self-supervised learning을 Energy-Based Model(EBM)으로 바라보는데. EBM에서의 목표는, 서로 어울리는 입력에는 낮은 energy를 부여하고, 어울리지 않는 입력에는 높은 energy를 부여하는 것입니다. 저자들은 기존의 생성적·비생성적 접근들이 모두 이 틀 안에서 설명될 수 있다고 말합니다.

첫 번째는 Joint-Embedding Architecture(JEA)입니다. 이는 invariance-based 방식에 해당하며, 두 입력 x, y를 각각의 encoder에 통과시켜 얻은 embedding s_x, s_y가 서로 비슷해지도록 학습합니다. 즉 비슷합 입력끼리는 유사한 표현을, 다른 입력끼리는 상이한 표현을 갖도록 만드는 구조입니다.(흔히 아는 방법? 이라고 생각하면 될 것 같습니다) 저자들은 이 구조의 큰 과제로 representation collapse를 지적합니다. collapse란 encoder가 입력과 무관하게 항상 같은 상수 표현을 뱉어버리는 현상으로, 이 경우 energy landscape가 평탄해져 어떤 입력에도 낮은 energy를 부여하게 됩니다. 학습은 성공한 것처럼 보이지만 표현은 아무런 쓸모가 없어집니다. 저자들은 이를 막기 위한 방법으로 negative 예제를 밀어내는 contrastive loss, embedding 간 정보 중복을 줄이는 non-contrastive loss, 그리고 clustering 기반 접근 등이 연구되어 왔다고 설명합니다.

두 번째는 Generative Architecture입니다. 이는 compatible한 신호 x로부터 신호 y를 직접 복원하는 구조로, 이때 decoder는 복원을 돕는 추가 변수 z를 조건으로 받습니다. 이미지에서는 y의 일부 patch를 가려 x를 만드는 masking 방식이 대표적이고, 이때 z는 어떤 patch를 복원할지 지정하는 mask 및 position 토큰에 해당합니다. 흥미로운 점은, 저자들이 이 구조에서는 representation collapse가 큰 문제가 되지 않는다고 설명한다는 것입니다. 단, 여기에는 z가 담을 수 있는 정보량이 신호 y에 비해 충분히 작아야 한다는 조건이 붙습니다. 만약 z의 정보 용량이 지나치게 크면, 모델이 x를 참조하지 않고 z만으로 y를 복원해버리는 편법이 가능해지기 때문입니다. 즉, z에 너무많은 정보를 부여하게되면 문제가 생긴다는 것 입니다.

세 번째가 바로 이 논문의 방법론이 속하는 Joint-Embedding Predictive Architecture(JEPA)입니다. 저자들은 JEPA가 개념적으로 Generative Architecture와 유사하다고 말합니다. 다만 결정적인 차이는, loss가 입력 공간이 아니라 embedding space에서 적용된다는 점입니다. JEPA는 비슷한 신호 x로부터 신호 y의 embedding을 예측하며, 이때 predictor는 예측을 돕는 추가 변수 z를 조건으로 받습니다. 즉 Generative Architecture가 y 자체를 복원한다면, JEPA는 y를 encoder에 통과시킨 표현 s_y를 예측한다는 점에서 구분됩니다.

저자들은 JEPA가 JEA와 달리 hand-crafted augmentation에 불변인(invariant) 표현을 추구하지 않는다는 점을 강조합니다. 대신 추가 정보 z가 주어졌을 때 서로를 예측할 수 있는(predictive) 표현을 학습하는 것을 목표로 합니다. 이 덕분에 invariance-based 방식이 겪었던 hand-crafted bias 문제를 해결할수있습니다. 다만 JEA와 마찬가지로 JEPA 역시 representation collapse가 일어날 수 있는데, 저자들은 이를 x-encoder와 y-encoder 사이의 비대칭적 구조를 통해 방지한다고 밝힙니다. 이 비대칭 구조가 구체적으로 무엇인지는 이어지는 Method에서 다루어집니다.

Method

저자들이 제안하는 I-JEPA의 전체 구조는 Figure 3에 정리되어 있습니다. 전체적인 목표는 하나의 context block이 주어졌을 때, 같은 이미지 안의 여러 target block들의 표현을 예측하는 것입니다. 저자들은 I-JEPA는 비생성적이며, 예측이 픽셀이 아니라 표현 공간에서 이루어진다는 점입니다. 생성이 목적이아니라 feature를 잘 표현하게끔 만드는 것이 목표입니다

I-JEPA에서 target은 이미지 block의 표현에 해당합니다. 입력 이미지 y를 N개의 겹치지않는 patch로 나눈 뒤, 이를 target-encoder 에 통과시켜 patch 단위의 표현을 얻습니다. 이를 박스형태 즉 patch들을 모아서 block형태로 구성합니다.

다음으로 저자들은 예측의 입력이 되는 context block입니다. 이미지로부터80%? 범위의 scale과 block을 context로 샘플링합니다. 이때 context block에서 target block과 겹치는 영역을 모두 제거한다는 점입니다.

context block을 context-encoder에 통과시켜 얻은 표현으로부터, predictor는 각 target block의 표현을 예측합니다. 그런데 context 표현만으로는 predictor가 어느 위치의 target을 예측해야 하는지 알 수 없습니다. 이를 지정하기 위해 저자들은 mask token을 사용합니다. mask token은 Learnable한 벡터에 target 위치의 positional embedding을 더하여 매개변수화됩니다. 위에서 얘기한 Z의 정보를 많이 주지않는 방향으로 설계를 한 것 같습니다.
예측해야 할 target block이 M개이므로, 저자들은 predictor를 M번 적용합니다. 매번 해당 target 위치에 대응하는 mask token을 조건으로 주어, 각 target block의 예측 \hat{s}_y(1), \dots, \hat{s}_y(M)을 얻습니다.

Loss는 L2loss로 학습이 됩니다. 또한 비대칭 학습으로 predictor의 파라미터 \phi와 context-encoder의 파라미터 \theta는 gradient 기반으로 학습되지만, target-encoder의 파라미터 \bar{\theta}는 gradient로 학습되지 않고 context-encoder 파라미터의 exponential moving average(EMA)로 갱신됩니다.

이 EMA 방식은 앞서 Background에서 예고했던 비대칭 구조의 실체입니다. target-encoder로는 gradient가 흐르지 않기 때문에, 모델이 context와 target 표현을 동시에 상수로 무너뜨려 loss를 0으로 만드는 것을 차단됩니다.(학습의 안정성?으로 생각하고 넘어갔습니다)

Experiments

저자들은 ImageNet-1K에서 pretrain한 모델을 linear probing으로 평가합니다. augmentation에 의존하지 않는 MAE·CAE·data2vec과 비교하면, I-JEPA는 79.3%로 MAE나 data2vec을 더 적은 연산으로 앞섭니다. 해상도 448의 ViT-H/16은 81.1%까지 도달해, hand-crafted augmentation을 쓰는 iBOT·DINO에 비해 뒤처지지않는 성능을 보여줍니다. 또한 라벨을 1%만 쓰는 low-shot 세팅(클래스당 약 12~13장)에서도 I-JEPA는 MAE를 능가하며, 이는 적은 라벨만으로 분류가 가능한지를 통해 표현의 semantic 품질을 확인하는 실험입니다. CIFAR100·Places205·iNat18로의 transfer에서도 MAE·data2vec을 크게 앞서고, 일부 task에서는 DINO마저 넘어섭니다.

저자들은 I-JEPA가 semantic한 표현뿐 아니라 low-level의 지역적 특징도 잘 학습함을 보입니다. object counting과 depth prediction에서도 I-JEPA는 오히려 view-invariance 계열인 DINO·iBOT을 앞서며, 특히 depth prediction에서 큰 격차를 보입니다. 저자들은 view-invariance 방식이 augmentation으로 특정 정보를 무시하도록 학습되면서 이런 task에 불리해지는 반면, I-JEPA는 그런 편향 없이 지역 특징을 포착한다고 분석합니다

아무래도 augmentation 이나 이런 사전에 hand-craft없이 진행을 하다보니 연산량이나 효율적인 부분에서 좋은 성능을 보여줍니다. 또한 I-JEPA는 픽셀을 target으로 쓰는 MAE 대비 대략 5배 적은 iteration으로 수렴해 실질적으로는 연산을 크게 아낍니다.

개인적으로는 방법론 자체가 크게 복잡하지 않으면서도 이미지의 표현 능력을 잘 살려낸 이론이라는 인상을 받았습니다. 이런 단순함과 표현력이 요즘 JEPA가 주목받는 이유가 아닐까 생각합니다. 사실 JEPA는 얀 르쿤 교수님이라 더 신빙성이 있으면서도 열심히 읽었던 거 같습니다. 또한, 생성이 아닌 예측을 통해 표현하는 모델이라 관심을 가지게되는데요. 실제로 Meta에서 JEPA 계열을 활발히 연구하고 있는 만큼, 조만간 더 발전된 JEPA로 사람들을 놀라게 할 순간이 오지 않을까 하는 기대도 듭니다.