[ICML 2026] Global Geometry Is Not Enough for Vision Representations

안녕하세요, 강희승입니다.

지난 방학 동안 기초교육 기간에 공부했던 논문들을 리뷰했었는데, 이번 주부터 그동안 Compositional Generalization 서베이 논문들을 기반으로 작성해보려고 합니다.

금주 리뷰 논문은 Compositional Generalization 관점에서, visual representation을 분석한 논문입니다.

Motivation

Visual Representation Learning의 주요 목적은 downstream에서 안정적이고 전이 가능한(transferable) Representation을 학습하는 것입니다.

이러한 목적을 이루기 위해 기존의 연구들은 학습된 representation을 주로 기하학적 관점으로 분석하였습니다. Embedding의 분포가 전역적(Global)으로 규칙적(regular)이면서, collapse, anisotropy, redundancy를 줄인다면, 안정적으로 전이 가능한 표현할 수 있다는 의견이 지배적이었습니다.

단편적으로 예를 들자면, figure 1.a 와 같이 visual embedding 들이 Non-Uniform하게 분포한다면, 분류하거나 차이를 인지해야하는 task 등에서 visual information을 효과적으로 활용하지 못할 것입니다.

이러한 기하학적 관점들을 바탕으로 self-supervised objective나 contrastive alignment 등 다양한 학습 기법들이 파생되었습니다. 다양한 이론들을 기반으로 representation geometry는 더 정교하게 정형화 되었습니다. 동시에, representation의 quality를 평가하는데 정적 분포 지표(distance-based, probability-based, distributional similarity)를 활용합니다.

하지만, 중요한 점은 visual scene에는 어떤 요소의 존재만을 정의하는 것이 아닌, 어떻게 구성되어있는지 복합적인 정보들을 내포하고 있다는 것 입니다. 최근 Compositional Binding에 대한 문제를 연구하고 있으며, 복합적인 정보를 민감하게 표현하지 않는다면 Bag-of-Features(Bag-of-Word 라고도 많이 부릅니다.)을 보이는 representation으로 collapse할 것이라고 저자는 언급합니다.

이에 저자는 전역적으로 균등하게 분포하는 representation을 분석하며, 기하학적 규칙성이 어떤 요소들의 복합적 구성이 아닌 존재 여부를 encode했을 것이라 가정합니다.

이 과정에서 Geometry만으로는 Compositional Binding Capacity를 가늠하기 어려움을 보였습니다. 이에, Functional Sensitivity가 binding capacity와 높은 상관관계를 가짐을 보이고, 이를 가늠하기 좋은 척도라고 밝혔습니다.

The Limit of Geometry

Settings

저자는 Compositional Binding Capacity만을 분석하기 위해, 합성 데이터를 기반한 probing을 수행하였습니다. 또한, 다양한 vision encoder에 대해 분석을 수행하였습니다. 이때, 각 encoder는 다양한 objective를 가지며, objective에 의한 inductive bias들을 가지고 있습니다.

Task는 Attribute binding benchmark를 사용하였습니다. 이때, Query Image내의 object는 총 두개이며, color는 {Red, Green}, target의 color는 {Blue, Yellow}입니다. 각 object의 shape과 position은 랜덤이며, 색상에 관계 없이 model은 Query image와 대응하는 shape-position binding image를 선택해야합니다.

해당 Task에서 크게 두가지 case로 나누어 평가하였습니다.

1. Binding 위에서 언급한 것처럼, Query image에 대응하는 image를 선택하는 task로, 여러 후보들이 존재합니다. 가능한 후보들은 shape은 동일하지만 position이 다른 경우, shape과 position이 모두 다른 경우, 일부 shape과 position만 동일한 경우 등이 있습니다.
2. SAME/DIFFERENT 이는 Binding task와 다르게 이미지를 선택하는 것이 아닌, Query image에 대해 Target image가 동일한 spatial configuration(shape-position)을 보이는지 여부를 판단하는 이진 분류 task입니다. 이때, cosine similarity 기반 distance 계산을 통해 최적의 threshold를 추정합니다.

SAME/DIFFERENT의 경우 모델의 discriminative 능력을 평가하기 위해 제시된 task로, 두 image들에 대한 구성적 차이를 잘 인지하면 좋은 성능을 보입니다. 하지만 Binding의 경우 Query에 대해 후보들 중 정답 image가 다른 후보들에 비해 더 distance가 가까워야 합니다. 즉, 정교하게 모양과 위치 정보가 결합되어 Model이 인지해야합니다.

Geometric Metrics

저자들은 사전학습된 모델들이 ImageNet-1k를 기반한 Embedding들의 통계 분포들을 계산하여 다음 3가지를 계산하였습니다.

1. Global Participation Ratio — G.PR
   (\sum{\lambda_i})^2 / (D \space \cdot \sum{\lambda_i^2})
   Embedding들의 covariance를 계산하여, 해당 공분산의 고유값들의 Paticipation Ratio를 계산합니다. 이는 분산이 많은 방향(정규 직교하는 고유 벡터 방향)으로 균등하게 퍼질 수록 큰 값을, 일부 방향에만 집중될수록 낮은 값을 보입니다.
   해당 metrics의 의미는 전역 manifold의 정규화된 effective dimensionality를 수치로 표현하며, 이 metric으로 저자가 확인하고자 한 것은 ‘전체 데이터의 표현을 주성분 방향으로 분해했을 때, 여러 방향으로 퍼진 모델이 binding도 잘하는가?’입니다.
2. Global Isotropy Score — G.Iso
   1-\lambda_1 / \sum{\lambda_i}
   동일하게 전역 Embedding들의 covariance를 기반한 고윳값들을 활용하여, 전체 분산 중 첫번째 주성분 이외의 방향에 분배된 비중을 측정합니다. 이는 첫번째 주성분이 데이터 분산 방향을 지배하는지 여부를 수치적으로 확인할 수 있습니다.
   즉, 전체 분산이 하나의 지배적인 주성분에 몰리지 않은 모델이 binding도 잘하는가를 보고자 한 것입니다.
3. Local Isotropy — L.Iso
   이는 전역 통계가 국소 구조를 뭉개버린 것이 아닌가라는 의문을 해소하고자, 설계한 metric입니다. KNN을 기반으로 국소 데이터의 covariance를 계산하여, Isotropy를 확인했습니다. 즉, 이를 통해 가까운 이웃간의 구조를 보았을 때, 분산이 여러 방향으로 퍼진 모델이 binding도 잘하는가를 보고자 한 것입니다.

Results

Table3는 여러 objective에 대한 encoder의 Geometry, Binding Accuracy, Discriminative Capacity를 report한 결과입니다.

Table2는 Table3에서 리포트한 각 모델들의 값을 기반으로 평균내어 계산한 3가지 metrics입니다.

이때, r은 각 metric들과 binding accuracy간 pearson 상관관계를 계산한 것으로, 두 연속형 변수들의 선형 관계의 강도 및 방향을 [-1,1] 범위 내로 표현한 것입니다.

p-value는 귀무가설이 참이라는 전제 하에, 관측된 결과만큼 혹은 그보다 극단적인 결과가 나타날 확률을 의미합니다. 0~1 범위의 값을 가지며, 작을수록 우연으로 관측된 결과가 아닐 확률이 높다는 의미입니다. 일반적으로 유의 수준은 0.05 또는 0.01로 설정합니다.

먼저, 해당 논문의 대립 가설은 “Geometry Metric과 Binding 사이에 관계가 있다”이며 이는 Embedding geometry가 Compositional Binding Capacity를 가늠할 수 있는 특징임을 가정한 것입니다. 따라서, 귀무가설은 “Metric과 Binding 사이에 관계가 없다”가 됩니다.

위 정의를 기반으로 Table2의 결과를 확인하면, Geometry metrics들은 Binding과의 상관관계(r)가 0.1 수준으로 매우 낮은 것을 확인할 수 있습니다. p-value 또한 0.592~0.933 범위의 값을 보이면서 귀무가설을 기각할 수 없습니다.

이에 대한 저자의 해석은 크게 두가지가 있습니다.

첫번째, G.PR, G.Iso의 낮은 상관관계는 Global Effective Dimensionality는 Compositionality 구조와 관계가 없을 시사한다는 점입니다. 즉, Global Manifold에서의 균등함이 downstream에서 안정적이고 전이 가능함을 보인다고 할 수 있지만, Compositionality를 가늠하기는 어렵다는 의미입니다.

두번째, 이는 비단 Global 뿐 아니라 Local Manifold에서도 isotropic factor들을 잘 분리하였으나, high local dimensionality는 여전히 binding의 충분 조건이 되지 못함을 시사합니다.

Functional Sensitivity

‘The Limit of Geometry’ 섹션에서 정적인 기하학적 구조는 Compositional Capacity를 예측하는데 적합하지 않음을 보였습니다.

이에 저자들은 Binding이 가능한 모델이라면 input-output mapping에서 높은 effective dimensionality를 유지하여 여러 독립적인 변화를 표현할 수 있어야 한다는 가설을 세웠습니다. 즉, 저자들은 embedding의 기하학적 구조를 보는 것이 아닌, Encoder가 input을 encode하는 과정에서 생기는 functional sensitivity를 보고자 한 것입니다.

해당 가설을 확인하기 위해, functional sensitivity 정도를 측정할 Metric을 정의해야 했습니다. 저자들은 이를 위해 Jacobian Effective Rank를 제안하였습니다.

JER ; Jacobian Effective Rank

Encoder f : \mathbb{R^M} \rightarrow \mathbb{R^D}, 이에 대한 Jacobian matrix를 J_f(x) = \frac{\partial f(x)}{\partial x} \in \mathbb{R^{D\times M}} 로 정의합니다.

이때, Jacobian matrix는 input-output 간의 비선형 변환 관계를 선형 근사를 통해 행렬로 표현한 것입니다. 일반적으로 테일러 급수를 통해 선형 근사를 수행하는데, 유한차분법(finite difference method)를 사용합니다. 유한차분법을 사용하기 위해서는 input image에 명시적인 perturbation(x + \epsilon v)을 적용해야 합니다. 하지만, 다행히도 신경망은 chain-rule을 기반한 자동미분(Automatic Differetiation)를 사용하기 때문에, 명시적 perturbation을 필요로 하지 않습니다. 다만, 224 x 224 RGB 이미지 기준 input의 차원은 \mathbb{R^150,528}을 가지기 때문에, input 차원을 그대로 활용하여 Jacobian matrix를 구하는 것은 매우 부담이라고 언급합니다. 따라서 저자는 32개의 random orthogonal direction의 perturbation vector v \in \mathbb{R^{150,528 \times 32}} 를 통해 일부 방향에 대해서만 effective rank를 확인하였습니다.

(저자가 논문에서 언급하는 perturbation이 이해가 되지 않았었기 때문에, 추후 읽으실 분들을 위해 정리하였습니다.)

이때, Jacobian의 특잇값은 local input-output sensitivity를 나타냅니다. 특잇값의 각각의 크기는 embedding의 각 축에 대한 변화량을 함축하며, 값이 클수록 더 큰 1차 변화를 보입니다. (Jacobian matrix는 hessian matrix와 다르게 1차 변화에 대한 정보를 함축합니다.)

G.PR의 경우 embedding의 공분산에 대한 고윳값을 계산함으로써 Embedding의 기하학적 분포가 몇 개의 방향으로 고르게 퍼져있는지 확인합니다. 반면, JER은 input-output에 대한 jacobian matrix의 특잇값ㅇ르 계산함으로써 input의 변화(perturbation)가 출력(embedding)에 몇개의 반향을 통해 전달되는지 확인합니다.

Results

저자는 해당 Section에서도 r과 p-value를 기반으로 Compositional Capacity와의 관계를 확인하고자 합니다. JER를 기반으로 Binding과의 관계를 보고자 했기 때문에, 귀무가설은 ‘Functional Sensitivity가 Binding과 서로 관계가 없다’ 입니다.

Table 2의 결과를 확인하였을 때, JER의 경우 r= 0.69로 binding과 높은 상관관계를 보이며, p-value또한 0.0001로 매우 낮습니다. 따라서, 귀무가설을 기각하고, 대립가설인 ‘Functional Sensitivity는 Binding과 관계가 있다’이 성립함을 알 수 있습니다. JER_null의 경우 random init된 상태의 모델에서 측정된 JER 값입니다. 하지만, 직관과는 다르게 랜덤으로 초기화 한 Encoder에도 높은 값을 보입니다. 저자는 학습된 encoder의 JER값인 JER_trained과의 차를 ΔJER로 표현하는데, 해당 값의 평균이 -12.46입니다. 하지만, null의 경우 상관관계가 없고, 차이의 경우 상관관계가 높습니다. 이를 통해 Encoder의 초기상태에서 다양한 방향으로 Embedding을 표현할 잠재력을 갖고 있으나, 학습하는 과정에서 functional effective rank를 상실한다는 의미로 해석 할 수 있습니다. 또한, 단순히 Effective Rank가 크다고 compositional binding capacity가 생기는 것은 아니며, functional effective rank를 학습 과정에서 ‘덜’ 소실한 모델이 binding 성능이 좋은 ‘경향’이 있다는 것으로 해석할 수 있습니다.

이러한 경향은 모델 각각의 성능에서 확인할 수 있습니다. variance-decorrelation objective로 학습한 모델(e.g. Barlow Twins, VICReg)의 경우 높은 effective rank(~28.8)를 보이며 좋은 binding 성능(~44%)를 보입니다. 반대로, contrastive model(e.g. CLIP)의 경우 rank가 collapse(~20)되었고, near-chance binding 성능(~13%)을 보입니다.

마지막으로 R2 성능을 리포팅합니다. Metric을 기반으로 회귀모델을 구성해 각 모델들의 binding 성능 차이에 대한 예측을 R2 score를 측정합니다. 이는 Metric이 모델의 binding 점수의 모델 간 변동을 선형적으로 설명하는데 얼마나 유용한지 나타내는 지표라고 생각하면 됩니다. JER 단독으로 R2를 측정했을 때 0.47이고, JER + Disc로 R2를 측정했을 때 0.74를 보입니다. 이는 Compositionality가 단지 functional sensitivity(JER)로만 판단되는 것이 아니라 discriminative capacity에도 의존하는 것으로 해석할 수 있습니다.

Further Analysis

Qualitative Study

Section 3에서 사용한 Attribute Binding 데이터에 대한 정성적 분석을 수행하였습니다. Figure 6에서 보이듯, Variance-Decorrelation 모델(e.g. Barlow Twins, VICReg)의 경우 잘 retrieval 하는 것을 확인할 수 있으나, CLIP, DINOv2, MAE 의 경우 object 존재에 대해서는 인지하나, 올바른 positional binding을 선택하지 못 합니다.

이러한 실패는 낮은 유사도의 문제가 아니라고 저자는 언급한다. CLIP, DINOv2, MAE 모델들이 retrieval한 이미지와의 유사도는 높은 것을 확인할 수 있습니다. 이는 모델들이 image를 인지함에 있어서 어떻게 유사한지 구별하기보다, 전역적인 유사성(globally similar)을 기반으로 판단한다고 해석할 수 있습니다. 즉, 높은 유사도는 올바른 compositional understanding을 한다고 단정할 수 없습니다.

Natural Image Compositional Bench

저자는 해당 결과가 단순 synthetic data에만 한정되는 지 확인하고자, JER이 natural image compositional benchmark(SugarCrepe)의 성능도 예측하는지 실험하였습니다.

이때, Vision-Language alignment가 필요하기 때문에, 앞서 실험한 Encoder들 중 일부는 제외하였다고 언급합니다.

Result

해당 결과에서 볼 수 있듯, SugarCrepe에서도 JER과의 상관관계가 높은 것을 확인할 수 있습니다. 다만, ImageNet의 Zero-shot 성능에 대해서도 상관관계가 높은 것을 확인할 수 있습니다. 저자는 여기서 해당 상관관계는 Zero-shot 성능에 의한 상관관계인지, Functional Sensitivity에 의한 상관관계인지 분리하고자 하였습니다. 따라서, JER과 Zero-shot Capacity를 각 단일 변수로 상관관계를 계산하였습니다. 결과적으로 Zero-shot은 JER보다 0.36 정도 더 ‘낮은’ 상관관계를 보이는 것을 확인할 수 있으며, ‘높은’ p-value로 통계적으로 유의미하지 않음을 보입니다. 따라서, 모델의 구조나 Zero-shot 성능에 관계 없이 JER이 높을수록 Binding을 잘 한다는 관계를 가진다고 해석할 수 있습니다. 다만, 이는 실험의 대상 13개의 CLIP 계열의 결과 이므로, CLIP-family scope로 범위를 제한한다고 합니다.

Objective-Sensitivity Alignment

지금까지 실험 전개들을 기반으로 한가지 의문이 생깁니다. 학습 Objective에 따라 JER이 달라지는 이유가 무엇인가? 입니다. 따라서 저자는 앞서 관찰한 JER과 Binding과의 관계를 Objective 관점에서 추가로 해석합니다.

Local Sensitivity under Augmentation

Encoder를 f : \mathbb{R^n} \rightarrow \mathbb{R^d}, 입력 x에 대한 Representation을 z = f(x)로 정의합니다.

이때, 앞서 정의한 것과 다르게, 학습 중에 Embedding에 적용되는 constraint를 Jacobian 구조에 어떻게 연결될 수 있는지 확인하기 위해 직접적인 augmentation을 고려합니다. 따라서, x' = x + \delta로 정의할 수 있습니다. (이때, 여러 augmentation에 대해 다음이 성립합니다. \mathbb{E[\delta] = 0}, \text{covariance} \Sigma_{\delta})

이후, Encoder Jacobian(J(x) = \partial f / \partial x)을 통해 z' \approx z + J(x)\delta 다음과 같이 근사할 수 있습니다. 이에 Cov_{\delta}(z'|x)를 공분산 공식에 의해 다음과 같이 정의할 수 있습니다.

Cov_{\delta}(z'|x) \approx J(x)\Sigma_{\delta}J(x)^{\top}

이를 통해 고정된 x에서 여러 augmentation에 의해 발생하는 표현의 공분산을 Jacobian과 입력 perturbation의 공분산으로 나타낼 수 있습니다. 이 관계는 feature 통계에 작용하는 Objective를 Jacobian의 구조와 연결하는 기반이 됩니다.

Which Functionals Are Constrained by the Objective?

앞선 정의를 기반으로, 저자는 objective마다 Jacobian의 어떤 측면을 제약하는지 분석합니다. 입력 perturbation에 대한 loss의 1차 변화는 다음과 같이 표현할 수 있습니다.

\Delta \mathcal{L} \approx (\nabla_z \mathcal{L})^{\top}J(x)\delta

이는 입력 변화가 representation에 전달되더라도, 그 변화 중 현재 loss gradient와 정렬된 성분이 loss의 1차 변화에 반영된다는 의미입니다. 저자는 이를 바탕으로 objective가 요구하는 방향에 따라 학습되는 민감도 구조가 달라질 수 있다고 설명합니다.

특히 variance–decorrelation objective는 feature의 분산을 유지하고 feature 간 상관을 줄이는 통계적 제약을 준다는 점에서 다른 objective와 차이가 있습니다. 앞선 국소 근사에 따르면 augmentation에 따른 feature 공분산은 J(x)\Sigma_\delta J(x)^{\top}로 표현됩니다. 저자는 isotropic perturbation을 가정할 때, 이러한 공분산에 대한 제약이 서로 다른 feature의 입력 민감도 사이의 상관을 줄여 여러 민감도 방향을 유지하도록 유도할 수 있다고 해석합니다.

반면 다른 objective들은 Discrimination, Alignment, Reconstruction에 필요한 방향을 중심으로 민감도를 제약합니다. Contrastive·Clustering objective는 샘플이나 prototype을 구별하는 방향을, Vision–language objective는 텍스트 embedding이 제공하는 의미적 방향을, Supervised classification은 클래스를 구별하는 방향을 강조합니다. Masked prediction objective는 Reconstruction을 요구하지만, Jacobian의 상대적인 특이값 구조를 직접 결정하지는 않는다고 설명합니다.

따라서 저자는 앞서 관찰한 JER의 차이를 각 objective가 어떤 민감도를 유지하도록 요구하는가의 차이로 해석합니다. 다만 JER은 민감도가 여러 방향에 얼마나 고르게 분포하는지를 나타내는 지표이므로, 보편적인 representation quality의 척도로 해석해서는 안 된다고 강조합니다.

Conclusion

본 논문은 global embedding geometry만으로 compositional binding 능력을 충분히 설명할 수 있는지 검토합니다. 26개의 vision encoder를 분석한 결과, 기존 geometry 기반 지표는 binding 성능과 유의미한 상관 관계를 보이지 않았지만, input–output Jacobian을 통해 측정한 functional sensitivity는 binding 성능과 관련성을 보였습니다.

저자는 단순히 Metric간의 관계 분석에 그치지 않고, 학습 objective가 global geometry와 local input–output sensitivity를 제약하는 방식의 차이에서 기인한다고 해석합니다. 따라서 representation의 compositional capability를 평가하려면 embedding의 전역적인 분포뿐 아니라, 입력 변화에 대한 functional sensitivity도 함께 고려해야 한다는 점을 보였습니다.

---

해당 논문을 읽을 때, 개인적으로 수학적 개념들을 이해하는데 굉장히 어려움을 느꼈습니다. 기존에 공부했던 딥러닝 모델들은 대게 blackbox라는 큰 벽이 있고, 해석하기 어렵다는 부분이 있었는데, 최근들어 Rerpesentation을 다양한 방식으로 해석 및 분석하려는 시도들이 꽤나 흥미롭게 다가오는 것 같습니다.

수학적 내용이 많아, 사전 정의들과 내용들을 복잡하게 구성한 것 같습니다. 설명이 부족하거나 오류가 있는 부분은 댓글로 알려주시면 감사하겠습니다.

읽어주셔서 감사합니다!