오늘은 object-centric representation이 정말로 composition 능력에 강인한가? 에 대해 분석한 논문을 리뷰해보겠습니다.

---

• Venue: ICML 2026
• Authors: Ferdinand Kapl, Amir Mohammad Karimi Mamaghan, Maximilian Seitzer, Karl Henrik Johansson, Carsten Marr, Stefan Bauer, Andrea Dittadi
• Affiliation: Technical University of Munich,
• Title: Are Object-Centric Representations Better At Compositional Generalization?, arxiv 2026

---

0. Background

본격적인 리뷰에 앞서, 이 논문이 다루는 compositional generalization 문제를 먼저 살펴보겠습니다.

Compositional generalization은 모델이 이미 알고 있는 개념들을 새로운 방식으로 조합했을 때도 잘 이해할 수 있는지를 의미합니다. 예를 들어 학습 중에는 red cube와 blue sphere만 봤다고 해봅시다. 이때 테스트에서 blue cube가 등장해도, 모델은 blue라는 속성과 cube라는 object를 각각 알고 있으므로 이를 올바르게 이해할 수 있어야 합니다.

문제는 최신 VLM 역시 이렇게 속성과 object 를 결합해서 이해하는 binding 능력이 취약하다는 걸 보여왔다는 점이죠. 위에 보시면, road 와 house 에 대응되는 수식어를 서로 바꿨음에도, VLM들은 이를 구분해내지 못했다고 합니다.

이 지점에서 자연스럽게 등장한 아이디어가 object-centric representation 이라고 합니다. 이는 scene을 객체들의 집합으로 표현하는 방법인데, 예를 들어, 위에 이미지처럼 공, 큐브, 원기둥이 있다면 각각을 *slot-attention을 활용하여 slot vector에 나눠 담는 식입니다. 이렇게 object 단위로 이미지를 이해하다보니, object와 attribute 조합이 바뀌더라도 잘 처리하지 않을까? 라는 기대가 전부터 있었다고 하죠
*[NIPS 2020] Object-Centric Learning with Slot Attention

그런데 정말 그럴까요?

바로 이 질문이 논문의 시작입니다: “Object-centric representation은 dense representation보다 compositional generalization을 더 잘할까?”

(결론부터 말하면, 저자들의 답은 “항상 그렇지는 않다”에 가깝습니다. 저자들의 분석은 이번 리뷰에서 함께 알아보겠습니다)

1. Introduction

문제는 앞선 질문에 대한 답변을 기존 연구만으로는 확인하기 어렵다고 합니다. 기존 object-centric compositionality 평가는 주로 object 개수가 바뀌는 상황을 보거나, 너무 단순한 synthetic image에서만 평가되거나, generative model에 특화된 protocol을 사용한 경우가 많았습니다. 즉, visually rich하면서도 조합을 정확히 통제할 수 있는 setting에서, dense representation과 object-centric representation을 공정하게 비교한 연구는 부족했다는 것이죠

그래서 이 논문은 object-property composition에 집중하였습니다. 여기서 말하는 object-property composition은 새로운 object category를 보는 것이 아니라, 이미 본 적 있는 property들의 새로운 조합을 보는 것입니다. 학습 때 red cube, blue sphere를 봤다면, 테스트 때 blue cube를 맞히는 식이죠

따라서 저자들은 object-centric이 compositional generalization을 잘하는지를 살펴보기 위해 먼저 benchmark를 만들고, 그 데이터셋을 가지고 dense representation 과 object-centric 과 비교하며 주장을 검증하고 분석한 것이 이 논문의 핵심입니다. 그럼 본격적으로 리뷰 시작하겠습니다.

2. Problem Setup

이제 논문에서 compositional generalization을 어떻게 평가했는지 살펴보겠습니다.

가장 중요한 그림은 Figure 1입니다. Figure 1의 왼쪽 상단을 보면, object가 shape과 size의 조합으로 정의되어 있습니다. 예를 들어 square-small, triangle-large 같은 조합들이 있고, 이 중 일부 조합만 train에 사용됩니다. 나머지 조합은 test에만 등장합니다.

여기서 중요한 점은 test에 등장하는 object가 완전히 새로운 것이 아니라는 점입니다. shape도 학습 중에 봤고, size도 학습 중에 봤습니다. 다만 특정 shape-size 조합만 처음 보는 것입니다. 즉 이 논문은 open-vocabulary recognition을 보는 것이 아니라, 본 적 있는 속성들을 새롭게 binding할 수 있는지를 보는 실험입니다.

2.1 Dataset Generation

논문에서는 이러한 설정을 실제로 평가하기 위해 CLEVRTex, Super-CLEVR, MOVi-C 세 가지 synthetic visual world를 사용했습니다. 각 데이터셋은 object를 여러 property의 조합으로 정의합니다. 예를 들어 CLEVRTex에서는 shape, size, material의 조합으로 object가 정의되고, Super-CLEVR에서는 shape, size, material, color, texture처럼 더 다양한 속성을 사용합니다.

Base dataset	데이터셋 설명	object를 정의하는 속성	조합 수
CLEVRTex	CLEVR 스타일 + texture/material 풍부	shape, size, material	8 × 3 × 8 = 192
Super-CLEVR	차량/비행기/자전거 등 더 복잡한 object	shape, size, material, color, texture	21 × 2 × 2 × 8 × 4 = 2688
MOVi-C	일상 object 중심	shape, size	36 × 3 = 108

이렇게 가능한 object-property 조합 전체를 만든 뒤, 저자들은 일부 조합만 train에 사용하고, 나머지 조합은 test에만 등장하도록 분리했습니다. 이를 논문에서는 COOD, Compositional Out-of-Distribution test라고 부릅니다. 즉, test set에 나오는 속성 자체는 학습 때 본 적 있지만, 그 속성들의 특정 조합은 학습 중 한 번도 보지 못한 것이죠.

또한 저자들은 train에서 허용되는 object-property 조합 수를 조절하여 easy, medium, hard split을 만들었습니다. 학습 데이터의 조합 다양성을 다르게 한 것인데요, 위에 그림을 보면 함께 보시죠. Easy setting에서는 train에서 볼 수 있는 조합이 많고, hard setting으로 갈수록 train에서 볼 수 있는 조합이 줄어듭니다. 따라서 hard setting에서는 모델이 더 적은 조합만 보고, test에서는 새로운 조합으로 일반화해야 하므로 compositional generalization이 더 어려워집니다.

2.2 Evaluation

평가 방식은 VQA 형태를 사용했다고 합니다. 기존에는 단순히 image classification을 했다는 것과는 다르게 조금 더 복합적인 이해를 요하는 것으로 바뀌었는데, 예를 들어
– 작은 물체의 shape은 무엇인가?
– 오른쪽에 있는 object의 size는 무엇인가?
– 몇 개의 object가 있는가?
같은 질문을 만들고, image representation과 question representation을 downstream Transformer에 넣어 답을 맞히게 했다고 합니다. (Downstream model은 작은 2-layer Transformer인 TF2와, 더 큰 5-layer Transformer인 TF5를 사용.)

즉 전체 실험 구조를 간단히 정리하면 다음과 같습니다.

1. object-property 조합으로 visual world 데이터셋 생성
2. 일부 조합만 train에 사용하고, 나머지는 COOD test
3. 각 이미지에 대해 VQA question-answer pair를 만들기
4. dense (DINOv2, SigLIPv2) vs object-centric(DINOSAURv2, SigLIPSAUR2) 비교
5. ID test와 COOD test에서 어느 representation이 더 잘 일반화하는지 비교 분석

3. Experiments

3.1 Training diversity가 줄어들면 ID는 쉬워지지만 COOD는 어려워진다

앞서 학습 데이터를 easy, medium, hard로 나눴다고 했는데요. 핵심은 train에서 허용되는 object-property 조합 수입니다. Easy setting에서는 다양한 조합을 많이 보여주고, hard setting으로 갈수록 train에서 볼 수 있는 조합 수를 줄입니다. 반면 COOD test는 train에서 보지 못한 held-out 조합으로 구성됩니다.

이 세팅은 학습 중 본 object-property 조합의 다양성이 줄어들면, 모델은 처음 보는 조합으로 얼마나 잘 일반화할 수 있을까? 를 확인하기 위함입니다. 아래 그림에 결과를 보시죠

위에 그림을 보시면, Hard로 갈수록 ID accuracy는 오히려 올라갔지만, COOD accuracy는 떨어진 것을 알 수 있습니다.

데이터 다양성이 줄어드는데 왜 ID 성능이 올라가는지 이상하게 느껴질 것 같습니다. 하지만 hard setting에서는 train에서 허용되는 조합 수가 적고, ID test도 그 좁은 조합 공간 안에서 만들어집니다. 즉 모델 입장에서는 외워야 할 조합이 줄어들기 때문에 ID task는 오히려 쉬워질 수 있죠

반대로 COOD test는 train에서 보지 못한 조합으로 구성됩니다. Hard setting에서는 모델이 더 적은 조합만 본 상태에서 새로운 조합으로 일반화해야 하므로 COOD 성능은 떨어지게 된 것이죠

여기서 저자들은 oracle baseline도 함께 확인했습니다. Oracle은 이미지 feature를 사용하는 대신, scene 안에 있는 object들의 정답 property 정보를 그대로 넣어준 모델입니다. 즉, visual representation 문제를 거의 제거한 상태라고 볼 수 있습니다.

흥미로운 점은, oracle도 ID에서는 거의 완벽한 성능을 보였지만 hard split의 COOD에서는 성능이 떨어졌다는 것입니다. 이는 COOD 성능 저하가 단순히 이미지 feature가 부족해서 생긴 문제가 아니라, 학습 중 본 object-property 조합의 다양성이 부족하면 정답에 가까운 정보를 줘도 새로운 조합으로 일반화하기 어렵다는 것을 보여줍니다.

따라서 Figure 2는 easy/medium/hard split이 단순한 데이터 구분이 아니라, training diversity에 따른 compositional generalization 난이도를 조절하는 장치임을 보여주는 결과라고 볼 수 있습니다.

정리하면, Training diversity가 낮아지면 ID는 쉬워질 수 있지만, COOD 일반화는 더 어려워진다. 따라서 compositional generalization에서는 단순한 sample 수뿐만 아니라, 얼마나 다양한 조합을 학습 중 보았는지가 중요하다.

3.2 Object-centric representation은 어려운 조합 일반화에서 더 유리하다

이제 본격적으로 dense representation과 object-centric representation을 비교해보겠습니다. 아래 테이블이 그 결과입니다.

논문에서는 dense representation으로 DINOv2와 SigLIP2를 사용했고, object-centric representation으로 DINOSAURv2와 SigLIPSAUR2를 사용했습니다. 여기서 DINOSAURv2는 DINOv2 feature를 Slot Attention bottleneck으로 object slot화한 모델이고, SigLIPSAUR2는 SigLIP2 feature를 object-centric하게 바꾼 모델입니다.

Table 1에서 가장 먼저 볼 수 있는 경향은, 작은 downstream model을 사용할 때 object-centric representation이 더 좋은 경우가 많다는 점입니다. 특히 TF2처럼 작은 Transformer를 downstream VQA model로 사용할 때, DINOSAURv2는 DINOv2보다 COOD 성능이 더 높았습니다.

Dense representation은 이미지의 정보를 많은 patch token에 풍부하게 담고 있습니다. 하지만 downstream model은 그 많은 token 속에서 어떤 object와 어떤 attribute가 연결되는지를 직접 찾아야 합니다. 즉, object-property binding을 downstream model이 스스로 배워야 합니다.

반면 object-centric representation은 이미 이미지를 object slot 단위로 나눠둡니다. 따라서 downstream model 입장에서는 scene을 더 구조화된 형태로 받게 됩니다. 특히 model capacity가 작을 때는 이런 object-level structure가 큰 도움이 될 수 있습니다.

하지만 여기서 중요한 점은, object-centric representation이 항상 이기는 것은 아니라는 것입니다. Downstream model을 TF5처럼 크게 키우면, easy setting에서는 dense representation이 object-centric representation을 따라잡거나 더 좋은 성능을 보이기도 했습니다.

즉, dense representation은 정보량이 많기 때문에, 충분한 데이터와 큰 downstream model이 있으면 object-property binding을 직접 학습할 수 있습니다. 반대로 object-centric representation은 정보량은 압축되지만, object 단위 구조를 미리 강제하기 때문에 작은 model이나 어려운 COOD setting에서 더 유리합니다.

따라서 Table 1의 결론은 단순히 “OC가 dense보다 좋다”가 아니고, Object-centric representation은 항상 더 좋은 representation이라기보다, compositional generalization이 어렵거나 downstream capacity가 제한될 때 더 강한 inductive bias를 제공한다고 볼 수 있습니다.’

3.3 Object-centric representation은 compute와 sample이 부족할 때 더 효율적이다

다음으로 저자들은 compute와 sample size 관점에서도 두 representation을 비교했습니다.

먼저 Figure 3에서는 downstream compute budget을 바꿔가며 COOD accuracy를 비교했습니다. 결과적으로 작은 compute budget에서는 object-centric representation이 dense representation보다 더 좋은 성능을 보였습니다. Dense representation은 token 수가 많고 정보량도 풍부하지만, 그만큼 downstream Transformer가 처리해야 할 정보도 많습니다. 따라서 제한된 compute에서는 그 정보를 충분히 활용하기 어렵습니다.

반면 object-centric representation은 이미 scene을 몇 개의 object slot으로 정리해두었기 때문에, 작은 downstream model에서도 비교적 효율적으로 사용할 수 있습니다. 특히 hard setting에서는 dense representation에 더 많은 compute를 주어도 object-centric representation을 넘지 못하는 경우가 있었습니다.

이 결과는 object-centric representation이 단순히 성능만 좋은 것이 아니라, compute-efficient한 representation일 수 있음을 보여줍니다.

Figure 4와 Figure 5에서는 training sample size와 diversity를 바꿔가며 실험했습니다. 여기서도 비슷한 경향이 나타났습니다. 작은 downstream model에서는 object-centric representation이 적은 sample에서도 dense representation보다 더 좋은 COOD 성능을 보였습니다. 즉, object-centric representation은 sample-efficient한 경향도 보였습니다.

하지만 저자들이 더 강조하는 것은 sample size보다 diversity입니다. 단순히 이미지를 많이 보는 것보다, 학습 중 얼마나 다양한 object-property 조합을 보았는지가 COOD 성능에 더 중요했습니다. 실제로 더 다양한 조합을 포함한 easy split에서는 일부 sample만 사용해도, 더 적은 조합을 포함한 medium split의 full data 성능을 따라잡거나 넘는 결과가 나타났습니다.

결국 Compositional generalization을 잘하려면 단순히 데이터를 많이 모으는 것만으로는 부족하고, 서로 다른 object-property 조합을 얼마나 다양하게 보여줄 수 있는지가 중요합니다.

따라서 이번 실험을 정리하면, Object-centric representation은 compute와 sample이 부족한 상황에서 더 효율적으로 작동합니다. 하지만 궁극적으로 compositional generalization을 높이기 위해서는 단순한 데이터 양보다 조합의 다양성이 중요합니다.

4. Conclusion

논문은 여기까지였습니다. 마지막으로 정리해보면, 이 논문은 object-centric representation은 dense representation보다 compositional generalization을 더 잘할까? 라는 질문에서 출발했습니다.

결과적으로 object-centric representation이 항상 더 좋은 것은 아니었습니다. Easy setting에서 충분한 training diversity와 큰 downstream model이 주어지면 dense representation도 좋은 성능을 보였습니다.

이는, Dense representation은 많은 정보를 담고 있기 때문에, 충분한 data와 compute가 있다면 downstream model이 object-property binding을 직접 학습할 수 있었던 것이죠.

하지만 조합 일반화가 어려워지거나, training diversity가 부족하거나, compute와 sample size가 제한되면 object-centric representation이 더 유리했습니다. 이는 object-centric representation이 더 많은 정보를 담고 있어서라기보다는, scene을 object 단위로 구조화하는 inductive bias를 제공하기 때문이라고 볼 수 있습니다.

---

최근 compositionality 페이퍼를 보면 이런식으로 분석을 하는 데에 초점이 맞춰져 있는 것 같습니다. 다만 Object centric에 대해서는 해당 도메인으로 학습을 진행했다는점이 저는 조금 아쉬웠는데, ICLR에서 떨어진 이유 역시 이 문제가 하나 있더군요.

뿐만 아니라 1) 합성데이터에서만 실험을 했다는 점 2) 평가방식이 조금 더 복잡해지기는 했지만 기존 연구와 큰 차이가 없다는점 역시 지적받았습니다. 앞으로 이런 리뷰를 고려하여 실험을 설계해야겠다 생각이 드네요 이상 리뷰 마치겠습니다