Author: 홍 주영
[Arxiv 2025] Common Data Properties Limit Object-Attribute Binding in CLIP
‘CLIP이 Object-Attribute Binding을 잘하지 못하는 이유는 모델 구조의 한계일까, 아니면 학습 데이터가 애초에 Binding을 배울 필요가 없도록 구성되어 있기 때문일까?’ 에 대한 의문을 던진 논문을…
[COLM 2026] The Cost of Language: Centroid Erasure Exposes and Exploits Modal Competition in Multimodal Language Models
1. MLLM은 이미지를 얼마나 보고 있을까? 다들 아시겠지만, MLLM은 이미지와 텍스트를 함께 입력받아 질문에 답합니다. 그런데 이미지를 입력받는다는 것이, 시각 정보를 충분히 활용한다는 뜻일까요? 기존…
[Arxiv 2026] Support×Operation Factorization: Compositional Readout of Frozen Vision Encoders under Controlled Interventions
1. Vision Encoder는 정말 Compositional할까? 최근 DINOv3나 SigLIP2와 같은 Vision Encoder들은 이미지의 객체, 위치, 속성 등 다양한 정보를 상당히 잘 표현한다고 알려져 있습니다. 그렇다면 여기서…
[ECCV 2026] What CLIP Knows but Cannot Say: Recovering Negation from Frozen Intermediate Features
최근 집중해서 보고있는 주제인 Composition의 원인을 VLM의 layer 별로 분석한 연구입니다. ECCV Oral 로 선정되었습니다 1. CLIP은 not을 이해하지 못한다? 다들 아시겠지만, CLIP과 같은 Vision-Language…
2026년 상반기 회고 – 홍주영
들어가며 벌써 2026년의 절반이 지나갔습니다. 작년 회고에서 저는 스스로를 ‘시동이 오래 걸리는 사람’이라고 적었던 기억이 납니다. 연구에 한번 빠지면 그것만 계속 생각하는 편인데, 정작 그…
[CVPR 2025] Assessing and Learning Alignment of Unimodal Vision and Language Models
오늘은 조금 흥미로운 논문이 있어 읽어보았습니다. 많은 논문들이 택하는 CLIP에 DINOv2를 보조적으로 붙이는 방식에서 벗어나, DINOv2 자체를 Language space와 직접, 그리고 매우 효율적으로 정렬하는 방법을…
[ICLR 2026] Learning to See Before Seeing: Demystifying LLM Visual Priors from Language Pre-training
이번에 리뷰하려는 페이퍼는 텍스트로만 학습된 LLM이 이미지를 전혀 보지 않고도 시각적 사전 지식인 Visual Priors 를 이미 가지고 있다는 것을 밝힌 논문입니다. 1. 이미지 없이,…
[EMNLP 2022] Why is Winoground Hard? Investigating Failures in Visuolinguistic Compositionality
오늘은 다소 오래된 논문을 하나 리뷰해보려고 합니다. 최근 Winoground 데이터셋을 활용해 간단한 feasibility 실험을 진행했는데, 예상보다 성능이 상당히 저조했습니다. 마침 이러한 Winoground의 낮은 성능이 어디에서…
[NeurIPS 2024] SUGARCREPE++ Dataset: Vision-Language Model Sensitivity to Semantic and Lexical Alterations
저는 최근 VLM의 일반화 능력에 관한 논문을 보면서, 막연하게 “VLM은 유의어나 서로 다른 표현을 같은 의미로 이해할 수 있을까?”라는 의문을 가지고 있었습니다. 이러한 의문이 들었던…
[ICML 2026] Adaptive Token Refinement in Long-Tailed Large Vision-Language Models Fine-Tuning
대부분의 모델이 가지는 long-tailed 문제를 해결하려고 한 ICML 논문에 대해 리뷰해보겠습니다. Venue: ICML 2026Authors: Wenjun Miao, Mingda Li, Yanchao Hao, Zheng WeiAffiliation: Beihang University (Beijing), Tencent…
안녕하세요 희승님 좋은 댓글 감사합니다. concept vector를 동일한 concept을 포함한 이미지 임베딩의 평균으로 추정하는 걸로 이해했는데 예를들어 blue bird 이미지가…