Author: 정 의철
[2025 WACV] Enhancing Scene Graph Generation with Hierarchical Relationships and Commonsense Knowledge
안녕하세요. 이번에 소개할 논문은 Scene Graph Generation 분야의 논문으로, 계층적 관계와 상식 검증 두 가지 방법을 통해 Scene Graph Generation의 성능을 높이고, 잘못된 예측을 줄이는…
[2024 CVPR] The Neglected Tails in Vision-Language Models
안녕하세요 이번에 소개할 논문은 Vision-Language Models(VLMs)에서 발생하는 long-tailed 문제를 다룬 논문입니다. long-tailed 문제란 학습 데이터에 특정 클래스나 concept(클래스와 유사한 개념)이 적게 포함되어 모델 성능이 불균형해지는…
[2024 EACL] Does CLIP Bind Concepts? Probing Compositionality in Large Image Models
안녕하세요. 이번에 소개할 논문은 CLIP과 같은 대규모 VLM에서 compositional 표현 능력을 분석하고 그 한계를 평가하는 논문입니다. 연구의 주요 목표는 CLIP이 시각적으로 다양한 객체와 속성 개념을…
[2023 ICLR] WHEN AND WHY VISION-LANGUAGE MODELS BE- HAVE LIKE BAGS-OF-WORDS, AND WHAT TO DO ABOUT IT?
안녕하세요 정의철 연구원입니다. 이번에 소개할 논문은 VLMs들이 단어의 순서나 관계에 대해 민감하지 않음을 문제 삼아 분석한 논문입니다. 최근 많은 비전-언어 모델(VLMs)이 다양한 테스크에 활용되고 있지만,…
[정의철] 2024년 마무리
2024년은 연구실에서 많은 경험을 하고, 다양한 기회를 접할 수 있었던 값진 한 해였습니다. 상반기와 하반기를 나누어 돌이켜보면, 각 시기마다 새로운 도전과 배움의 순간들이 가득했던 것…
[2023 ICLR ] CLIP-VIP: ADAPTING PRE-TRAINED IMAGE-TEXT MODEL TO VIDEO-LANGUAGE ALIGNMENT
이번에 소개할 논문은 CLIP 모델을 대규모 비디오 데이터로 post-pretraining하여 비디오-텍스트 작업에서 성능을 향상시키는 방법을 제안한 논문입니다. 먼저, 기존 CLIP 모델을 비디오 데이터로 학습할 때 발생하는…
[EMNLP 2023] ROME: Evaluating Pre-trained Vision-Language Models on Reasoning beyond Visual Common Sense
안녕하세요 이번에 소개할 논문은 사전 학습된 비전-언어 모델(VLMs)이 단순한 시각적 상식을 넘어선 복잡한 추론 능력을 평가하기 위해 새로운 데이터셋인 ROME과 평가 프레임워크를 제안한 논문입니다. 연구의…
[2023 CVPR] Cap4Video: What Can Auxiliary Captions Do for Text-Video Retrieval?
안녕하세요. 이번에 리뷰할 논문은 기존의 텍스트-비디오 검색 방식에서 한 단계 발전하여, 비디오에 포함된 관련 텍스트 정보(예: 제목, 태그, 자막)를 활용하여 텍스트 쿼리를 더 효과적으로 매칭하는…
[2023 CVPR] Prototype-based Embedding Network for Scene Graph Generation
안녕하세요 이번에 소개할 논문은 sgg task의 논문으로 unbiased 관계 예측을 해결하기 위해 제안된 모델입니다. SGG에서는 종종 특정 관계나 객체 쌍에 대한 데이터의 불균형이 발생하여, 모델이…
[2021 CVPR] Probabilistic Modeling of Semantic Ambiguity for Scene Graph Generation
안녕하세요 이번에 소개할 논문은 SGG 논문으로 Long-tail 문제를 완화하기 위해 제안된 논문입니다. 구체적으로 기존의 SGG 모델은 의미적 모호성을 충분히 처리하지 못하고, 단일한 결정론적 관계만을 예측하려고…
안녕하세요. 리뷰 읽어주셔서 감사합니다. 아, 네 제가 여태 몇 번 리뷰와 세미나를 이 주제로 하며 새로운 Pruning 전략이 아니면 짚고…