Author: 정 의철
[2023 ICLR] WHEN AND WHY VISION-LANGUAGE MODELS BE- HAVE LIKE BAGS-OF-WORDS, AND WHAT TO DO ABOUT IT?
안녕하세요 정의철 연구원입니다. 이번에 소개할 논문은 VLMs들이 단어의 순서나 관계에 대해 민감하지 않음을 문제 삼아 분석한 논문입니다. 최근 많은 비전-언어 모델(VLMs)이 다양한 테스크에 활용되고 있지만,…
[2023 ICLR ] CLIP-VIP: ADAPTING PRE-TRAINED IMAGE-TEXT MODEL TO VIDEO-LANGUAGE ALIGNMENT
이번에 소개할 논문은 CLIP 모델을 대규모 비디오 데이터로 post-pretraining하여 비디오-텍스트 작업에서 성능을 향상시키는 방법을 제안한 논문입니다. 먼저, 기존 CLIP 모델을 비디오 데이터로 학습할 때 발생하는…
[EMNLP 2023] ROME: Evaluating Pre-trained Vision-Language Models on Reasoning beyond Visual Common Sense
안녕하세요 이번에 소개할 논문은 사전 학습된 비전-언어 모델(VLMs)이 단순한 시각적 상식을 넘어선 복잡한 추론 능력을 평가하기 위해 새로운 데이터셋인 ROME과 평가 프레임워크를 제안한 논문입니다. 연구의…
[2023 CVPR] Prototype-based Embedding Network for Scene Graph Generation
안녕하세요 이번에 소개할 논문은 sgg task의 논문으로 unbiased 관계 예측을 해결하기 위해 제안된 모델입니다. SGG에서는 종종 특정 관계나 객체 쌍에 대한 데이터의 불균형이 발생하여, 모델이…
[2021 CVPR] Probabilistic Modeling of Semantic Ambiguity for Scene Graph Generation
안녕하세요 이번에 소개할 논문은 SGG 논문으로 Long-tail 문제를 완화하기 위해 제안된 논문입니다. 구체적으로 기존의 SGG 모델은 의미적 모호성을 충분히 처리하지 못하고, 단일한 결정론적 관계만을 예측하려고…
[ECCV 2022] Towards Open-Vocabulary Scene Graph Generation with Prompt-based Finetuning
안녕하세요 이번에 소개할 논문은 기존의 Scene Graph Generation이 사전 정의된 객체 클래스들 사이의 관계만을 예측하는 한계를 해결하기 위한 새로운 접근 방식을 제안한 연구입니다. 이 논문은…
[2024 CVPR] From Pixels to Graphs: Open-Vocabulary Scene Graph Generation with Vision-Language Models
안녕하세요 이번 리뷰에서는 Scene Graph Generation (SGG) 분야의 논문을 다뤄보고자 합니다. 이전의 SGG 연구들은 주로 closed set 상황에서 발생하는 문제, long-tailed data bias 및 라벨링…
[CVPR 2023]SeiT: Storage-Efficient Vision Training with Tokens Using 1% of Pixel Storage
안녕하세요 이번에 소개할 논문은 2023년 네이버 AI에서 발표한 논문으로 지난 KCCV 학회에 참관했을때 포스터 섹션에서 본 논문입니다. 이 논문에서는 이미지넷과 같이 저장 공간이 많이 필요한…
[NIPS 2023] Understanding the latent space of diffusion models through the lens of riemannian geometry
안녕하세요, 정의철 연구원입니다. 이번에 소개할 논문은 지난번 KCCV 학회에 참관했을 때 포스터 세션에서 접하게 된 논문인데, 제목은 ‘Latent Space Geometry in Diffusion Models’입니다. 이 논문은…
최신 댓글