Author: 홍 주영

오늘 리뷰할 논문은 이미지-텍스트 사전학습 모델인 CLIP을 비디오-텍스트 검색(Video-Text Retrieval)으로 확장한 모델인 CLIP4Clip에 관한 것입니다. 저자는 CLIP의 강력한 멀티모달 표현력을 활용하면서도, 비디오라는 시간 정보를 가진…

오늘도 Open-vocabulary Scene Graph Generation (Ov-SGG) 에 대한 논문을 리뷰하겠습니다. Ov-SGG에서는 학습 때 보지 못한 객체(object)나 객체 사이의 관계(relation)도 예측해야 합니다. 저는 현재 이 novel…

오늘 리뷰할 논문은 Vision-Language Models(VLM)의 Compositional Reasoning 능력을 향상시키면서 멀티모달 성능을 유지하는 방법에 대한 것입니다. Compositional Reasoning이란 개별 요소(예: 단어, 이미지 특징 등)를 조합해 새로운…

오늘 리뷰할 논문은 Vision-Language Pre-training(VLP) 과정에서 발생하는 “false negatives” 문제를 다룹니다. Vision Language Model (VLM)은 웹에서 수집한 이미지-텍스트 페어를 활용해 학습합니다. 학습 시, 하나의 이미지에…

오늘 리뷰할 논문은 Vision-Language Models(VLM)에서 발생하는 object hallucination 문제를 찾고, 이를 완화하는 방법에 대해 다룹니다. VLM은 이미지 캡셔닝, 시각적 질문 응답 등 다양한 작업에서 뛰어난…

벌써 저의 박사과정 1년차가 마무리되었습니다. 2024년이 끝나가는 지금, 한 해를 돌아보는 시간을 가져보려고 합니다. 🎆 2023년 다짐의 달성률은? 지난 해 2023년을 마무리하며, 2024년에 이루길 바란…

이번에는 하이퍼볼릭 임베딩을 활용한 이미지-텍스트 데이터 필터링에 대한 논문을 리뷰해보겠습니다. 보다 구체적으로 말하자면, 단순히 이미지-텍스트 사이의 정렬만 집중하는 것이 아닌 CLIP에 Hyperbolic Embedding을 추가하여 데이터의…

오늘은 Open-vocabulary Scene Graph Generation 에 대한 논문을 리뷰해보겠습니다. 해당 논문은 Grounding DINO를 Open-vocabulary SGG를 위해 개선한 논문입니다. 앞으로 진행할 연구의 베이스라인이 되는 논문으로, 아마…

지난번 리뷰에서 Grounding DINO 라는 최신 VLM 모델에 대해 다루면서, GLIP이라는 방법론을 간단하게 설명했었습니다. 단순하게 다루고 넘어가기엔, 어찌보면 CLIP 이후로 등장한 VLM의 근본이 되는 그런…

저는 다시 Vision Language Model (VLM) 에 대한 리뷰를 진행해보도록 하겠습니다. VLM의 근본, 조상 격인 CLIP에 대한 리뷰는 아래 링크에서 확인하실 수 있으니, 아직 CLIP에…