Author: 홍 주영

Posted in X-Review

[Arxiv 2024] Relation-aware Hierarchical Prompt for Open-vocabulary Scene Graph Generation

오늘도 Open-vocabulary Scene Graph Generation (Ov-SGG) 에 대한 논문을 리뷰하겠습니다. Ov-SGG에서는 학습 때 보지 못한 객체(object)나 객체 사이의 관계(relation)도 예측해야 합니다. 저는 현재 이 novel…

Continue Reading
Posted in Conference X-Review

[EMNLP 2024] Preserving Multi-Modal Capabilities of Pre-trained VLMs for Improving Vision-Linguistic Compositionality

오늘 리뷰할 논문은 Vision-Language Models(VLM)의 Compositional Reasoning 능력을 향상시키면서 멀티모달 성능을 유지하는 방법에 대한 것입니다. Compositional Reasoning이란 개별 요소(예: 단어, 이미지 특징 등)를 조합해 새로운…

Continue Reading
Posted in Conference X-Review

[CVPR 2024] MAFA: Managing False Negatives for Vision-Language Pre-training

오늘 리뷰할 논문은 Vision-Language Pre-training(VLP) 과정에서 발생하는 “false negatives” 문제를 다룹니다. Vision Language Model (VLM)은 웹에서 수집한 이미지-텍스트 페어를 활용해 학습합니다. 학습 시, 하나의 이미지에…

Continue Reading
Posted in Conference X-Review

[EMNLP 2024] Investigating and Mitigating Object Hallucinations in Pretrained Vision-Language (CLIP) Models

오늘 리뷰할 논문은 Vision-Language Models(VLM)에서 발생하는 object hallucination 문제를 찾고, 이를 완화하는 방법에 대해 다룹니다. VLM은 이미지 캡셔닝, 시각적 질문 응답 등 다양한 작업에서 뛰어난…

Continue Reading
Posted in X-Diary

[홍주영] 2024년을 보내면서

벌써 저의 박사과정 1년차가 마무리되었습니다. 2024년이 끝나가는 지금, 한 해를 돌아보는 시간을 가져보려고 합니다. 🎆 2023년 다짐의 달성률은? 지난 해 2023년을 마무리하며, 2024년에 이루길 바란…

Continue Reading
Posted in Conference X-Review

[ECCV 2024] HYPE: Hyperbolic Entailment Filtering for Underspecified Images and Texts

이번에는 하이퍼볼릭 임베딩을 활용한 이미지-텍스트 데이터 필터링에 대한 논문을 리뷰해보겠습니다. 보다 구체적으로 말하자면, 단순히 이미지-텍스트 사이의 정렬만 집중하는 것이 아닌 CLIP에 Hyperbolic Embedding을 추가하여 데이터의…

Continue Reading
Posted in X-Review

[ECCV 2024] Expanding Scene Graph Boundaries: Fully Open-vocabulary Scene Graph Generation via Visual-Concept Alignment and Retention

오늘은 Open-vocabulary Scene Graph Generation 에 대한 논문을 리뷰해보겠습니다. 해당 논문은 Grounding DINO를 Open-vocabulary SGG를 위해 개선한 논문입니다. 앞으로 진행할 연구의 베이스라인이 되는 논문으로, 아마…

Continue Reading
Posted in X-Review

[CVPR 2022] Grounded Language-Image Pre-training

지난번 리뷰에서 Grounding DINO 라는 최신 VLM 모델에 대해 다루면서, GLIP이라는 방법론을 간단하게 설명했었습니다. 단순하게 다루고 넘어가기엔, 어찌보면 CLIP 이후로 등장한 VLM의 근본이 되는 그런…

Continue Reading
Posted in X-Review

[ECCV 2024] Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection

저는 다시 Vision Language Model (VLM) 에 대한 리뷰를 진행해보도록 하겠습니다. VLM의 근본, 조상 격인 CLIP에 대한 리뷰는 아래 링크에서 확인하실 수 있으니, 아직 CLIP에…

Continue Reading
Posted in Paper X-Review

[CVPR 2022] Entropy-based Active Learning for Object Detection with Progressive Diversity Constraint

오랜만에 Object Detection을 위한 Active Learning 논문을 리뷰해보겠습니다. Multi-class가 존재하는 object detection 태스크에서, 보다 정확하고 균일한 데이터셋을 선택하는 방식을 제안한 연구입니다. Conference: CVPR 2022 Title:…

Continue Reading