[NeurIPS 2026]GUIDED: Granular Understanding via Identification, Detection, and Discrimination for Fine-Grained Open-Vocabulary Object Detection

Abstract

Fine-Grained Open-vocabulary object detection(FG-OVD)은 새로운 카테고리에 대한 묘사를 기반으로 물체를 탐지하는 것을 목표로 합니다. 기존의 open-vocabulary detection이 베이스 카테고리에서는 그럴듯한 성능을 보였으나, fine-grained 세팅에서는 주어(대상물체)와 속성에 대한 의미가 뒤얽혀 성능이 저하되는 경향을 보였습니다. 이를 해결하기 위해 저자들은 FG-OVD를 주어와 속성을 다루도록 구분하여 설계한 GUIDED 를 제안합니다. fine-grained 카테고리가 주어졌을 때, language model을 통해 대략적인 주어와 이에 대한 속성을 추출한 뒤, 주어를 통해 속성에 영향을 받지 않게 물체를 탐지(localization)합니다. 이후 attention 방식으로 탐지 쿼리에 속성 정보를 통합하는 임베딩 모듈을 통해 판별력을 유지하면서 속성의 과도한 표현을 완화한 뒤, 영역 수준의 속성 판별 모듈을 통해 세분화된 카테고리 명을 선택합니다. 해당 논문은 FG-OVD와 3F-OVD 벤치마크에서 SOTA를 달성하였으며, 이를 통해 분리된 모델링과 모듈식 최적화의 효과를 입증하였습니다.

Introduction

OVD(Open-Vocabulary Detection)는 새로운 카테고리가 빈번하게 등장하는 환경에서 확장성을 향상시킬 수 있으나, 대부분의 기존 OVD는 개와 고양이 같이 coarse한 수준의 카테고리에 초점을 맞추고 있습니다. FG-OVD(Fine-grained Open-Vocabulary Detection)은 상세한 속성을 가진 새로운 카테고리를 인식할 수 있도록 하는 방식으로, 정밀하고 세분화된 이해가 필요한 응용분야에서 중요한 작업입니다.

이러한 FG-OVD는 CLIP과 같은 VLM(Vision-Language Model)에 의존하며, 세분화된 카테고리와 설명을 함께 임베딩하는 방식으로 이루어져 다음 2가지 문제를 발생시킵니다. 먼저, VLM의 대조학습 방식은 모든 토큰을 동일하게 취급하므로, 주어와 속성 사이의 semantic entanglement(의미론적 얽힘)을 유발합니다. Figure 1의 (b)와 같이, “dog with a head”라는 표현이 주어졌을 때, 주어인 dog에 집중하지 못하고 with a head까지 중요하게 보아 개의 머리를 찾게되는 것 입니다. 또한, 이러한 semantic entanglement로인해 semantic drift가 발생합니다. (a)는 여러 텍스트에 대한 임베딩을 T-SNE로 시각화 한 결과로, “dog”와 “dog with a head”라는 표현이 중복되는 개념임에도 불구하고, CLIP의 latent space 안에서 멀리 떨어져있습니다.

저자들은 이에 대해 주어와 속성이 합쳐져 있기 때문이라고 보았으며, 이를 해결하기 위해 FG-OVD를 coarse 수준의 객체 탐지와 세밀한 속성 판별로 분리하여 각 과정에 적합한 모델을 사용하도록 하는 GUIDED 프레임워크를 제안합니다. Figure 1의 (c)에서 확인할 수 있듯, 탐지기는 세밀한 설명보다 coarse한 카테고리가 주어졌을 때 더 좋은 성능을 보여줍니다. 즉, 객체 탐지기가 coarse한 수준의 쿼리에 적합하다는 것을 보여주며, 이를 기반으로 coarse한 쿼리로 위치를 탐지한 뒤, 자세한 속성은 사전에 학습된 VLM을 활용하도록 GUIDED를 설계하였다고 합니다.

GUIDED는 주어 식별, 객체 탐지, 속성 판별을 명시적으로 분리한 3 stage 파이프라인으로, 세밀한 프롬프트가 주어졌을 때, 대규모 언어 모델을 통해 coarse한 주어와 속성을 추출한 뒤, 이를 VLM을 이용하여 별도로 인코딩하비다. 주어 임베딩을 활용하여 coarse 탐지기가 후보 영역을 찾고, 속성 단서가 attribute embedding module을 통해 쿼리에 선택적으로 통합되어 최종 단계에서는 후보 영역과 텍스트 사이의 유사도를 측정하여 세밀한 속성 판별을 수행합니다. 최종 예측 점수는 탐지기의 신뢰도와 속성 유사도 점수를 융합하여 계산되며, 이를 통해 정확하고 해석 가능한 예측 결과를 구합니다. FG-OVD 벤치마크에 대한 광범위한 실험을 통해 제안한 GUIDED의 유효성을 검증하였으며, 해당 논문의 contribution을 정리하면 다음과 같습니다.

• We propose GUIDED, a novel decomposition framework that decouples FG-OVD into coarse-grained object detection and fine-grained attribute discrimination, aligning each subtask with the strengths of detection transformers and pretrained vision-language models.
• We design an attribute embedding fusion module that selectively integrates fine-grained attribute cues into detection queries, enhancing representation without overwhelming coarse category semantics.
• We introduce a projection-based attribute discrimination mechanism that refines text embeddings and computes region-text similarity for accurate fine-grained classification over detected objects.
• We establish new state-of-the-art results on FG-OVD benchmarks, demonstrating the effectiveness of task decomposition and modular optimization.

Approach

GUIDED는 coarse detector와 fine-grained attribute discrimination 과정으로 이루어집니다. 전체적인 overview는 위의 Figure 2에서 확인할 수 있으며, coarse한 객체와 세밀한 설명을 구분하기 위해 LLM을 도입합니다.

1. Subject Identification

해당 과정은 forzen large language model(GPT4-o)을 사용하여 coarse한 카테고리명과 속성을 파싱합니다. 위의 Figure 3 (a)에서 자세한 프롬프트를 확인할 수 있으며, 해당 과정을 통해 구한 coares한 카테고리명과 속성은 각각 CLIP 텍스트 인코더를 통해 \{t_i\}^n_{i=1}과 \{\{t_{i,j}\}^{n_i}_{j=1}\}^n_{i=1}로 임베딩됩니다. 여기서 n은 카테고리 수를 의미하며, n_i는 i번째 속성 임베딩 수를 나타냅니다.

2. Coarse-grained Object Detection(CGOD)

이후 transformer 탐지기를 사용하여 CGOD를 수행합니다. 해당 논문에서는 속성 단서를 유지하며 과도한 표현을 방지하기 위해 attention 기반으로 유용한 속성만을 사용하는 attribute embedding fusion module을 제안하였습니다.

구체적으로 DINO를 기반으로 구축된 LaMI-DETR를 베이스라인 transformer로 채택하였으며, 입력 이미지를 CLIP 이미지 인코더의 고정된 ConvNext 백본으로 인코딩하여 F_{conv}를 출력합니다. 이후 refine을 위해 학습가능한 transformer의 인코더에 입력되며, 정제된 인코더 특징은 F_{enc}로 표기합니다.

Attribute Embedding Fusion

정제된 특징맵을 얻은 뒤, 주어 임베딩과 속성 임베딩을 transformer의 입력 쿼리로 융합하기 위해 attribute embedding fusion module을 설계하였습니다. LaMI-DETR을 따라 classification logits을 기반으로 F_{enc}에서 상위 k개의 픽셀을 객체 쿼리로 선택합니다. 이후 선택된 쿼리는 가장 높은 분류 점수를 가진 클래스와 매칭된 다음 cross-attention 레이어를 통해 주어 임베딩 및 속성 임베딩과 융합됩니다. 이때 속성 정보 강조를 위해 속성 임베딩과 주어 임베딩 사이의 차이를 key로 사용하였으며, 위의 Figure 3의 (b)에서 구조를 확인할 수 있습니다. attention 레이어는 주어와 속성 임베딩을 동적으로 통합하여 탐지에 유용한 속성을 활용할 수 있도록합니다.

이후 융합된 쿼리 임베딩 \{q_i^f\}과 F_{enc}를 DINO 디코더에 입력하여 예측 임베딩 \{p_i\}^k_{i=1}을 구한 뒤, sigmoid 함수를 통해 j번째 예측에 대한 탐지기의 신뢰도 s_j^{coarse}를 계산합니다. bounding box \{b_i\}^k_{i=1}는 box regression 과정을 통해 예측 임베딩으로 부터 구해집니다.

3. Fine-grained Attribute Discrimination(FGAD)

앞서 구해진 bounding box는 fine-grained 카테고리 후보 영역으로 사용되며, 세밀한 속성이 후보 영역과 정렬되는 지 판별하기 위해 Fine-grained Attribute Discrimination(FGAD)모듈을 제안합니다. 먼저 frozen CLIP 텍스트 인코더 뒤에 경량 linear projection 레이어를 추가하여 세밀한 속성에 대하여 더 나은 표현을 생성하기 위해 텍스트 임베딩 refinement를 수행합니다. 해당 레이어는 범용적인 사전학습 표현과 속성 사이의 간극을 메워, 속성에 대한 판별 능력을 향상시키는 것을 목표로 합니다.

이후 fine-grained 카테고리명을 정제된 CLIP 텍스트 인코더 T'에 입력하여 세밀한 카테고리 임베딩 \{\hat{t}_i\}^n_{i=1}를 구한 뒤, 물체 후보 영역의 F_{conv}와 cosine 유사도 점수를 s^{fine}_{j}를 구합니다. 해당 과정은 CLIP 외의 다른 VLM으로 변경이 가능하며, 최종 score는 아래의 식과 같이 CGOD과정에서 구한 score s^{coarse}_{j}와 FGAD 과정에서 구한 score s^{fine}_{j}를 결합하여 구해집니다. 이때, \alpha는 하이퍼파라미터입니다.

4. Training Objective

GUIDED는 2단계로 학습이 이루어집니다. 먼저 LaMI-DETR 학습 파이프라인과 유사하게 속성 유사도 점수를 사용하지 않고 OVD의 base 클래스에 대해 Detection Transformer를 사전학습합니다. 이후, 두번째 단계에서 FGOVD 데이터 셋을 활용하여 Detection Transformer와 refine된 CLIP을 학습합니다. 이때 Detection Transformer는 주어 라벨을 사용하여 지도학습을 수행하며, fine-grained class에 대해 추가적인 binary loss를 도입합니다. 해당 loss function에 앞서 구한 coarse detector와 fine-grained object detection 과정에서 구한 score가 활용됩니다.

Experiments

Dataset

• FG-OVD
  • 각 라벨은 positive 캡션과 negative 캡션으로 구성되며, 문장 구조를 유지하고 속성 단어를 바꿔 최대 10개의 hard negative 쌍을 만들어낸 데이터입니다. 4가지의 난이도로 구성되며, 4가지 속성(색상,재질,패턴,투명도) 중심의 하위 집합으로 구성됩니다. 해당 데이터에 대한 실험은 공식 데이터 분할을 사용하였으며, mAP를 평가지표로 이용합니다.
• 3F-OVD
  • 모든 클래스에 대해 단일 설명을 할당한 뒤, 해당 클래스를 포함하는 모든 이미지에 동일 캡션을 사용한 벤치마크로, 598개의 차량으로 구성된 NEU-171K-C와, 121개의 소매 제품으로 구성된 NEU-171K-RP 도메인으로 이루어집니다. 마찬가지로 mAP를 평가지표로 사용합니다.
• LVIS
  • long-tailed 분포를 가진 객체 탐지 데이터셋으로, LaMI-DETR의 open-vocabulary 세팅을 따라 866개의 카테고리를 base로 설정하고, 나머지 335개의 희귀 카테고리를 novel 카테고리로 설정합니다. 학습에는 LVIS의 base 카테고리를 이용합니다.

Comparison on FG-OVD

OWL-ViT, Detic, ViLD, Grounding DION 등 기존 OVD 방법론들과 GUIDED를 비교한 결과입니다. Table 1의 결과를 통해 GUIDED의 mAP 성능이 기존 OVD에 비해 크게 개선이 이루어집을 확인할 수 있습니다.

Comparison on 3FOVD

Table 2는 3F-OVD에서 평가를 수행한 결과로, FG-OVD보다 더 복잡한 고유 명사로 구성되어있는 어려운 데이터셋 입니다. 3F-OVD에 대해서는 학습을 수행하지 않고, LVIS와 FG-OVD에서 학습된 모델로 평가합니다. 저자들은 3F-OVD에서 카테고리 명의 상위 표현을 주어로 추출하고, 캡션 데이터를 상세한 속성으로 활용합니다. 실험 결과 LaMI-DETR에 비해 뚜렷한 성능 개선이 이루어지는 것을 확인할 수 있습니다.

Ablation Study & Analysis

Table 4는 GUIDED에서 제안하는 각 요소의 효과를 평가한 실험 결과입니다. 비교를 위해 처음부터 학습하는 방식과 Finetuning 결과를 포함하였다고합니다. 실험 결과 FG-OVD로 LaMI-DETR을 finetuning하는 것이 처음부터 학습하는 것 보다 좋은 결과를 보였으며, 이는 LVIS에서 1단계 학습을 하는 것이 중요하다는 것을 보여줍니다.

또한 GUIDED를 사용하면 성능이 50.9%에서 62.4%로 개선되어 GUIDED의 학습 방식이 유효함을 보였으며, 각 과정을 제거하였을 때 최종 GUIDED보다 성능이 저하된다는 것을 통해 각 과정의 효과를 입증하였습니다. 특히, GUIDED w/o CGOD 결과와 GUIDED 결과를 통해 coarse detection과 attribute를 활용한 fine-grained detection 과정을 구분하는 것이 중요하다는 것을 확인할 수 있습니다.

Robustness of LLMs on subject identification

주어 식별에 대한 LLM의 강인성을 평가하기 위해, 저자들은 300개의 fine-grained 클래스에서 주어를 수동으로 라벨링하고 LLaMA-3.1과 GPT4-o에서 정확도를 평가하였습니다. Table 5는 2가지 실패 케이스로 구분하였으며, Hallucination은 LLM이 입력 텍스트와 무관한 주어를 답변하는 경우, Others는 객체 대신 속성을 식별하는 경우 입니다. LLaMA-3.1-8B모델에서 Hallucination에 취약함을 보였으나, 모델이 70B로 커졌을 때는 이러한 문제가 해결되는 것을 보였습니다.

Table 6은 사용한 LLM 모델에 따른 GUIDED의 성능을 나타낸 것으로, GPT4-o가 GUIDED의 기본 성능을 나타내며, LLaMA-3.1-8B를 이용할 경우 0.5% 하락하고, LLaMA-3.1-70B를 사용하면 0.1% 개선되는 것을 보였습니다. 이를 통해 GUIDED의 성능이 독점 모델에 의존하지 않는다는 것을 보였다고합니다.

Analysis of text embeddings applied in CGOD and FGAD

위의 Table 7은 CGOD와 FGAD에 사용된 텍스트 임베딩에 대한 ablation study 결과입니다. 기존 CLIP 인코더 T 대신 경량 projection 레이어를 추가한 T’를 사용하였을 때, FGAD 단계에서는 mAP가 개선되는 경향을 보였으나(1행-3행 / 4행-6행 결과), CGOD까지 T’를 사용할 경우에는 mAP가 저하되었습니다(2행-3행 / 5행-6행). 저자들은 이에 대해 CGOD는 기본 클래스에 과적합 될 경우 성능이 저하되는 것이라 분석하였습니다. 추가로, CGOD에 대해 Full 방식과 Coarse 카테고리를 이용하는 방식을 비교하여 클래스 이름 전체가 아닌, coarse한 카테고리 명을 이용하는 것이 최적의 방식임을 보였습니다.