[CVPR 2026] FINER: MLLMs Hallucinate under Fine-grained Negative Queries

안녕하세요 오늘은 MLLM의 fine grained hallucination과 관련된 FINER논문을 읽어봤습니다
CVPR 2026 oral논문이고 MLLM 모델이 이미지 속의 시각적인 정보와 텍스트를 real로 세밀하게 맞춰 보고 있는지! 라는 문제의식이 흥미로워서 보게 됐슴다
이 논문은 질문안에 아주 작은 오류를 섞어줬을 때 모델이 그걸 캐치하지 못하고 그대로 맞다고 답하는 문제를 지적하면서 시작합니다

바로 리뷰 시작하겠습니다~~

Intro

기존의 MLLM에서 Hallucination에 대한 평가는 보통 ‘이미지에 고양이가 있나요?’, ‘이미지에 자동차가 있나요?’ 같은 비교적 거친 수준(coarse)의 질문입니다.
예를 들어 ‘이미지에 늑대가 있나요?’같은 거친 질문에 늑대가 없는데 있다고 하면 할루시네이션이지만 이건 모델 입장에서는 비교적 쉬운문제가 되겠죠. 단순히 늑대라는 객체가 보이는지만 확인하면 되니까요!
하지만 만약 유저가 좀 더 세밀하게 물어볼 경우(예를들어 ‘흰 털에 검은 무늬가 있고 고개를 아래로 숙이고 있는 쇼파 위의 고양이가 보이나요?’) 의자를 쇼파로 잘못 판단하는 것과 같은 비교적 어려운 질문에서는 세밀한 오류를 놓치고 단순히 yes로 답하게 되는 경향이 있습니다.
위의 fig1. 을 보면 사람은 바로 쇼파가 아니라 의자인것을 알수있죠!
MLLM은 이런 세밀한 질문에서 단순히 대충 비슷하면 yes라고 답한다는 것을 알수 있습니다.

따라서 이 논문은 fine-grained negative query라는, 말 그대로 질문 안에 아주 세밀하게 틀린 정보를 섞어넣는 개념을 가져옵니다.
예를 들어 실제 이미지가 의자위에 고양이가 앉아있다면, 질문은 고양이가 의자 아래에 앉아있냐고 묻는거죠, 또는 실제로는 강아지가 흰색인데 검은색 강아지가 보이냐고 하는 것처럼 이런 식으로 객체나 속성, 관계 같은 것들 중 하나를 살짝 틀리게 만듭니다.
즉 MLLM의 환각을 단순히 없는 객체를 있다고 말하는 문제로만 보는게 아니라 이미지 안에 실제 요소들이 많이 맞게 포함되어 있을때 그중에서 하나만 틀린 질문을 모델이 제대로 판단해낼수 있는가?를 보는 논문입니다!

여기서 중요한점은 질문이 길어서 어려운 것이 아니라 정답과 거의 비슷해서 어렵다는 점 입니다. fig1의 실험을 자세히 살펴봅시다!
이 실험은 단순히 질문을 길게 만든 실험이 아니라 매 level마다 틀린 부분을 딱 하나씩만 유지하고 나머지 부분은 실제 이미지와 맞게 둡니다.
성능이 떨어진다면 단순히 질문이 길어서 라기보다 많은 시각 조건을 묶어서 검증하는 능력(compositional grounding / binding)이 약하다는 의미가 되겠죠!
논문에서는 false positive hallucination가 자주 등장합니다 실험에 쓰인 모든 negative query의 정답은 모두 no입니다. 하지만 모델이 yes라고 대답한다면 이미지에 없는 설명을 실제로 있다고 승인 한 것이고 이게 바로 FP hallucination이 됩니다.

fig1 (b)실험의 결과를 보면 알수있다 싶이 두 벤치마크 모두에서 올바르게 대답하는 확률이 훅훅 떨어집니다
즉 MLLM은 이미지 속의 큰 내용은 보지만 질문이 요구하는 세밀한 시각적인 증거를 끝까지 검증하지 못한다! 가 이 논문의 문제의식입니다.

저자들은 이 세밀한 오류에 대해서 체계적으로 평가하기 위해서 FINER-CompreCap과 FINER-DOCCI라는 두 벤치마크를 제안합니다.
또항 이런 오류들을 줄이기 위해 세밀하게 틀린 질문을 무조건 거부하고 교정할수 있도록 학습하는 DPO(Direct Preference Optimization)기반의 FINER-Tuning도 함께 제안합니다!

세밀한 오류에 대해서 유형을 총 4가지로 나누어서 분석합니다.
먼저 Multi-obj는 여러 객체중 하나를 틀리게 합니다. 두번째로 Multi-attr는 한 객체의 속성 중 하나를 틀리게 합니다. 세번째로 Multi-rel는 객체 관계들 중 하나를 틀리게 합니다.
네번째로 Wh는 질문의 전제 자체를 다르게 합니다.
특징이 약간 다른 네번째를 예시로 설명하자면 실제로는 고양이가 흰고양이가 의자위에 앉아있는데 질문은 검은 고양이가 무엇 위에 앉아있나요? 같은 질문을 말합니다!
이때 모델은 단순히 의자 라고 대답하면 안되고 검은 고양이라는 전제가 틀렸다고 교정해야합니다.

결국 이 논문은 MLLM이 이미지의 대략적인 의미만 파악하는 수준을 넘어서 객체나 속성, 관계가 결합된 복합적인 질문을 시각적인 근거에 따라 끝까지 검증을 할수 있는지를 평가하고 개선하는 분석연구입니다
인트로에서 설명한 이런 세밀한 오류를 어떻게 벤치마크로 구성해서 실험했는지 다음 섹션에서 자세히 살펴보겠습니다.

---

FINER Benchmarks

1. Question Construction Pipeline

저자들이 제안하는 벤치마크인 FINER벤치마크에서 세밀하게 틀리게 해 놓은 질문들을 어떻게 구성하는지 살펴보겠습니다.
핵심흐름을 직관적으로 쉽게 먼저 설명하자면, 실제 이미지의 정답 정보(scene graph)를 만듭니다 → 그 중 하나만 살짝 틀린 후보를 만들고 → 이때 맞는 질문과 그 틀린 질문 각각 하나씩 만듭니다 → 모델이 단순히 yes/no가 아니라 뭐가 틀렸고 실제로는 무엇인지 까지 맞히게 하는 것입니다.

그럼 여기서 잠깐 언급되는 Scene graph(sg)가 뭔지 살펴보자면, scene graph는 이미지를 객체, 속성, 관계에 따라 구조화해서 나누어 놓은것 입니다. 예를 들자면 이미지에 흰 강아지가 갈색 바닥 위에 서있다면 여기서 객체는 (강아지, 바닥)이 될것이고 속성은 (강아지=흰색&서있음, 바닥=갈색&나무재질), 관계는 (강아지가 바닥위에 서있음) 요런식으로 저장되어 있겠죠!

저자들은 먼저 이미지와 실제로 맞는 positive sg(pos sg)를 만들고, 그 다음 각 요소마다 이미지에는 없지만 말은 그럴듯한 가짜 후보(neg sg)를 만듭니다.
예를 들면 위의 fig2를 보면 고양이가 문틀(door frame) 앞에 서있다면, 정답 객체는 door frame이고 가짜 객체는 pillar, fence 같은 것들이 됩니다.
fig2의 우측 상단처럼 이런 식으로 각 요소마다 negative 후보를 4개씩 만듭니다

이렇게 만든 4개의 neg후보들은 이후 5지선다 MCQ를 구성할때 사용됩니다.
예를들어 실제 정답이 cat and door frame이고 가짜 후보가 pillar, fence, archway, banister라면 pos question은 [cat과 문틀(door frame)에 보이나요?]처럼 만들고 정답은 [yes, cat과 door frame이 보입니다]가 됩니다. 즉 Yes + 진짜 조합 1개, No + 가짜 조합 4개로 총 5지선다를 만듭니다.
반대로 neg question은 4개의 가짜 후보중에 하나를 골라서 [cat과 pillar가 보이나요?] 같은 질문을 만듭니다. 이때의 정답은 [no, 하지만 cat과 door frame이 보입니다]가 됩니다. 이후 나머지가짜 후보들은 [하지만 실제로는 cat과 fence/archway/banister가 보입니다]라고 잘못 말하는 오답 선택지가 됩니다.

글로 줄줄 설명하니 와닿지가 않는거 같아서 예시로 설명하자면,

1. positive MCQ
   질문 : cat과 door frame이 보이나요?
   1. yes, cat과 door frame이 보입니다
   2. no, cat과 pillar가 보입니다
   3. no, cat과 fence가 보입니다
   4. no, cat과 archway가 보입니다.
   5. no, cat과 banister가 보입니다.
2. Negative MCQ (가짜 4개 객체중 하나를 질문으로 고름, 예.pillar)
   질문 : cat과 pillar가 보이나요?
   1. yes, cat과 pillar이 보입니다
   2. no, 하지만 cat과 door frame이 보입니다
   3. no, 하지만 cat과 fence가 보입니다
   4. no, 하지만 cat과 archway가 보입니다.
   5. no, 하지만 cat과 banister가 보입니다.

즉 나머지 가짜 3개는 대신 [실제로 이것이 있다] 라고 잘못 대답하는 오답 보기가 되는것입니다.
pos, neg 이 두 질문을 둘 다 쓰는 이유는 pos MCQ만 있을 경우 yes만 보고 맞힐 여지가 있어서, neg MCQ까지 함께 사용해 내용까지 보고 정답을 맞히는지 확인하게끔 하기 위함입니다.

이렇게 Multi-obj(객체), Multi-attr(속성), Multi-rel(관계)는 각 유형에서 객체·속성·관계 중 하나만 틀리게 하는 방식으로 질문을 구성합니다.
Wh는 단순히 yes/no 질문이 아니라 틀린 전제 자체를 가진 채 구체적인 답을 요구하는 질문으로 구성됩니다

예를들어 실제 이미지가 [흰 강아지가 갈색바닥 위에 서 있음]이라면, positive Wh 질문은 [흰 강아지가 무엇위에 서있나요? → 갈색바닥]이 될것이고, negative Wh 질문은 [검은 강아지는 무엇 위에 서있나요?] 가 됩니다.
이때는 검은 강아지라는 전제 자체가 틀렸으니 정답은 [검은 강아지가 아니라 흰 강아지 입니다]와 같은 형식이 되어야 합니다.
즉 Wh도 속성 하나를 틀리게 넣는 것은 같지만, 사용자가 질문에 넣은 틀린 전제 자체를 캐치하고 교정해야 한다는 점에서 앞의 유형들과는 약간 다릅니다.

이러한 파이프라인을 바탕으로 저자들은 FINER-CompreCap과 FINER-DOCCI 두 벤치마크를 구성합니다.

• FINER-CompreCap: CompreCap 데이터셋을 기반으로 사람이 직접 annotation한 scene graph를 사용합니다. (이미지는 COCO이미지로 한정되어 있음)
  Multi-obj 6,300개, Multi-attr 3,338개, Multi-rel 4,280개, Wh 3,166개의 MCQ로 구성되어 있습니다
• FINER-DOCCI: DOCCI 데이터셋을 기반으로 사람이 직접 작성한 캡션이 달린 5000장의 이미지로 구성되어있어서 더 큰 규모의 데이터를 만들수 있습니다. 대신 DOCCI는 sg가 따로 없어서 캡션에서 객체,속성,관계를 추출하는 과정을 추가로 진행했다고 합니다.
  Multi-obj 10,000개, Multi-attr 28,630개, Multi-rel 11,542개, Wh 20,944개의 MCQ로 더 큰 규모로 구성되어 있습니다

2. Scene Graph Extraction

앞에서 FINER-CompreCap은 사람이 직접 만들어 놓은 scene graph를 사용한다고 했는데, FINER-DOCCI는 상황이 약간 다릅니다. DOCCI에는 사람이 작성한 긴 캡션만 있고 sg 자체는 없기 때문에 직접 이 긴 캡션에서 객체, 속성, 관계를 뽑아내서 sg 형태로 만들어줘야 합니다.

예를들어서 캡션에 [흰 강아지가 어두운 초록색 문을 바라보며 갈색 나무 바닥 위에 서있다]라고 적혀 있다면 이를 아래처럼 구조화 하는 것입니다.

• 객체 : 강아지, 문, 바닥
• 속성 : 강아지=흰색&서있음 / 문=어두운 초록색 / 바닥=갈색 나무재질
• 관계 : 강아지가 문을 바라봄 / 강아지가 바닥 위에 서있음

이 과정은 Gemini-2.0-Flash로 진행했다고 합니다. 하지만 긴 캡션을 한번에 sg로 만들면 모델이 원래 캡션에 없던 정보를 멋대로 추가할수도 있다고 보고 이를 단계적으로 진행한다고 합니다.
먼저 Gemini가 캡션에서 객체와 그 객체의 속성을 먼저 뽑고 → 그 다음 객체 쌍 마다 캡션에 관계가 명시되어 있는지를 따로 확인합니다. (이떄 중요한 것은 모델(gemini)이 관계를 추론해서 만들어내는 것이 아니라 캡션에 실제로 적혀있는 관계만을 가져오게 하는 것입니다) → 이렇게 뽑은 정보가 실제 이미지와 맞는지도 Qwen2.5-VL로 한번 더 필터링합니다. (이떄 일부는 사람이 직접확인합니다)

위와 같은 과정을 거쳐 sg를 만든 뒤 이것을 바탕으로 뒤의 neg후보와 question을 만들게 됩니다.

3. Negatives Generation

앞에서 각 요소마다 neg 후보 4개를 만든다고 했는데 여기서는 그 neg후보가 진짜 이미지에 없는 것이 맞는지 한 번 더 검증합니다
저자들은 이미지와 함께 [정답 pos 요소 1개 + neg 후보 4개]를 Qwen2.5-VL에 넣고, 실제 이미지에 있는 정답 pos 요소를 고르게 합니다.
이때 모델이 정답 pos 요소가 아니라 neg 후보를 골랐다면 그 neg 후보가 실제 이미지에 있거나 적어도 이미지와 헷갈릴 가능성이 있다는 뜻입니다.
특히 모델이 그 neg 후보를 매우 확신해서 골랐다면 더 위험한 후보라고 봅니다.

여기서 모델의 확신 정도를 나타내는 값이 entropy입니다.

• entropy가 낮음 ⇒ 특정 후보를 매우 확신함
• entropy가 높음 ⇒ 후보들 사이에서 헷갈림

즉 모델이 neg 후보를 골랐는데 entropy까지 낮다면 그 후보는 실제 이미지에 있을 가능성이 높다고 보고 버린 뒤 새로운 neg후보를 다시 생성합니다.
이 entropy 기준값은 일부 샘플을 사람이 직접 확인하면서 정합니다. 결국 이 단계는 neg 후보가 말만 그럴듯한 가짜가 아니라, 실제로 이미지에 없는 가짜인지 최대한 검증하는 과정입니다.

4. Evaluation Setting

앞에서 하나의 이미지에 대해 positive MCQ와 negative MCQ를 각각 만든다고 했는데, 여기서는 이 두 문제를 하나의 pair로 묶어서 평가합니다
즉 모델은 실제 이미지와 맞는 positive question도 맞혀야 하고 하나만 틀린 negative question도 제대로 거절해야 합니다. 둘 중 하나라도 틀리면 해당 pair는 0점 처리됩니다.

이것을 논문에서는 paired accuracy라고 정의하는데 수식은 아래와 같습니다

• 여기서 q_i+는 pos question이고 q_i-는 neg question입니다.
• 감마는 모델의 답이 맞으면 1, 틀리면 0이 됩니다.
• 즉 수식에서 두 값이 곱해지기 때문에 둘다 맞으면 1점, 하나라도 틀리며 0점이 됩니다

이 방식은 모델이 무조건 yes나 no만 답해서 맞히는 것을 방지하고 실제로 맞는 내용은 받고, 세밀하게 틀린건 거절할수 있는지를 보기 위한 평가 방식이라고 합니다.

---

Training with FINER (FINER-Tuning)

앞서 fig1 실험에서 저자들이 제안한 FINER벤치마크로 MLLM이 세밀하게 틀린 질문에 취약하다는 것을 확인했고, 여기서는 고런 현상을 줄이기 위해 FINER-Tuning이라는 DPO(Direct Preference Optimization)기반 학습 방법을 제안합니다.
여기서의 가장 핵심은 새로운 구조를 만드는게 아니라 실제 이미지 설명에서 한 부분만 살짝 틀리게 질문을 만들고 맞는 답변과 틀린답변을 비교시키며 학습하는 것 입니다.
즉 기존의 환각 학습이 모델 답변할 때 없는 내용을 지어내지 않도록 하는데에 초점을 맞추는게 대다수 였다면 저자들은 그걸 넘어서 질문 속에 틀린 부분을 찾아 교정하게 학습시킵니다.

아래의 fig3으로 전체 흐름을 확인할수 있는데

먼저 긴 캡션이 있을때 → 실제 설명을 추출하고 → 일부만 틀린 설명을 생성합니다 → 그후 pos,neg질문과 답변을 생성하고 → DPO로 학습하는 과정으로 구성되어 있습니다

[Setup]

학습 데이터는 저자들이 제안한 벤치마크인 COCO와 DOCCI training split을 제외하고 Pixmo-caption의 긴 이미지 캡션을 사용합니다. 이렇게 하는 이유는 평가 데이터가 학습에 섞이는 것을 막기 위해서 입니다.
또한 벤치마크 구성에서 썼던 모델과 겹치지 않도록 학습 데이터 생성때는 Phi-4-14B를 사용한다고 합니다

[1. Extract positives]

먼저 긴 캡션에서 실제 이미지와 맞는 세밀한 설명인 positive phrase를 뽑는데 이때 벤치마크의 4가지 유형에 맞춰서 아래의 4종류를 만듭니다.

우항에서 하나씩 보자면, +_obj는 이미지에 있는 여러 객체를 요약, +_attr은 하나의 객체가 가진 여러 속성을 요약, +_rel은 한 객체와 다른 객체들 사이의 관계를 요약, +_wh는 두 객체의 속성과 관계를 묶은 문장으로 Wh 질문을 만들 때 사용합니다.

예를 들어서 위의 fig3의 예시 이미지 처럼 자동차 이미지라면 아래와 같은 실제 설명을 뽑아내는 것입니다.

• OBJ: Aston Martin, trees, pedestrian
• ATTR: green convertible Aston Martin with chrome bumper
• REL: Aston Martin이 나무를 반사하고 보행자 앞에 있음

[2. Generate Negatives]

이제 위에서 만든 pos phrase에서 객체,속성,관계 중 하나만 바꿔서 neg phrase를 만듭니다.

예를 들면 fig3의 예시처럼 (trees → flowers), (chrome bumper → yellow bumper), (in front of the pedestrian → behind the pedestrian), (trees in urban rows → trees in countryside fields) 와 같이 대부분은 실제 설명과 같지만 딱 하나만 틀리게 만드는 것입니다.
즉 모델이 자동차가 있다! 수준으로 대충 보는 것이 아니라 범퍼 색이나 객체의 관계 처럼 세밀한 부분까지 확인하도록 학습시키려는 것 입니다

[3. Query & Answer Construction]

positive phrase와 negative phrase를 이용해 pos question과 neg question을 둘다 만들고, 각 질문마다 accepted answer(선호해야하는 답변)과 rejected answer(피해야하는 답변)을 하나씩 붙입니다.

• positive question (q+)
  → 실제 이미지와 맞는 질문
  ⇒ 좋은답(a+) : yes & 실제 이미지 정보
  ⇒ 나쁜답(a-) : no & 틀린 정보
• negative question (q-)
  → 하나의 요소만 틀리게 구성한 질문
  ⇒ 좋은답(a+) : no & 교정된 실제 이미지 정보
  ⇒ 나쁜답(a-) : yes & 틀린 전제 자체를 받음

이때 OBJ, ATTR, REL은 미리 만든 템플릿으로 질문과 답변을 만들고 Wh는 질문 형태가 자유롭기 때문에 Phi-4-14B가 직접 질문과 답변을 생성하도록 합니다.

[DPO Training]

최종 학습 데이터는 위의 수식처럼 구성됩니다.
x : 이미지
qs : pos or neg question
a+s : 모델이 선호해야 하는 정답 답변
a-s : 모델이 피해야 하는 오답 답변

학습은 DPO로 진행되는데 모델이 같은 이미지와 질문을 봤을땨 좋은답변(a+s)의 확률을 나쁜답변(a-s)보다 높게 주도록 학습됩니다.

식 5에서 첫번째 수식은 현재 학습중인 모델 πθ가 같은 이미지x와 질문q에서 정답답변(a+)를 얼마나 더 선호하는지, 오답답변(a-)를 얼마나 덜 선호하는지의 차이를 나타낸 값입니다.
즉 좌항의 결과가 크다면 정답 답변의 확률이 오답 답변의 확률보다 훨씬 크다는 것이고, 그 말은 학습이 잘 됐다는 말을 의미합니다. 반대로 좌항의 결과가 작다면 정답과 오답을 잘 구분 못하고있다~ 는 말이 되겠죠!

두번째 수식은 학습전 원래 frozen 모델이 이미 정답을 오답보다 얼마나 더 선호했는지를 나타내는 기준 값입니다.

마지막 수식은 loss로 이 수식에서는 로그안의 뻴셈 항 중요한 부분인데, 현재 모델이 원본 모델 보다 정답 답변을 오답 답변보다 얼마나 더 확실하게 선호하게끔 되었는가(한마디로 학습 잘 됐냐?)를 보는 것 입니다.
즉 DPO는 (이 질문에서는 이 답이 맞고, 저답은 틀리다)라는 답변 쌍을 주고 모델이 맞는 답을 틀린 답보다 더 강하게 고르도록 만드는 학습방식 입니다.

---

Experiment

1. Experimental Setup

FINER-Tuning 실험은 LLaVA-1.6-7B, Qwen2.5-VL-7B, InternVL3.5-8B, InternVL3.5-14B 총 4개의 MLLM에 LoRA로 파인튜닝 해서 적용합니다.
평가는 총 3가지 관점에서 16개 벤치마크로 진행했습니다.

1. 제안한 FINER 벤치마크에서 세밀한 negative query를 잘 잡는지
2. 기존 hallucination 벤치마크에도 효과가 일반화되는지
3. hallucination 줄이다가 일반 MLLM 성능이 떨어지지는 않는지

2. Results on FINER benchmarks

[Baselines]

저자들은 먼저 중간 행 묶음의 LLaVA-1.6, Qwen2.5-VL, InternVL3.5, InternVL3.5의 FINER-Tuning 전후 성능을 비교합니다. 또한 아래쪽 행 묶음처럼 더 큰 모델과, 위쪽 행 묶음처럼 기존의 할루시네이션 완화 모델들과도 비교합니다.
(위쪽의 기존 방법들은 베이스모델도 다르고 학습데이터도 다르기 때문에 완전히 페어한 비교는 아니지만 FINER 벤치마크처럼 세밀한 오류를 포함한 질문에서도 잘 작동하는지 확인차 함께 비교했다고 합니다!)

[main result]

위의 tab1에서 먼저 위쪽 행 묶음인 기존의 할루시네이션 완화 방법들의 실험 결과를 보자면 FINER의 세밀한 오류에는 그닥인 성능을 보이는 것을 볼수 있습니다.

저자들의 방법(FINER-Tuning)으로 학습 된 베이스 모델들은 성능이 대부분 향상된 것을 볼수 있습니다.
하지만 4가지 질문중에 Wh 질문은 성능이 여전히 낮은 것을 볼수 있는데, 저자들은 이 부분에 대해 속성이나 관계처럼 세밀한 오류를 잡는 능력을 크게 높이긴 했지만 질문의 전제 자체가 틀린 Wh유형은 해결이 좀더 필요한 문제다~ 정도로 언급합니다.

[Different number of objects, attributes and relation]

fig4에서는 질문에 포함된 객체,속성,관계의 수가 많아질수록 성능이 어떻게 변하는지 확인하는 실험입니다.
파인튜닝 전에는 전반적으로 조건 수가 늘어날수록 paired accuracy(벤치마크섹션_4번글 참고)는 감소했습니다. 특히 Multi-obj보다 Multi-attr와 Multi-rel에서 성능 하락이 더 컸습니다.
FINER-Tuning을 적용한 대부분의 경우에서는 성능이 개선되는 것을 볼수 있고, 조건 수가 많아질수록 특히 Multi-attr와 Multi-rel에서 개선의 폭이 큰것을 확인할수 있습니다.
저자들은 요 결과에 대해 FINER-Tuning이 단순히 객체 존재 여부보다 여러 속성이나 관계가 섞인 복잡한 질문의 세밀한 오류를 잡는 데 더 효과적임을 보여줍니다.

3. Results on other hallucination benchmarks

이전의 실험(table1)은 FINER문제를 잘 풀게 됐나?를 살펴봤는데, 이것만 좋아지면 모델이 FINER의 형식만 외운것일 수도 있기 때문에 이번 실험(table2)에서는 FINER-Tuning 효과가 다른 기존의 할루시네이션관련 벤치마크에서도 보이는지를 확인하는 일반화 실험입니다!

왼쪽 열 묶음(6개)는 판별형 벤치마크로 주어진 질문이나 선택지가 이미지와 맞는지 판별하는 능력을 평가하고, 오른쪽 열 묶음(2개)는 생성형 벤치마크로 모델이 자유롭게 답변을 생성할때 할루시네이션을 얼마나 줄이는지 평가합니다.

FINER-Tuning을 적용한 모델들이 FINER을 외운게 아니라 다른 할루시네이션 평가에서도 전반적으로 성능이 일관되게 유지되거나 개선되는 것을 확인할수 있습니다.

4. Results on general capabilities

FINER-Tuning은 negative query를 활용해 학습하기 때문에 모델이 너무 보수적으로 변해서 맞는 질문까지 아니라고 하는 over-rejection 문제가 생길수 있다고 하면서, 요걸 확인하기 위해 저자들은 기본적인 MLLM의 성능을 평가하는 6개의 벤치마크에서 파인튜닝 전과 후의 성능을 비교합니다!

각 지표들의 설명은 아래와 같습니다

• MMStar: 전반적인 멀티스킬 능력
• TextVQA: 이미지 속 텍스트 이해
• ChartQA: 차트·그래프 이해
• MMVP: vision-centric reasoning
• NaturalBench: 자연스러운 조합적 다단계 추론
• V*: 고해상도 이미지에서의 visual search

FINER-Tuning을 적용한 모든 모델의 평균성능이 유지되거나 약간 향상되는걸 확인할수 있습니다. 저자들은 이 실험으로 이 파인튜닝이 할루시네이션을 줄이기 위해 일반적인 MLLM의 성능을 희생한 것이 아님을 보여줍니다.
다만 성능 향상의 폭은 꽤나 작기 때문에 성능을 크게 향상 시켰다기보다는 할루시네이션 완화에 따르는 trade-off는 적어도 이 실험에서는 없었다고 해석합니다