[2026 ECCV] Entropy-Gradient Grounding: Training-Free Evidence Retrieval in Vision Language Models

안녕하세요!

최근 VLM들은 이미지의 전반적인 내용은 꽤 잘 이해하지만, 막상 아주 작은 디테일을 확인하거나 이미지의 여러 위치에 흩어진 정보를 함께 봐야 하는 문제에서는 여전히 어려움을 보입니다.

이번 논문은 이런 문제를 모델의 visual evidence retrieval 관점에서 바라보고, 별도의 학습 없이 모델 내부의 uncertainty를 이용해 필요한 영역을 직접 찾아보자는 논문입니다!

바로 리뷰 시작하겠습니다!

---

INTRO

저자들은 위의 fig1(a)처럼 작은 Broom을 잘 못찾는 경우와 (b)의 blue bench와 green door처럼 여러 위치의 정보를 함께 봐야하는 경우처럼 현재의 VLM이 일반적인 이미지에 대한 이해는 잘하지만 정답이 이미지 안에서 아주 작은 visual 단서에 달려있거나, 서로 여기저기 멀리 떨어진 위치의 단서를 같이 봐야하는 상황에서는 여전히 쉽게 실패한다고 합니다.

이 문제를 저자들은 단순히 VLM이 답을 잘 생성하지 못한다! 로만 보는것이 아니라 그보다 앞단의 답하는데 필요한 visual evidence를 어디에서 찾아야 하는지 제대로 결정하지 못한다는 문제로 봅니다.
즉 기존의 fine-grained VLM의 핵심 문제는 모델에게 더 좋은 답 생성 방법을 가르치자! 가 아니라 답을 내기 전에 필요한 evidence를 제대로 찾아오게 하자 입니다
이에 따라 질문을 받은 모델이 바로 답을 내는 것이 아니라, 현재 정보만으로 애매하다면 이 질문에 답하기 위해서는 어디를 자세히 봐야하는지를 결정하고 그에 필요한 evidence를 추가로 얻는 test-time evidence retrieval과정을 제안합니다!

이 과정의 핵심 아이디어는 모델 스스로의 uncertainty를 grounding signal로 사용합니다!
보통 쿼리와 과련된 이미지의 영역을 찾기 위해 attention map같은 것들을 사용할 수 있지만 attention기반의 방식은 어떤 layer나 head를 사용해야 할지를 휴리스틱하게 골라야 하고, 또 그렇게 얻어진 attention이 실제로 모델이 최종 prediction에 중요한 증거가 되는지도 항상 명확하진 않다고 합니다
따라서 저자들은 이런 방법들 대신 모델이 다음 토큰을 예측할때 얼마나 불확실한지를 나타내는 entropy를 사용합니다!

약간 직관적으로 예를들자면 모델이 어떤 질문에 대해 다음 토큰 후보들을 거의 비슷한 확률로 보고있다면 prediction entropy가 높을 것이고, 특정 토큰에 딱 확률이 높다면(확신하고 있다면) entropy가 낮을 것 입니다.
요런식으로 entropy를 계산 한 후 visual token embedding까지 그래디언트를 역전파합니다!
그럼 각 비주얼 토큰을 변화시켰을 때 모델의 uncertainty가 얼마나 영향을 받았는지를 알수 있게 되고 그렇게 되면 그 영향이 큰 토큰이 위치한 영역을 현재 질문에 답을 결정하는 것에 중요한 visual evidence라고 보게 되는 것입니다! 요게 이 논문의 제목에 있는 Entropy-Gradient Grounding입니다!

여기서 중요한 점은 그래디언트를 단순히 모델을 설명하기 위한 post-hoc visualization**(**이 답을 만들때 이미지의 어디를 중요하게 봤는지, 답을 낸 후 어디인지 시각화하기)으로만 사용하는 것이 아니라 실제로 그 gradient map을 이용해서 다음에 볼 영역을 정하고 그 영역을 크롭해서 다시 모델에 입력해주는 방식이라는 점 입니다!
즉 그래디언트가 단순 해석 정도로 끝나는 것이 아니라 inference과정에서 evidence acquisition을 직접 제어하는 시그널로 사용되는 것이죠!

또한 저자들은 필요한 evidence가 항상 한 군데에만 있다고 보지 않습니다. 문서나 객체의 관계를 다루는 질문 같은 경우에는 서로 다른 위치 정보가 동시에 필요할수도 있기 때문이죠!
저자들이 말하는 entropy-gradient map은 이 여러개의 spatially coherent region를 찾아서 랭킹하고 상위의 region들을 함께 추가 입력으로 제공합니다! 이렇게 함으로 가장 중요한 곳 하나를 확대하는 방식들 보다 여러 증거들을 모아야 하는 multi-evidence query에 대응이 가능해집니다!

저자들은 여기서 iterative zoom-and-reground라는 방식을 추가합니다
이 방법은 처음얻은 grounding map이 너무 넓거나 정확하지 않을 수 있기 때문에 한번만 딱 크롭하고 끝나는게 아니라 크롭된 영역에서 다시 entropy-gradient를 계산하고 다시 더 중요한 부분을 찾는 과정을 반복하게 됩니다.
쉽게 말하자면 처음에는 대~충 이 근처인거 같다! 를 찾고 그 다음에 영역 안에서 정확히 여기다! 를 좁혀가는 방식입니다!

그렇다고 계속 그렇게 줌인만 냅다 반복하면 하면 당연히 구려지겠죠
예를 들어서 너무 확대하게 되면 오히려 주변 contect를 잃게 되거나 아예 잘못된 위치로 과하게 좁혀질수도 있습니다. 따라서 저자들은 spatial entropy를 이용해서 grounding결과가 점점 더 집중되고 있는지를 보고 더 이상 spatial한 concentration이 좋아지지 않으면 refinement를 멈춥니다.
즉 어디를 볼지! 뿐만이 아니라 언제 그만 볼지!도 시그널로 제어하는 것이죠!

구구절절 설명했지만 흐름만 직관적으로 보자면
질문+원본이미지가 들어온다면 → 모델의 prediction uncertainty 계산하고 → 거기서 나오는 entropy를 visual emvedding으로 백워드 합니다 → 그럼 그 중요한 영역에 대해 다시 탐색하게 되고 → 여러 region을 크롭한 후 → 필요하면 다시 grounding을 하거나 zoom을 진행 합니다. → 이렇게 하면 최종 원본과 crop evidence를 이용해서 최종 답변을 하게 됩니다!
저자들은 이 방법이 별도의 추가 expert(detectro,segmantor~)나 학습 없이 적용 가능한 training-free방식으로 제안합니다!
요 방법이 4개의 VLM과 7개의 벤치마크에서 특히나 fine-grained detail쪽에서의 성능 개선이 크다고 합니다 !

한마디로 fine-grained visual reasoning이라는 task에서 어떤 visual token이 모델의 최종 prediction uncertainty에 영향을 주는가?를 이용해서 crop 위치 탐색하는 방법으로, 모든 곳을 고해상도로 볼 필요 없이, query와 관련된 evidence를 선택적으로 찾아서 고해상도로 다시 보자!! 입니다

그럼 이 논문의 핵심인 이 entropy-gradient가 실제로 어떤방식으로 계산이 되는지, 또 그 gradient map에서 어떻게 여러 region을 뽑는지, iterative refinement가 실제 localization 오류를 얼마나 복구할수 있는지를 중심적으로 살펴보겠습니다!

---

METHOD

1 Problem Formulation and Overview

저자들이 제안하는 메소드의 전체 흐름은 위의 fig 2와 같습니다
먼저 (a) Initial Region of Interest Grounding로 원본이미지+prompt가 MLLM에 들어오면 답번을 autoregressive하게 생성하기는데, 이때 첫 token의 확률분포에서 entropy를 계산하고 이 결과를 visual embedding까지 backpropagation해서 모델의 불확실성에 가장 크게 영향을 주는 영역을 찾아서 initial crop으로 잡습니다

다음으로 (b) Iterative Refinement과정인데, 이 단계는 처음 찾은 region이 너무 넓을수도 있고 정확하지 않을수도 있기 때문에 앞의 initial crop을 다시 원래 인풋과 함께 MLLM에 넣어주어 다시 동일한 entropy-based grounding을 반복적으로 수행합니다
이때 spatial entropy가 줄어드는 동안에는 계속 크롭영역을 좁혀가고, 그러다가 더이상 감소하지 않으면 이 반복을 멈춰서 최종 Final Crop 이미지를 결정합니다!

그렇게 Final Crop 이미지를 얻었다면 (c) Final Forward Pass를 진행합니다!
이번에는 rounding을 위한 forward/backward가 아니라 원본 이미지와 최종 crop이미지를 입력해서 실제로 답을 생성하는 마지막 foward fass입니다

즉 어디를 볼지를 먼저 찾고 → 만약 여러 곳이면 그 여러 곳을 챙기고 → 아직 불명확하면 다시 보고! 요런 흐름인 것이죠!
그럼 각 단계를 자세히 살펴봅시다!

2 Entropy-Based Visual Grounding

저자들은 attention이 아니라 prediction uncertainty의 gradient를 사용하는 이유를 아래의 fig3으로 설명합니다! 아래 그에서 attention 기반 방식은 잘못된 영역을 잡아 답을 6으로 예측한 반면, entropy-gradient는 질문에 필요한 Neurology 행에 집중해 정답인 696을 찾는 모습을 보여줍니다!

prediction uncertainty의 gradient를 사용하는 것에 대해 먼저 직관적으로 설명하자면
기존의 attention방식은 모델이 어디를 보고있는지를 보는 것 이고, 저자들의 방식은 이미지의 어느 부분이 바뀌었을때 모델의 답에 대한 불확실성이 가장 크게 변하는지! 를 보는 것 입니다.이걸 알려면 먼저 모델이 얼마나 헷갈려 하는지 수치화를 해야하는데 그 숫자로 entropy를 사용하는 것 입니다!

[ Entropy as a grounding objective ]

먼저 위의 수식처럼 이미지I와 프롬프트P가 주어졌을 때 MLLM은 지금까지 생성된 토큰들 y<t까지 참고해서 vocabulary 전체에서 다음 t번때 토큰이 어떤 단어일지에 대한 확률분포(next-token probability) p_t(y)를 만듭니다
이 확률분포가 얼마나 퍼져있는지를 다음 수식들로 쭉쭉 entropy를 계산하게 됩니다!

(1)번 수식은 모델이 얼마나 헷갈렸는지를 판단 하는 부분입니다! 즉 Next-token의 불확실성을 계산합니다 앞서서 만들어진 next-token probability pt(y)를 가지고 그 확률들이 얼마나 여러 토큰들에 퍼져 있는지 Shannon entropy로 계산하는 식 입니다!
한 토큰에 확률이 몰려있으면 엔트로피가 낮아서 모델이 확신을 하고있는 상태이고, 여러 토큰 후보들에 확률이 비슷하게 퍼져있으면 엔트로피가 높아서 모델이 불확실한 상태라고 보면 되는 것이죠!

다음으로는 위의 (2)번 수식 처럼 방금 계산한 엔트로피를 그대로 grounding을 위한 objective L_ent로 설정합니다!
즉 이 엔트로피를 grounding의 기준으로 사용하는 것 인데요, 여기서 Loss라고 쓰지만 모델을 학습 시키기 위한 그 Loss는 아니고 이 uncertainty가 이미지의 어누 부분 때문에 생기는지 역추적 하기 위해 그래디언트를 계산할 기준값으로 엔트로피를 사용하는 것 입니다!
저자들은 기본적으로 첫번째 decoding step(t=1)의 엔트로피를 사용합니다

이번에는 위의 (3)번 수식처럼 어떤 visual토큰이 uncertainty에 영향을 주는지 찾는 단계 입니다. 앞서 정한 L_ent를 visual embedding V(projector를 지난!)까지 역전파 해줍니다!
즉 각 visual토큰에 대해 이 visual토큰의 값이 조금 달라졌을때 모델의 엔트로피가 얼마나 크게 변하는 지를 gradient G로 계산하는 것 입니다!
이렇게 G가 나오면 이 gradient큰 visual토큰 일수록 현재 질문에 답할 때 모델의 uncertainty와 강하게 연결된 영역이라고 판단하는 것 입니다

이후 위의 (4)번 수식처럼 각 visual토큰을 하나의 중요도 점수로 변환 해 줍니다
앞서 얻은 각 visual토큰의 gradient G_t는 하나의 숫자가 아니라 dimension형태를 가지는 벡터입니다
따라서 L2norm을 사용해서 gradient vector의 전체 크기를 하나의 스칼라 s_i로 바꿔줍니다!
이렇게 하면 각 visual토큰마다 각 토큰이 uncertainty에 올마나 크게 영향을 주는가? 라는 하나의 importance score가 생기는 것이죠!

이 점수들을 원래 visual 토큰의 공간 위치에 맞춰서 다시 배열하면 entropy-gradient heatmap이 만들어 지고 이후 이 map에서 실제로 crop할 위치를 찾게 되는 것 입니다!!
이때 entropy-gradient heatmap은 각 visual토큰의 saliency score(중요도 점수)를 모두 모은 집합이 S={s_1,~s_N}를 공간 위치에 맞게 배열한 것 입니다!

전체흐름을 직관적으로 다시 훑어보자면 next-tokent의 확률분포를 구하고→ entropy로 불확실성을 계산 한 후 → visual token까지 역전파를 진행해주고 → 그거에 따른 token별 중요도(영향력)를 숫자로 변환해 줌으로 → grounding heatmap 생성하는 것 입니다

3 Multi-Region Selection and Ranking from Gradient Maps

앞서 각 visual토큰마다 모델의 uncertainty에 얼마나 큰 영향을 주는지!를 계산한 saliency score집합인 entropy-gradient heatmap(S={s_1,~s_N}) 구했다면, 이번에는 이걸 기반으로 실제로 정확히 어디부터 어디까지 크롭 해야 하는지를 결정하기 위해 여러 bbox로 변환하는 과정을 수행합니다!

위의 fig4의 우하단 쪽의 맵 두개(Gradient Map → Gaussian Smoothing & Binarization)가 이 단계에서 수행하는 부분입니다!

구체적으로 살펴보자면
먼저 Gaussian smoothing을 진행해줍니다. (S→S ̃ )
앞서 받은 gradient map은 실제 evidence뿐만 아니라 역전파 noise떄문에 여기저기 작은 activation이 튈 수 있다고 합니다!
예를 들어서 실제 evidence주변에는 여러 토큰들이 같이 높게 나오는데 이미지 내의 전혀 다른 곳에서 갑자기 visual 토큰이 하나가 팍 튀는 값이 나올수도 있는데 그걸 바로 ROI로 만들면 noise까지 크롭의 후보로 잡힐수가 있게 됩니다.
그렇기 때문에 Gaussian filter를 이용해서 주변값들과 약간 부드럽게 만들어 줌으로 이 heatmap을 깨끗하게 만들어 주는 것 입니다

다음으로는 이 히트맵 S ̃ 에서 중요한 곳(evidence 후보)과 아닌 곳(background)을 나누어 줍니다
이렇게 하려면 threshold τ가 하나 필요한데 저자들은 이 값을 휴리스틱하게 0.5~ 뭐 이런식으로 사람이 직접 정하는 것이 아니라 elbow method라는 것으로 현재 map의 값 분포에서 자동으로 threshold를 찾도록 합니다.
그렇게 threshold가 정해지면 아래의 수식(5)를 수행합니다

이 수식은 보이는 그대로 스레시홀드 보다 높으면 M_i=1로 evidence 후보가 되고 낮으면 M_i=0으로 background가 되는 것입니다
이렇게 하면 앞에서 구한 heatmap이 binary mask로 변환이 되게 됩니다!

근데 이렇게 바이너리 마스크를 만들게 되면 1이라는 값들이 한군데에만 모여있다는 보장은 없겠죠!?
저자들은 이 부분들을 하나의 큰 bbox로 어거지로 합치는 것이 아니라 덩어리 별로 묶어서 connected component(C1~C2)로 따로 유지해 줍니다!
이 부분이 이 섹션의 제목에 있는 Multi-Region Selection입니다!
아래의 fig5 (c)가 이런 경우를 보여주는 것으로 질문에 필요한 visual evidence가 여러 위치에 퍼져있을때 inital crops가 하나가 아니라 여러개가 나오게 되는데 이걸 그림처럼 각각을 독립적인 ROL로 가져가는 것 입니다!

하지만 이 region이 여러개 생겼다고 해서 전부 사용할 수는 없기 때문에 각 region의 중요도를 다시 계산합니다

이 수식(6)이 어떤 region이 더 중요한지 랭킹을 메기는 수식으로, C_j는 j번째 region이고 s_i는 섹션2에서 계산한 원래 entropy-gradient saliency score입니다 (바이너리맵 S ̃ 아님 )
즉 하나의 region안에 들어있는 visual token들의 saliency를 모두 합쳐서 이 region 전체가 얼마나 강한 evidence인지를 w_j라는 하나의 점수로 만드는 것 입니다!

이렇게 각 region w_j를 구하면 높은 순서대로 정렬해서 Top=K만 남깁니다
그리고 각 connected component를 원본 이미지 좌표로 돌려서 딱 감싸는 tight bounding box를 만들면 실제 crop 후보가 완성되는 것 입니다!

최종적으로는 원본 global image를 버리는 것이 아니라 global view+Top-K crops를 같이 모델에 제공하게 됩니다!

4 Iterative Refinement

마지막으로 위의 그림(b)처럼 앞서 찾은 crop을 한 번에 끝내는 것이 아니라 그 크롭 안에서 다시 grounding해서 evidence를 점점 더 정확하게 좁혀가는 과정을 수행합니다
즉 원본이미지는 global context로 남겨두고, crop들에 대해 앞의 섹션 2~3의 과정을 반복해주는 것 입니다

반복할 때마다 현재 view에서 → entropy-gradient 계산하고 → saliency map을 구해서 → binary mask로 변환 하고 → bounding box로 영역 구체화 한 후 → 더 작은 crop을 만들게 되는 것입니다!

물론 위의 그림 (a),(b)처럼 처음 grounding이 이미 어느 정도 맞기도 하지만 이렇게 하면 처음 crop이 정확하지 않은 경우에도 refinement가 복구할 수가 있게 됩니다!

이때 이 다시 grounding해서 evidence를 점점 더 정확하게 좁혀가는 과정에서는 spatial entropy라는 것을 사용합니다.
앞서 엔트로피는 모델이 답을 얼마나 헷갈려 하는가? 즉 next-token probability distribution에 대한 엔트로피였습니다! 하지만 이번에는 섹션2와는 다른 spatial entropy를 사용합니다
즉 language output probability가 아니라 지금 grounding activation이 한 곳으로 잘 모여 있는지, 아니면 여러 곳에 퍼져 있는지를 측정하기 위해 grounding mask의 공간적 분산 정도를 보는 것 입니다

위의 수식 (8)부터 보자면 P(C_i)는 전체 acvivation중 이 region에 얼마나 몰려있는 지를 말하는 값으로, 예를 들어서 마스크 안에 3개의 conponent가 있고 active토큰 수가 각각 70개,20개,10개 이렇게 있다면 P(C_i)값은 각각 0.7, 0.2, 0.1이 되는 것 입니다.

그리고 이 값들을 식(7)엔트로피 식에 넣어줍니다!
만약 activation이 한 component 대부분에 몰려 있다면 distribution이 편중되어 있다는 뜻으로 엔트로피가 낮아 지겠죠! 그럼 반대로 여러 component에 비슷하게 퍼져 있다면 엔트로피는 높아집니다
저자들은 spatial entropy가 내려간다 ⇒ grounding이 특정 region으로 더 잘 집중되고 있다! 라고 해석하는것 입니다

그럼 stopping은 어떻게 할까요?!
처음 엔트로피가 1.2였는데 0.8→ 0.4로 내려가다가 갑자기 0.7로 오른다면 더 좁게 crop했더니 오히려 grounding 퍼진다는 의미로 stop!하게 되는 것입니다. 그럼 그 직전의 crop이 최종 크롭이 되는 것이죠!

---

Experiment

실험 세팅은 아래와 같습니다

• VLM: LLaVA-1.5, LLaVA-1.6, InternVL-3.5, Qwen2.5-VL
• Benchmark :
  (Fine-grained image understanding) TextVQA, V *, DocVQA, POPE , InfoQA
  (General QA) GQA, RWQA

1. Experimental Results

위의 table1은 메인 실험 결과로 저자들이 제안하는 entropy-gradient 기반 evidence retrieval이 실제 downstream성능능 향상 시키는 지 확인한 결과 입니다!

전반적으로 fine-grained벤치마크에서 visual evidence가 중요한 테스크에서 큰 성능향상을 보이는 것을 확인할수 있습니다. 특히 V*는 모든 백본에서 일관되게 큰 개선을 보입니다!

특히 저자들의 방법과 비슷한 training-free의 crop메소드인 ViCrop과의 비교로 모든 벤치마크에서 다 뛰어난 것은 아니지만 DocVQA나 V*처럼 여러 위치의 evidence를 찾거나 정밀한 localization이 필요한 task에서 대체로 성능향상을 보이는것을 확인했습니다 특히 LLaVA-1.6를 썼을 때 57.59 → ViCrop 61.78 → Ours 73.30으로 크게 오르는 것을 볼 수 있습니다.

반면에 General QA에서 성능이 거의 유지 되거나 약간 떨어지는 것을 볼수 있는데 저자들은 이 부분에 대해 visual reasoning을 전반적으로 개선하기보다는 fine-grained evidence retrieval이 중요한 문제에서 특히 효과적인 방법이다~ 라고 합니다!

저자들은 backbone에 따라 gradient map품질도 다르다고 합니다.
위의 fig6 처럼 같은 질문에 대해 LLaVA-1.5, LLaVA-1.6, InternVL-3.5, Qwen2.5-VL의 entropy-gradient map을 비교했는데요. 관찰에 따르면 약한 백본일수록 gradient가 엉뚱한 spatial region에 형성되는 경우가 많았고 강한 모델 에서는 질문과 관련된 evidence쪽으로 더 잘 localization된다고 합니다!

특히 논문에서는 LLaVA-1.6이 가장 clean하고 coherent한 gradient map을 보인다고 하네요!
이 결과들이 중요한 이유는 이 방법론의 entropy-gradient가 외부 grounding detector가 아니라 VLM자신의 내부 상태를 그대로 이용하는 시그널이기 때문입니다
즉 grounding signal의 품질 자체는 underlying model의 representation과 uncertainty estimation 품질에 영향을 받는것이 불가피하다고 limitation으로 언급합니다!

2. Ablation Study

앞서 메소드 설명때 Iterative Refinement에서 언제 zoom을 멈출 것인지를 이 엔트로피로 결정한다고 했는데요, table2의 실험은 이 Spatial Entropy stopping이 필요한지! 에 관한 실험입니다

비교 대상은 크게 Spatial Entropy(grounding map이 계속 한곳으로 집중되는 동안 refinement를 계속하고, 다시 분산되기 시작하면 stop), Confidence(model의 first-token maximum probability를 보고 stopping), Fixed Iteration(그냥 1번, 2번, 3번으로 정해놓고 무조건 반복)으로 구성되어 있습니다

결과에서 보이다 싶이 Spatial Entropy 방식이 V*와 POPE에서 가장 높은 성능을 보이며 전반적으로 가장 안정적인 결과를 보이는 것을 확인 할수 있습니다.
ixed iteration은 데이터셋마다 적절한 반복 횟수가 달랐고 또 너무 많이 반복하면 DoCVQA처럼 오히려 성능이 떨어지는 것도 알수 있습니다

table4는 메소드 중 Multi-region이 정말 필요한지, 즉 Top-K개의 region selection을 검증하는 실험입니다. 가장 중요한 결과는 DocVQA로 하나만 크롭하면 오히려 base보다 크게 떨어지는 것을 볼수 있는데 저자들은 여러 위치의 complementary evidence가 필요한 경우 single crop만으로는 필요한 정보를 놓칠 수 있기 때문이라고 설명합니다!
또한 K=2에서 전반적으로 높은 성능을 보인것으로 즉 그 이상으로 region을 추가하는 것보다 소수의 multi-region을 사용하는 것이 가장 효과적임을 확인할 수 있습니다!

이번에는 어디 layer에서 gradient를 뽑아야 하는지에 대한 실험으로 entropy loss를 어느 LLM transformer layer의 visual representation까지 backprop해서 saliency를 계산할지를 보는 실험입니다!

fig7과 table5를 보면 대체로 낮은 레이어에서는 성능이 낮고 깊은 레이어로 갈수록 전반적으로 성능ㅇ 좋아지는 것을 확인 할수 있는데, 특히 fig7에서 layer가 깊어질수록 gradient magnitude가 커지는 경향을 확인할수 있습니다! 저자들은 요 실험을 바탕으로 마지막 레이어를 디폴트로 사용합니다!

하지만 table5의 V*와 RWQA벤치마크에서는 layer20번이 더 높은 성능을 보이는 것을 확인함으로 마지막 레이어가 항상 좋은것은 아니고 그냥 전반적으로 안정적인 선택이다~ 라고 저자들은 말합니다!

다음으로는 저자들이 제안하는 방법은 모델이 첫번째 토큰을 생성할 떄의 엔트로피를 사용하는데, 그럼 왜 첫번째 토큰의 entropy만 쓰는지에 관한 실험입니다!
생각해보면 뒤 토큰까지 생성한 다음에 gradient를 계산하면 더 정보량이 많으니까 grounding도 더 좋아지는거 아냐? 하고 의문이 들수 있습니다

저자들은 첫번째 토큰부터 네번째 토큰까지 비교실험을 합니다
위의 table6과 fig8을 통해 첫번째 토큰에서 gradient를 계산하는 것이 전반적으로 안정적인 성능을 보이는 것을 확인할수 있습니다!
저자들은 이 부분에 대해 뒤쪽 토큰으로 갈수록 이미 생성된 이전 토큰에 더 강하게 condition되면서 gradient가 특정 위치에 편향 될수 있고 실제로도 성능이 일관되게 좋아지지는 않는다고 말합니다.
또한 이후 토큰을 사용하려면 그만큼의 decoding을 더 진행해야 하기 때문에 계산 비용적으로도 비효율적이라고 하면서 첫번째 토큰의 엔트로피를 사용하기를 최종 결정 합니다!

마지막으로는 인퍼런스 비용을 확인한 실험입니다! 저도 이부분이 제일 궁금했는데요 제안하는 방법은 gradient를 얻기 위해서 포워드도하고 백워드도 하고 거기다가 iterative refinement를 반복하기 때문에 추가적인 추론비용이 들지 않을까 했는데, 이 table7 에서 볼수 있다싶이 확실히 3초내외 정도로 증가하는 것을 확인 할 수 있습니다!