[CVPR 2026] An Empirical Study on How Video-LLMs Answer Video Questions

1. Introduction

최근 Video-LLM은 단순히 이미지 한 장을 이해하는 것을 넘어, 여러 프레임으로 구성된 비디오의 내용을 이해하고 다양한 형태의 질문에 답할 수 있을 정도로 빠르게 발전하고 있습니다. LongVA, InternVideo2.5, LLaVA-Video, LLaVA-OneVision과 같은 모델들이 대표적이죠.

지금까지 Video-LLM 연구는 대부분 “어떻게 하면 성능을 더 높일 수 있을까?”에 집중해왔습니다. 예를 들어 더 크고 좋은 품질의 video instruction dataset을 구축하거나, 모델이 한 번에 볼 수 있는 frame 수를 늘리거나, 비디오 토큰에 보다 적합한 positional encoding을 설계하는 방식입니다.

하지만 저자는 여기서 조금 다른 질문을 던집니다.

“Video-LLM은 실제 내부에서 비디오를 어떻게 처리하고, 어떤 과정을 거쳐 최종 답변을 만들어내는가?”

모델의 VideoQA 성능 자체는 계속 좋아지고 있지만, 정작 그 성능이 어떤 내부 메커니즘으로부터 나오는지에 대해서는 아직 충분히 알려져 있지 않다는 것입니다. 이러한 내부 동작을 이해할 수 있다면 단순히 모델의 explainability를 높이는 것을 넘어, 불필요한 연산을 줄이거나 이후 더 나은 Video-LLM 구조를 설계하는 데에도 활용할 수 있습니다.

사실 이미지 기반 MLLM에서는 이미 이러한 interpretability 연구가 상당히 많이 진행되어 왔습니다. 예를 들어 이미지 정보가 Transformer layer를 거치면서 어떻게 전달되는지, 특정 object에 대한 visual cue가 어느 layer에서 형성되고 발전하는지, hallucination이나 undesirable generation이 logit 내부에서 어떤 형태로 나타나는지, 또는 많은 vision token 중 실제로 필요한 token은 얼마나 되는지 등을 분석하는 연구들이 존재합니다.

반면 video domain에서는 상황이 조금 다릅니다. 비디오는 이미지보다 훨씬 많은 visual token과 시간축 정보를 포함하기 때문에 내부 구조를 분석하는 것이 더욱 복잡하고, 아직 관련 연구도 많지 않습니다.

최근 일부 연구에서는 여러 Video-LLM의 외부적인 behavior를 분석하기도 했습니다. 예를 들어 VideoQA에서는 높은 성능을 보이지만 temporal grounding에서는 상대적으로 약하다거나, 비디오 자체를 perturb하는 것보다 질문의 표현을 조금 바꾸는 것에 더 민감하다는 관찰이 보고되었습니다.

하지만 이러한 연구는 대부분 모델에 입력을 바꿔 넣고 최종 출력이 어떻게 변하는지, 즉 외부적인 behavior를 관찰한 것입니다. 정작 Transformer 내부에서 비디오 정보가 어떤 layer를 통해 전달되고, 어느 attention이 실제 답변 생성에 중요한지는 여전히 명확하지 않은 것이죠.

그래서 이 논문에서는 한 단계 더 들어가 Video-LLM 내부의 information flow를 직접 분석합니다.

먼저 위 그림 1은 일반적인 Video-LLM의 구조를 보여주고 있습니다. 앞서 설명드린 일반적인 VLM과 크게 다르지는 않습니다. 입력된 video frame을 vision encoder에 통과시키면 여러 개의 video token이 만들어집니다. 이후 projector를 통해 이 token들을 LLM의 embedding space에 맞춰주고, 질문에 해당하는 language token과 함께 LLM에 입력합니다.

여기서 중요한 점은 이렇게 입력된 각각의 video token이 LLM의 모든 Transformer layer를 통과한다는 것입니다.

각 layer에서는 video token끼리 서로 정보를 주고받기도 하고, 질문 token이 video token을 참조하기도 합니다. 이러한 상호작용이 layer를 거듭하면서 누적되고, 최종적으로 모델이 질문에 대한 답을 생성하게 됩니다.

저자는 여기서 Video-LLM 내부 attention을 크게 세 종류로 나눕니다.

첫 번째는 temporal attention입니다. 서로 다른 video frame 사이에서 정보를 주고받는 attention으로, 시간에 따른 변화나 움직임을 이해하는 데 사용될 수 있습니다.

두 번째는 spatial attention입니다. 동일한 frame 내부의 서로 다른 visual token끼리 정보를 주고받는 attention으로, 한 장면 안에서 object나 공간적 관계를 이해하는 역할을 합니다.

마지막은 language-to-video attention입니다. 질문에 해당하는 language token이 video token을 참조하는 attention입니다. 쉽게 말하면 모델이 질문을 보고 “이 질문에 답하려면 비디오의 어느 정보를 가져와야 하는가?”를 찾는 과정이라고 생각해주시면 됩니다.

그러면 다음 질문이 생깁니다.

“이 세 종류의 attention이 실제 VideoQA 성능에 각각 얼마나 중요한가?”

이를 확인하기 위해 저자는 attention knockout이라는 상당히 직관적인 실험을 사용합니다.

특정 attention connection만 선택적으로 차단해보고, 그 상태에서 VideoQA 성능이 얼마나 떨어지는지를 확인하는 것입니다. 만약 어떤 attention을 제거했을 때 성능이 크게 떨어진다면, 해당 attention이 실제 답변 생성에 중요한 역할을 하고 있다고 볼 수 있습니다. 그리고 단순히 전체 모델에서 attention을 제거하는 것뿐만 아니라, 어느 layer에서 제거했을 때 영향을 받는지까지 분석합니다.

이를 위해 실험을 크게 global setting과 fine-grained setting으로 나눕니다.

먼저 global setting에서는 두 가지 질문을 확인합니다.

첫 번째는 Video-LLM에도 image VLM에서 관찰되었던 two-stage processing pattern이 존재하는가입니다.

즉 Transformer의 앞쪽 layer에서는 주로 비디오 정보를 읽어들이고, 뒤쪽 layer에서는 이미 추출된 정보를 이용해 semantic reasoning을 수행하는 식으로 역할이 나뉘어 있는지를 확인합니다.

두 번째는 전체적인 관점에서 temporal, spatial, language-to-video attention 중 어떤 attention이 VideoQA에 가장 중요한가를 확인합니다.

다음으로 fine-grained setting에서는 layer 하나하나를 조금 더 자세히 들여다봅니다. 즉 특정 layer의 temporal attention만 제거하거나, spatial attention만 제거하거나, language-to-video attention만 제거했을 때 성능이 어떻게 변하는지 확인하면서 VideoQA에 결정적인 layer가 어디인지를 찾는 것입니다.

저자는 이러한 분석을 하나의 모델에만 수행하지 않습니다. LongVA-7B, InternVideo2.5-8B, LLaVA-Video-7B, LLaVA-OneVision-7B, LLaVA-NeXT-Video-32B까지 다양한 구조와 크기의 Video-LLM을 사용합니다.

벤치마크 역시 특정 종류의 비디오에 편향되지 않도록 구성합니다. 짧은 비디오 기반의 다양한 VideoQA task를 포함하는 MVBench, 중간 길이의 egocentric video를 사용하는 EgoSchema, 그리고 긴 비디오를 다루는 Video-MME를 함께 사용합니다.

이러한 실험을 통해 저자는 크게 네 가지 observation을 얻습니다.

첫 번째로, 모델의 일정 layer 이후부터 language-to-video attention을 제거해도 성능이 거의 떨어지지 않습니다. 예를 들어 전체 layer의 약 60% 이후에서 language-to-video attention을 막더라도 여러 모델과 benchmark에서 성능 변화가 크지 않았습니다.

이 결과는 상당히 중요한데, 모델이 비디오 정보를 마지막 layer까지 계속 읽어들이는 것이 아니라는 것을 의미합니다. 즉 앞쪽 layer에서 필요한 비디오 정보를 어느 정도 추출하고 나면, 뒤쪽 layer에서는 video token에 계속 접근하지 않아도 답변을 만들어낼 수 있다는 것입니다.

두 번째로, 반대로 모든 layer에서 language-to-video attention을 제거하면 성능이 크게 떨어집니다. 흥미로운 점은 temporal attention이나 spatial attention을 제거했을 때보다 language-to-video attention을 제거했을 때 성능 감소가 훨씬 크다는 것입니다. 일반적으로 비디오를 이해한다고 하면 frame 간 temporal modeling이 굉장히 중요할 것 같지만, 실제 현재 Video-LLM에서는 그것보다도 질문 token이 직접 video token에서 필요한 정보를 가져오는 과정에 훨씬 크게 의존하고 있다는 것입니다.

세 번째로 fine-grained하게 각 layer를 분석해봐도 동일한 경향이 나타납니다. 대부분의 layer에서 temporal이나 spatial attention보다 language-to-video attention을 제거했을 때 더 큰 성능 감소가 나타납니다.

마지막으로 더 중요한 관찰이 하나 있습니다.

모든 Transformer layer가 VideoQA에 동일하게 중요한 것이 아닙니다.

예를 들어 28-layer 모델을 분석해보면 중간에 위치한 12~16 layer 정도의 일부 layer에서 attention을 제거했을 때는 성능이 크게 떨어지지만, 나머지 상당수 layer에서는 attention을 제거해도 성능 변화가 거의 없습니다. 즉 VideoQA를 수행하는 과정에서 소수의 특정 layer가 비디오 정보를 처리하는 핵심 bottleneck 역할을 하고 있다는 것입니다.

이 결과들을 종합하면 현재 Video-LLM의 내부 동작을 크게 세 가지로 정리할 수 있습니다.

첫 번째로 Video-LLM은 two-stage processing pattern을 갖습니다. 앞쪽 layer에서는 비디오 정보를 추출하는 데 집중하고, 뒤쪽 layer에서는 앞에서 얻어진 정보를 기반으로 답변을 reasoning합니다.

두 번째로 현재 Video-LLM은 비디오를 이해할 때 computational cost가 큰 temporal/spatial attention보다, language-to-video attention에 훨씬 강하게 의존하고 있습니다.

세 번째로 모든 layer가 동일하게 중요한 것이 아니라, 일부 특정 middle layer가 VideoQA 성능을 결정하는 핵심적인 역할을 합니다.

그렇다면 여기서 또 하나의 자연스러운 질문을 던질 수 있습니다.

“뒤쪽 layer에서는 이미 비디오를 거의 사용하지 않는다면, 굳이 수많은 vision token을 끝까지 가지고 갈 필요가 있을까?”

저자는 앞선 분석 결과를 바로 모델 효율화로 연결합니다.

일정 비율의 layer까지 video token을 처리한 뒤, 이후 layer에서는 모든 vision token을 제거하는 vision token early exit 전략을 적용합니다.

굉장히 단순한 방법이지만, 이미 앞쪽 layer에서 필요한 video information이 충분히 추출된 상태이기 때문에 성능은 거의 유지하면서도 이후 layer에서 처리해야 하는 token 수를 크게 줄일 수 있습니다.

저자는 이를 통해 기존에 black-box처럼 사용되던 Video-LLM의 내부 processing pattern을 보다 명확하게 보여주고, 앞으로 Video-LLM을 더 효율적으로 설계하거나 중요한 layer만 선택적으로 활용할 수 있는 가능성을 제시하고 있습니다.

방법론에서 실제 attention knockout을 어떻게 구현했는지와 각 실험에서 어떤 layer가 중요하게 나타났는지는 이어서 살펴보겠습니다.

2. Investigation Design

2.1 Preliminary

먼저 일반적인 Video-LLM 구조를 간단하게 정리하고 넘어가겠습니다. Video-LLM은 보통 vision encoder, projection layer, decoder-only LLM으로 구성됩니다. 입력 비디오는 먼저 N개의 frame으로 sampling되고, 각 frame x_i는 CLIP-L/14와 같은 vision encoder를 통해 visual token으로 변환됩니다. 이후 projection layer를 거쳐 LLM의 hidden dimension에 맞춰집니다.

text input 역시 embedding을 통해 text token T로 변환되고, 최종적으로 video token 뒤에 text token을 붙여 하나의 multimodal sequence를 구성합니다.

이 multimodal sequence는 이후 (L)개의 Transformer layer를 통과합니다. 각 layer는 attention block과 FFN으로 구성되며, 간단하게 아래와 같이 표현할 수 있습니다.

실제 모델에는 residual connection도 있지만, 수식을 단순하게 표현하기 위해 여기서는 생략합니다.

앞서 입력 순서가 video token 뒤에 text token이 오는 구조였기 때문에, text token은 앞에 있는 video token을 attention할 수 있습니다. 동시에 video token끼리도 같은 frame 내부 또는 서로 다른 frame 사이에서 attention을 주고받게 됩니다.

이러한 attention 흐름을 저자는 이후 세 종류로 나누어 분석합니다.

---

2.2 Three Types of Attention Knockout

위 그림 2는 기본 causal attention과 논문에서 사용하는 세 종류의 attention knockout을 보여주고 있습니다. Attention knockout은 특정 token 사이의 attention connection만 막아보고, 해당 information flow가 최종 성능에 얼마나 영향을 미치는지 확인하는 분석 방법입니다.

저자는 Video-LLM 내부의 attention을 세 종류로 나눕니다.

첫 번째는 Language-to-Video Attention입니다. text token이 앞쪽의 video token을 바라보는 attention입니다.

두 번째는 Video Temporal Attention으로, 서로 다른 frame에 속한 video token 사이의 attention입니다.

마지막은 Video Spatial Attention으로, 동일한 frame 안에 있는 video token 사이의 attention입니다.

이에 맞춰 세 종류의 knockout을 정의합니다.

Language-to-Video Knockout, LV-K는 text token이 video token을 attention하지 못하도록 막습니다. 따라서 video에서 language 쪽으로 전달되는 information flow가 차단됩니다.

Video Temporal Knockout, VT-K는 서로 다른 frame 사이의 attention을 막습니다. 같은 frame 내부의 spatial attention과 language-to-video attention은 그대로 유지됩니다.

마지막으로 Video Spatial Knockout, VS-K는 같은 frame 안에 있는 video token끼리의 attention을 막습니다.

결국 특정 attention만 선택적으로 제거해보고, 어떤 종류의 information flow가 VideoQA 성능에 중요한지 확인하는 것입니다.

---

2.3 Investigation Settings

이제 앞에서 정의한 세 종류의 knockout을 어느 layer에 적용할 것인지에 따라 실험 setting을 나눕니다.

각 Transformer layer는 다음 네 가지 상태 중 하나를 가질 수 있습니다.

즉 실험에서 조절하는 것은 크게 두 가지입니다.

어떤 attention을 knockout할 것인지, 그리고 어느 layer에서 knockout할 것인지입니다.

이를 바탕으로 세 가지 setting을 구성합니다.

Global Setting 1

첫 번째는 Video-LLM에 stage별 역할 분리가 존재하는지 확인하기 위한 실험입니다. 특정 layer i까지는 기존 attention을 그대로 사용하고, 그 이후 모든 layer에서는 LV-K를 적용합니다.

쉽게 말하면 모델이 몇 번째 layer까지 video를 참조할 수 있도록 허용할 것인지를 바꿔보는 실험입니다. 예를 들어 cutoff가 10번째 layer라면 1~10 layer에서는 language token이 video token을 볼 수 있지만, 그 이후 layer에서는 해당 attention을 모두 막습니다.

이 cutoff를 1, 3, 5처럼 2 layer 간격으로 뒤로 옮겨가면서 성능 변화를 측정합니다. 마지막 layer까지 허용하면 knockout이 전혀 없는 vanilla model과 동일해지기 때문에 baseline이 됩니다.

이를 통해 “Video-LLM에도 명확한 staged processing pattern이 존재하는가?”를 확인합니다.

Global Setting 2

두 번째는 세 attention type의 전체적인 중요도를 비교하는 실험입니다.

이번에는 특정 knockout 하나를 선택한 뒤 모든 Transformer layer에 동일하게 적용합니다.

즉 모든 layer에서 LV-K를 적용한 경우, 모든 layer에서 VT-K를 적용한 경우, 모든 layer에서 VS-K를 적용한 경우의 VideoQA 성능을 각각 비교합니다. 이를 통해 language-to-video, temporal, spatial attention 중 어떤 attention이 전체적으로 VideoQA 성능에 가장 크게 기여하는지 확인합니다.

Fine-grained Setting

마지막은 각 attention이 어느 layer에서 중요한지 조금 더 세밀하게 확인하는 실험입니다.

특정 knockout을 모델 전체에 적용하는 것이 아니라, 연속된 4개 layer에만 적용하는 sliding window 방식을 사용합니다.

예를 들어 window의 마지막 layer가 x라면, {x-3,x-2,x-1,x} 이 네 개 layer에만 knockout을 적용하고 나머지 layer는 원래 attention을 그대로 사용합니다.

이 4-layer window를 모델 앞쪽부터 뒤쪽까지 이동시키면서 LV-K, VT-K, VS-K를 각각 적용해봅니다. 결국 이 실험을 통해 “각 attention type이 정확히 어느 layer 구간에서 VideoQA 성능에 큰 영향을 주는가?”를 확인하게 됩니다.

3. Experiments and Observations

3.1 Experiment Details

먼저 실험에 사용한 dataset과 model부터 간단하게 살펴보겠습니다.

저자는 VideoQA 환경에서 Video-LLM의 내부 동작을 분석하기 위해 Video-MME, MVBench, EgoSchema 세 개의 benchmark를 사용합니다. 세 dataset은 video 길이, 해상도, 시점, scene 종류, question type 등이 서로 다르게 구성되어 있어 특정 task에 한정되지 않고 결과를 확인할 수 있습니다.

Video-MME는 총 900개의 video와 2,700개의 QA pair로 구성되어 있으며, knowledge, film & TV, sports, performing arts, daily life 등 다양한 domain을 포함합니다.

MVBench는 비교적 짧은 video를 대상으로 temporal reasoning 능력을 평가하는 benchmark입니다. action sequence, prediction, object permanence, motion analysis 등 총 20개의 task로 구성되고, 전체 4,000개의 QA pair를 사용합니다.

EgoSchema는 3분 길이의 egocentric video를 기반으로 만들어진 multiple-choice VideoQA dataset입니다. 전체 5,000개 question 중 공개되어 있는 500개 subset을 사용해 평가합니다.

모델은 LongVA-7B, InternVideo2.5-8B, LLaVA-Video-7B, LLaVA-OneVision-7B를 주로 사용하고, 결과가 큰 모델에서도 유지되는지 확인하기 위해 LLaVA-NeXT-Video-32B도 추가로 실험합니다. 기본적으로 각 video에서 uniform sampling을 통해 32 frame을 입력하고, 추가로 8, 16, 32, 64 frame으로 입력 길이를 바꿔가며 같은 현상이 나타나는지도 확인합니다.

---

3.2 Do Video-LLMs Exhibit a Clear Staged Pattern?

먼저 Video-LLM에서도 layer에 따라 역할이 나뉘는 staged processing pattern이 존재하는지를 확인합니다. 이를 위해 앞서 설명한 Global Setting 1을 사용합니다. 특정 layer까지는 language-to-video attention을 그대로 유지하고, 그 이후 모든 layer에서는 LV-K를 적용합니다.

모델마다 전체 layer 수와 원래 성능이 다르기 때문에 비교를 쉽게 하기 위해 두 가지 지표를 사용합니다.

첫 번째는 layer ratio입니다. 전체 layer 중 language-to-video attention을 유지한 layer의 비율입니다.

예를 들어 layer ratio가 60%라면 앞의 60% layer에서는 text token이 video token을 볼 수 있고, 뒤쪽 40% layer에서는 language-to-video attention이 모두 차단됩니다.

두 번째는 performance ratio입니다. 아무 knockout도 적용하지 않은 original model의 성능을 100%라고 두고, 현재 setting에서 성능이 얼마나 유지되는지를 나타냅니다.

위 그림 3을 통해 크게 세 가지 결과를 확인할 수 있습니다. 먼저 모든 layer에서 video information을 차단한 경우에도 어느 정도의 성능은 남아있습니다. 모델과 benchmark에 따라 original performance의 약 48%에서 최대 70% 정도를 유지합니다.

video를 전혀 활용할 수 없는 상황인데도 이 정도의 성능이 나온다는 것은 LLM 내부에 이미 상당한 world knowledge가 들어있다는 것을 보여줍니다. 다만 original model과 비교하면 성능이 크게 떨어지기 때문에, VideoQA에서 visual information이 중요한 것도 함께 확인할 수 있습니다.

다음으로 layer ratio를 0%에서 60%까지 늘려가면 성능이 점차 상승합니다.

특히 여러 benchmark에서 50~60% 구간에서 성능이 크게 회복되는 모습을 볼 수 있습니다.

저자는 이를 바탕으로 middle layer 부근이 visual information processing에서 중요한 역할을 하고 있다고 해석합니다. 뒤에서 살펴볼 fine-grained experiment에서도 이 부분을 조금 더 자세히 확인합니다.

가장 중요한 결과는 약 60% 이후의 layer에서 language-to-video attention을 차단해도 성능 변화가 거의 없다는 것입니다.

앞쪽 약 60%의 layer까지만 video information을 사용할 수 있도록 하고, 나머지 layer에서는 video-to-language information flow를 차단해도 original model과 비슷한 성능을 유지합니다.

저자는 이 결과를 바탕으로 Video-LLM이 two-stage processing pattern을 가진다고 이야기합니다.

앞쪽 stage에서는 주로 video information을 추출하고, 뒤쪽 stage에서는 앞에서 얻은 정보를 바탕으로 higher-level reasoning을 수행한다는 것입니다.

그림 4에서는 Video-MME를 perception, recognition, reasoning 등 여러 task type으로 나눠 같은 실험을 진행합니다.

task가 달라져도 앞에서 본 것과 유사하게, 일정 layer 이후의 visual information flow를 차단해도 성능이 크게 변하지 않는 경향이 나타납니다.

추가로 여러 모델과 benchmark, 그리고 32B 모델에서도 비슷한 패턴이 관찰됩니다.

결과적으로 저자는 대부분의 Video-LLM에서 첫 번째 stage가 전체 layer의 약 60% 지점에서 끝나는 two-stage pattern이 나타난다고 정리합니다.

---

3.3 Globally, How Does Each Attention Type Contribute to VideoQA Performance?

다음으로 세 종류의 attention이 전체적으로 VideoQA 성능에 얼마나 기여하는지 확인합니다.

여기서는 Global Setting 2를 사용합니다.

LV-K, VT-K, VS-K 중 하나를 선택해 모든 Transformer layer에 동일하게 적용한 뒤 성능 변화를 비교합니다.

위 그림 5에서 가장 눈에 띄는 부분은 temporal attention이나 spatial attention을 모두 제거해도 성능 하락이 생각보다 크지 않다는 점입니다.

반면 모든 layer에서 language-to-video attention을 제거하면 성능이 크게 떨어집니다.

세 attention을 비교해보면 현재 Video-LLM은 VideoQA를 수행할 때 Video Temporal Attention이나 Video Spatial Attention보다 Language-to-Video Attention에 훨씬 크게 의존하고 있음을 확인할 수 있습니다.

저자는 이를 통해 현재 Video-LLM의 spatial-temporal modeling이 video token끼리의 self-attention 자체보다는, language token이 video token과 interaction하면서 필요한 정보를 가져오는 과정에 더 크게 의존한다고 분석합니다.

이 결과는 효율성 측면에서도 흥미롭습니다.

video token 수는 굉장히 많기 때문에 video token끼리 수행되는 temporal/spatial attention은 computational cost가 큽니다. 그런데 실제 성능에 미치는 영향은 language-to-video attention보다 상대적으로 작게 나타난 것입니다.

이 결과가 입력 frame 수에 따라 달라지는지도 확인합니다.

LLaVA-Video-7B와 LLaVA-OneVision-7B에 8, 16, 32, 64 frame을 각각 입력하고 동일한 Global Setting 2 실험을 수행합니다.

frame 수가 달라져도 전체적인 결과는 동일합니다.

Temporal, Spatial Attention을 knockout했을 때보다 Language-to-Video Attention을 knockout했을 때 훨씬 큰 성능 감소가 나타납니다.

따라서 앞선 observation이 특정 frame length에서만 나타나는 현상은 아니라는 것을 확인합니다.

---

4.4 At a Fine-Grained Level, How Does Each Attention Type Impact VideoQA Across Different Layers?

앞에서는 attention type을 모델 전체에 적용해 큰 흐름을 확인했다면, 이번에는 어느 layer가 실제로 중요한지 조금 더 세밀하게 분석합니다.

이를 위해 Fine-grained Setting을 사용합니다.

연속된 4개의 layer만 선택해 LV-K, VT-K, VS-K 중 하나를 적용하고, 이 window를 모델 앞쪽부터 뒤쪽까지 이동시키면서 성능 변화를 확인합니다.

실험 결과 크게 세 가지 특징이 나타납니다.

먼저 대부분의 layer window에서 Language-to-Video Attention을 제거했을 때 가장 큰 성능 감소가 나타납니다.

앞서 global experiment에서 확인한 것과 마찬가지로, 개별 layer 단위로 보더라도 language-to-video information flow의 영향이 Temporal이나 Spatial Attention보다 크게 나타나는 것입니다.

두 번째로 모든 layer가 동일하게 중요한 것은 아닙니다.

특정 layer 구간에서는 knockout을 적용했을 때 성능이 크게 떨어지는 반면, 상당수 layer에서는 같은 knockout을 적용해도 성능 변화가 작습니다.

저자는 성능에 큰 영향을 주는 이러한 layer를 critical layer라고 부릅니다.

critical layer의 위치는 모델이나 task에 따라 조금씩 달라지지만, 공통적으로 앞서 확인했던 first stage 내부에 위치하는 경향을 보입니다.

마지막으로 개별 layer 수준에서도 대부분 Language-to-Video Attention이 Temporal이나 Spatial Attention보다 더 큰 영향을 미칩니다.

전체 결과를 정리하면, VideoQA에서는 모든 layer와 모든 attention이 동일하게 사용되는 것이 아니라 특정 first-stage layer와 Language-to-Video Attention이 특히 중요한 역할을 하고 있음을 확인할 수 있습니다.

---

4. Potential Applications

앞선 분석 결과를 보면 현재 Video-LLM에는 계산 측면에서 줄일 수 있는 부분이 꽤 존재합니다.

저자는 크게 두 가지 observation을 활용합니다.

첫 번째는 Video-LLM이 two-stage processing pattern을 가진다는 것이고, 두 번째는 first stage 내부에서도 일부 critical layer만 성능에 큰 영향을 미친다는 것입니다.

이를 바탕으로 굉장히 간단한 efficiency strategy를 적용합니다.

먼저 first stage가 끝난 이후에는 video token을 모델에서 완전히 제거합니다.

그리고 first stage 내부에서도 상대적으로 중요하지 않은 layer에서는 temporal attention을 제한합니다.

위 Table 1에서는 LLaVA-Video와 LLaVA-OneVision에 이 전략을 적용한 결과를 보여주고 있습니다.

먼저 Exit only는 layer 18 이후부터 video token을 모두 제거하는 setting입니다.

LLaVA-Video의 경우 attention FLOPs가 기존의 64.3% 수준으로 줄어들지만 Video-MME, MVBench, EgoSchema 성능은 거의 그대로 유지됩니다.

LLaVA-OneVision에서도 비슷한 경향을 확인할 수 있습니다.

다음으로 Exit + Window에서는 video token early exit에 더해, 상대적으로 덜 중요한 1~8 layer에서는 frame 간 temporal attention까지 제한합니다.

이 경우 attention FLOPs를 약 37.5% 수준까지 줄일 수 있습니다.

성능은 일부 감소하지만 전체적으로 baseline과 비교해 상당 부분 유지됩니다.

다만 저자는 이 setting이 최적의 방법이라고 주장하지는 않습니다.

여기서는 모든 task에 동일한 고정 layer를 사용했지만, 앞선 분석에서 critical layer의 위치가 task마다 조금씩 달라졌기 때문입니다.

따라서 향후에는 입력 task에 따라 critical layer나 attention 범위를 동적으로 선택하는 방식이 더 효과적일 수 있다고 이야기합니다.