[ICML2026]VideoKR: Towards Knowledge- and Reasoning-Intensive Video Understanding

본 논문은 새롭게 수집된 고품질의 QA 밴치마크 데이터셋을 제공하고, 이를 활용하였을때 모델의 성능이 개선됨을 통해 잘 구성된 데이터셋이 모델 성능 개선에 필수 요소임을 드러낸 연구입니다. 이번 리뷰에서는 연구가 제안한 데이터셋은 어떻게 수집 및 가공 되었는지 설명하고, 해당 데이터를 학습 등에 활용하였을때 성능개선을 통해 본 데이터셋의 유용함과 프레임워크에서 학습 데이터의 중요성에 대해 다루어보겠습니다.

[VideoKR]

본 연구는 VideoKR이라는 perception에 집중했던 기존 video understanding 연구의 데이터셋의 약점을 보완하고 knowledge, reasoning 기반의 video understainding 수행을 위해 구축된 large-scale training corpus를 제안합니다.

제안된 데이터셋은 기존 데이터셋이 아닌 새롭게 수집된 비디오로 구성되었으며, 특히 강의영상 등 전문가 도메인 데이터에 대해 다양하게 수집되었습니다. 또한 CC 라이센스로 사용이 자유로우며, 제안하는 파이프라인으로 다양성 높은 난이도의 QA 세트를 생성해 제공합니다. 본 밴치마크는 학습에 사용되는 VideoKR-SFT-201K(SFT 학습에 활용), VideoKR-RL-114K(RL 학습에 활용)와 평가에 사용되는 VideoKR-Eval로 구성되는데, VideoKR-Eval의 경우 기존의 단일 프레임 의존성이나 특정 정보만으로 해결하는 shortcut이 아닌 모델의 실제 이해 능력을 평가하기 위해 전문가들이 직접 검증하여 품질이 높다는 점이 contribution 중 하나입니다.

CC 라이센스: CC 라이선스(Creative Commons License, CCL)는 창작자가 자신의 저작물을 사람들이 ‘어떤 조건하에 자유롭게 이용할 수 있는지’를 미리 명시해 두는 라이선스로, 미리 공지된 규칙을 지킨다면 별도의 허락 없이 누구나 자유롭게 사용, 2차 창작이 가능함.

본 데이터셋은 최근 Video understanding datasets의 추세에 따라 perception이나 shortcut 방식으로 해결되는 문제가 아닌, 비디오에 대한 실질적인 이해가 있어야하는 문제들로 구성하였으며, 이러한 추세에 한발 더 나아가 과학적 근거 기반이나 도메인 지식이 필요한 심층적 비디오 추론으로 확장하기 위해 전문지식 도메인의 데이터셋을 수집하여 제공합니다.

[VideoKR Training Corpus 구축 파이프라인]

품질 관리되는 training corpus 생성을 위해 저자들은 반자동 파이프라인을 구축했습니다. 또한 생성 데이터셋의 품질 검증을 위해 데이터셋 구축에 34명의 대학원수준의 도메인 전문가를 참여시켰다고 합니다. 전반적인 파이프라인은 상단의 Figure2와 같으며 다음의 3단계 프로세스로 구성됩니다: Domain Knowledge Bank Construction, Knowledge-Driven Video Collection, Skill-Oriented Example Generation.

# Domain Knowledge Bank Construction

본 데이터셋은 고난이도의 추론을 다루고자하는 최신 Video understanding datasets 트렌드에 한발 더 나아가서 전문가 도메인을 다루고자 했습니다. 이를 위해 연구에서는 대학의 학부 교육과정 기반으로 지식포인트(본 논문에서의 지식단위)를 추출해 도메인 지식 뱅크를 구축하고자 했습니다.

도메인 지식 뱅크 구축을 위해 연구에서는 전세계 주요 대학의 교육과정에서 4개의 주요 분야(Natural Scences, Healthcare, Humanities and Social Sciences, Engineering)에서 82개의 대표 교과목을 선정(appendix A.1 )했습니다. 선택한 과정에 대해 전문가들이 교육과정을 바탕으로 강의계획서를 작성하였으며, 강의 주제마다 LLM을 활용하여 핵심 용어(term)와 그에 대한 한 문단 정도의 정의로 구성된 지식 포인트를 식별하도록 하여 63,745개의 지식포인트를 획득하고 이를 통해 도메인 지식 뱅크를 구축했습니다.

# Knowledge-Driven Video Collection

저자들은 구축한 도메인 지식 뱅크를 통해 비디오를 수집했습니다. 비디오 수집을 위해 단순히 term(예를 들어 “뉴턴 제2법칙”)을 활용한 것이 아니라 LLM으로 생성한 확장된 1-3개의 시나리오(예를 들어 “뉴턴 제2법칙(가속도의 법칙)”을 “하늘로 발사되는 로켓”으로 확장)를 같이 활용했습니다. 이렇게 생성된 키워드를 통해 youtube data api로 법적 재사용이가능한 CC 라이센스 영상 중 30분 미만의 영상을 수집하였으며, 영상의 내용이 실제로 검색 키워드와 일치하는지 2차 검증을 MLLM으로 수행하였습니다. 또한 잠재적으로 유해한 콘텐츠를 제거하기 위해 4프래임을 렌덤으로 선택하여 Azure AI를 통해 유해한 비디오에 대한 필터링을 마쳤으며 총 146,567개의 CC-licensed 비디오를 수집했습니다.

# Skill-Oriented Example Generation

앞선 과정을 통해 다양성 높고 도메인 지식이 요구되는 고품질의 CC-licensed 비디오를 수집했습니다. 다음으로는 해당 비디오를 기반으로 예제를 생성해야합니다. 저자들은 perception을 넘어 비디오 이해의 핵심 역량을 기반으로 예제를 설계했습니다. 저자들이 말하는 “비디오 이해”의 핵심 스킬은 다음의 세가지로 구성됩니다: Basic Video Reasoinign(VIDR) 외부 지식 없이 시각적 증거로 사건 해결 능력, Knowledge-enhanced Video Perception(KNOWVID) 관찰된 시각 정보와 도메인 지식을 연결해 문제를 해결하는 능력, Knowledge-intensive Video Reasoning(KNOWVIDR) 지식과 시각정보를 결합해 복잡한 다단계 추론을 통해 문제를 해결하는 능력.

즉, 데이터셋을 통해 “비디오 이해”를 학습하기 위해서는, 데이터셋이 위의 3가지 문제 해결 능력이 요구되는 예제들을 다양하게 다루고 있어야 합니다. 저자들은 정의한 세가지 스킬에 따라 모델에게 예제를 생성시킬때 프롬프트 입력값으로 제공하여 다양한 난이도의 예제를 생성했습니다. 프롬프트에 활용되고 기준이 되는 시드 예시는 전문가가 직접 생성하였으며 skill 별로 150개의 예제를 생성하여 총 1800개(4분야 x 3skill x 150)의 시드예제를 기반으로 예제를 생성했습니다. 시드 예제을 프롬프트 입력으로 MLLM을 통해 하나의 영상에 대해 6개의 예제(skill 당 2개의 예제)를 생성하였으며 3단계의 검증을 진행했습니다. 검증으로는 먼저 생성된 질문과 비디오 프레임을 통해 모델에게 답변을 생성하도록 하는 자기 일관성 검증을 수행했으며, 해당 검증에서 생성되는 추론 과정을 CoT 학습을 위한 reasoning trace로 제공합니다. 다음으로 비디오 의존성 필터링을 거쳤는데, 생성된 QA가 시각적 정보 없이 해결할 수 있는지 검토하는 것으로, InternVL3.5-38B와 Qwen3-VL-32B-Instruct 모델에게 텍스트와 무작위 4개의 프레임을 주고 문제를 해결하면 해당 예제를 제거하는 절차입니다. 이는 기존 데이터셋 필터링 방식보다 엄격한 기준으로 shortcut 을 포함한 예제를 배제한 것입니다. 마지막은 CoT 논리 검증으로 강력한 MLLM 모델들을 검증기로 사용(appendix a.4, Gpt, Claude와 같은 상용 모델 활용)하여 CoT 과정에서 시각적 근거를 확인하는지, 추론에 활용된 도메인 지식이 적절한지 등을 검증했다고 합니다.

# VideoKR Data Quality Control

VideoKR 데이터의 퀄리티를 보장하기 위한 저자들의 전략으로 크게 3가지를 다룹니다. 먼저 검증기의 다양성입니다. 기존연구의 경우 단일 모델을 검증기로 활용하였으나 저자들은 7개의 프런티어 모델(GPT-5.2, GPT-5-mini, Claude-4.5-Sonnet, Gemini-3-Flash, DeepSeek-V3.2, Qwen3-VL-235B-A22B, GLM-4.6V)풀을 구축하여 활용했습니다. 또한 데이터 생성에 있어 각 단계마다 100개의 무작위 샘플을 추출하여 전문가가 직접 오류율을 평가하였고 오류율이 3% 이하인 모델만 검증기로 사용하도록 제안하며 검증의 품질을 높였습니다.

다음으로 평가 데이터가 다른 데이터와 겹치는 등의 문제를 예방하기 위해 기존 벤치마크의 ID가 학습에 포함되지 않도록 제거하였으며 프레임 수준의 해싱 비교나 윈도우 시퀀스 매칭과 같은 방법으로 영상속에서 기존 벤치마크와 유사한 내용이 있다면 제거하도록 조취하였습니다. 마지막으로 전문가 10명이 VideoKR-SFT-201K에서 무작위로 샘플링된 800개의 예시를 직접 평가하여 사람의 검증까지 거쳤습니다.

위의 3단계 파이프라인과 검증과정으로 수집, 구축된 315,537개의 예제는 무작위로 2가지 서브셋으로 나누어졌으며, SFT를 위한 예제와 RL을 위한 예제로 구분되었습니다. VideoKR-SFT-201K 는 supervised fine-tuning을 위한것이며 VideoKR-RL-114K은 RLVR 학습을 위한 것 입니다. SFT 학습 데이터의 경우 모델이 논리적인 사고과정을 배우는것이 목적이므로 질문과 정답뿐만 아니라 검증된 CoT 역시 학습 대상으로 포함되지만 RLVR 데이터이ㅡ 경우 질문과 최종 정답만을 포함한다는 차이점이 있습니다. 전체적인 통계적 차이는 Figure2의 우측 table을 참고하시면 됩니다.

[VideoKR-Eval Benchmark 구축 방법]

저자는 단순이 perception위주의 예제로 구성되거나 영상의 특정 영역 혹은 영상을 보지않고 문제를 해결하는 shortcut 현상을 포함한 기존 벤치마크의 한계를 해결하기 위해 새로운 eval benchmark인 VideoKR-Eval을 제시합니다. VideoKR은 기존 벤치마크(VideoMMMU, MMVU, SciVideoBench)의 각 예제를 최신 3종의 MLLM 모델(Qwen3-VL-235B-A22B, Claude-4.5-Sonnet, GPT-5.2)을 통해 필터링하였습니다. 질문,선택지, 비디오에서 랜덤 추출된 하나의 영상이 제공되었을 때 하나의 예시당 3개의 모델에 대해 3번씩 반복(총 9번 반복)하여 한번이라도 맞추었다면 단일 프레임으로 해결가능한 문제로 필터링 되었습니다. 이때 필터링된 746개의 영상의 경우 전문가가 다시 어노테이션 하였으며 1,254개의 유지된 기존 예시와 합쳐서 2,000개의 예시로 VideoKR-Eval을 구성했습니다.

[Experiment]

# Main results

저자들은 새로운 밴치마크를 제시했을 뿐 만 아니라, 실질적인 “비디오 이해”를 다루는 고품질의 데이터셋이 모델 학습에 긍정적 영향을 미침을 보였습니다. 이를 위해 추가적인 학습 알고리즘의 도입없이 일반적으로 활용되는 SFT-> RL의 2 stage 학습기법인 post-training에 VideoKR을 활용했을때 결과를 나타내었으며 Table 3과 같습니다. 실험 결과 Qwen2.5-VL-7B-Instruct와 Qwen3-VL-8B-Instruct 베이스 모델에 VideoKR을 사용하여 사후학습 하였을 때 비교적 어려운 추론인 지식 집약적 비디오 추론에서 성능이 개선되었음을 확인할 수 있었습니다. (일반 비디오 추론에서도 거의 유지하거나 개선됨)

# Case Study

저자들은 VideoKR을 학습하는것이 단순히 도메인 정보를 추가적으로 암기하는 것이 아니라 추론에 통합해 활용하는 것을 확인하기 위해 case study를 진행하였습니다. 저자들은 VideoKR-Eval에서 100개의 예시를 무작위로 추철하여 서로 다른 모델들과 출력값을 비교하였습니다. 검토 결과 VideoKR로 post trianing 된 Qwen3-VL-8B의 경우 시각적 증거와 관련 도메인 지식을 통합해 더욱 복잡한 추론을 하며 재해석의 순간(아하 모멘트, 파란색 박스만 아하모멘트를 통해 정답을 맞춤)이 있었음을 확인하였습니다.

# Analysis of Inference-Time Frame Scaling

논문에서는 입력 정보량에 따른 성능 개선 정도 역시 검토했습니다. 베이스라인 모델(qwen2.5-vl-7B)와 post trianing 한 모델에 대해 추론 시 입력 프레임 개수를 16개에서 128개까지 바꾸어가며 성능을 비교했을 때 videokr로 학습한 post trained 모델이 성능이 일관되게 좋았으며, 입력 프레임이 증가할수록 성능이 개선되는 경향은 유지하며 post trained 모델이 단순 지식 암기가 아니라 실제 추론 능력이 개선되었으며, 모든 세팅에 대해 베이스라인 대비 우수함을 확인할 수 있습니다.