오늘 소개드릴 논문은 cvpr 2026에 발표된 long video reasoning 관련 논문입니다. 특히 멀티 에이전트 시스템을 활용한 해결책을 제시한 논문입니다. 저에게 본 논문의 전반적인 느낌은, 앞서 엑스리뷰 사이트에서 정의철 연구원님이 소개해주신 LVAgent[Link]를 잘 다듬어 테스크에 최적화시킨 아키텍쳐라는 인상이 깊었습니다. 이어서 본 논문의 리뷰를 시작해보겠습니다.
Introduction
Video QA 테스크(video reasoning)를 MLLMs 기반으로 해결할 때 문제점은 어떤 프레임을 참조 데이터로 입력해야할지 입니다. 단순히 많은 프레임을 입력하는것은 노이즈로 작용하여 오히려 성능을 낮출 수 있고, GPT-4o와 같은 대규모 학습모델은 많은 프레임으로 긴 비디오 reasoning 테스크를 높은 정확도로 해결하지만 추론 속도가 매우 느립니다. 이에 대한 해결책으로 경량화 기법 혹은 학습 없이 에이전트 접근 방식으로 중요한 부분에만 자원을 배분하는 전략이 연구되는 추세이지만, 기존 에이전트 방법은 한계가 있습니다. 논문의 표현으로 3가지가 있는데 다음과 같습니다: 1) 추론 속도가 느립니다. 2) 대부분 단일 MLLM을 사용하여 효과적 협업 구조가 아닙니다. 3) 문제해결에 있어 핵심 프레임을 찾는데 어려움이 있습니다. 본 논문은 이를 해결하기 위해 1) 에이전트 탈락 구조를 통한 연산 효율화, 2) 다중 MLLM을 활용하는 최적의 아키텍쳐 설계 3) 이벤트 기반 분할 및 무작위 샘플링 전략을 통한 프레임 선택을 포함하는 지각-행동 연합 프레임워크(a multi-agent perception-action aliance framework, A4VL)를 제안합니다. 본 프레임워크는 5개의 long video benchmark에 대해 28개의 베이스라인과 비교하여 가장 높은 성능을 보였으며 폐쇄형 MLLM과 비교해도 높은 정확도와 속도를 달성했습니다.
Method
[framework overview]
A4VL은 에이전트를 선별한 후, 해당 에이전트 풀의 협력을 통해 정답을 도출해내도록 설계한 프레임워크 입니다. 전체 프레임워크에서 가장 먼저 진행하는 것은 협력을 수행할 에이전트 풀을 구축하는 것 입니다. 먼저 특정 도메인(데이터셋 단위)로 K개의 비디오-질문 쌍을 선별합니다. 선별된 K개의 비디오-질문 쌍에 대해 Agent library의 모든 에이전트들이 답변을 생성하게 합니다. 이후 답변을 집계하여 다른 에이전트와 유사한 답변을 낼 확률이 가장 높은 에이전트 N1(논문기준 3)개를 agent pool에 등록합니다. 이때 확률의 계산법은 figure3에서 예시를 통해 확인할 수 있습니다. agent library에는 6개의 에이전트를 활용할 수 있습니다. 특정 예제에 대해서 A라는 답변이 3번(보라색, 파란색, 연두색), C라는 답변이 2번(붉은색, 녹색), D라는 답변이 1번(노란색) 예측되었습니다. 이 경우 해당 예제에 대해 각 선지가 선택될 비율(f_x)은 A 선지는 3/6, C는 2/6, D는 1/6 입니다. 해당 예제에서 에이전트의 점수는 각 에이전트가 선택한 선지의 선택될 비율과 같으며, 전체 예제 K개에 대한 평균이 해당 에이전트의 점수입니다.
다음으로, 선별된 에이전트들이 협업하는 구조는 Figure 2와 같습니다. A4VL은 비디오와 사용자의 질문을 받은 후 가장 먼저 인식 탐색(Perception Exploration)을 수행합니다. 이는 질의에 활용한 프레임을 선정하는 단계입니다. 먼저 각 에이전트는 무작위 선별로 4개의 프래임과 질문을 입력받아 perception clue를 생성합니다. 이를 샘플 단서 기반 탐색(Stage1: sample-clue based exploration)이라고 합니다. 이후 해당 clue 를 활용하여 비디오 내부에서 적절한 프래임 N2개(16개)를 선정하게 됩니다. 선정을 위해 먼저 비디오를 상용 이벤트 기반 분할 기법을 통해 B개(6개)의 블록으로 나누고, 각 블록과 perception clue의 clip 유사도를 통해 높은 block을 선정합니다. 유사도가 threshold(0.8)이상인 블록이 여러개일 경우 유사도의 상대적 크기를 반영하여 여러개의 block에서 N2장의 근거프레임을 선별하게 됩니다. 이를 블록 기반 인식 샘플링(stage2: block-based perception sampling)이라고 합니다.
다음으로 선별된 근거프레임을 통해 행동 탐색(Action Exploration)을 수행합니다. 해당 단계는 근거프레임을 활용해 답변을 생성하고, 필요할 경우 에이전트를 프루닝하는 단계입니다. 먼저 각 에이전트가 샘플링된 프레임과 질문을 바탕으로 답변을 생성하는 것을 본 단계의 첫번째 순서(stage1: generating answer & reason)로 합니다. 다음으로 에이전트의 답변이 만장일치로 합의한 경우를 제외하고 나머지 경우에서는 에이전트 탈락을 진행합니다. 각 에이전트는 자신의 답변과 다른 에이전트의 답변에 대해 점수를 매깁니다. 즉, 에이전트 당 N1(에이전트 개수, 3개)번의 검증을 받게되며, 해당 score를 모두 합쳐 점수가 가장 낮은 에이전트를 탈락시키게 됩니다. 이때 점수는 각 에이전트에게 앞서 언급된 정보를 입력하며 1~10까지의 수로 평가하도록 요청되며, 해당 프로세스를 stage2: pruning with multi-round deliberation로 구성하여 행동 탐색을 설계했습니다.
모든 에이전트가 합의하여 답변을 만들게 될 때 까지 위의 2 단계를 반복하며, 실제 예시는 아래의 Figure4와 같습니다. 합의가 이루어지지 않을 경우 3개의 에이전트(N1=3) 기준으로 3round까지 반복하게 됩니다.
Experiments
[results]
본 연구는 짧은 영상(NeXT-AQ)에서부터 중길이(EgoSchema), 긴 영상(LongVideoBench, MLVU, Video-MME)까지 다양한 탐색 환경을 포괄하여 평가를 수행했습니다. 데이터셋 구성에서 예상할 수 있듯이 긴 영상 추론에 중점을 두고있으며, 2개의 폐쇄형(Table1: 1행), 16개의 오픈소스 모델(Table1: 2, 3행), 10개의 에이전트, long video reasoning 타겟 선행 연구(Table1: 4행)와의 비교 실험 결과를 Table1에 리포팅하였습니다. A4VL은 모든 벤치마크에서 기존 방법론의 성능을 능가하고 있습니다. 우수한것은 성능뿐만이 아닙니다. Table3는 폐쇄형 모델과 최신 오픈소스 모델과의 추론 시간을 비교한 결과이며 다양한 길이의 비디오 벤치마크 모두에 대해서 제안한 Aa4VL이 가장 빠르게 추론할 수 있음을 확인할 수 있습니다. 벤치마크에 대해 에이전트 팀 구성단계에서 선택된 모델은 Table2와 같으며, 모든 실험은 6개의 H200 GPU에서 수행되었습니다.
[Ablation Study]
ablation study로는 round 반복의 의의, frame 선별에서 random 선별과 이벤트 블록 기반 선별의 차이, 마지막으로 합의 방식에 대한 실험을 수행했습니다. 해당 결과를 통해 A4VL의 설계가 최적의 video reasoning을 위한 아키텍처임을 확인할 수 있습니다. 각 실험결과는 아래와 같습니다.
- round 증가에 따른 성능 변화
round 증가에 따른 성능 변화에 대해서, 증가할수록 개선이 있음을 확인할 수 있습니다. 특히 데이터셋이 어려울수록(녹색/MLVU) 라운드 증가에 따른 성능 개선폭이 높음을 알 수 있으며, 이러한 경향은 동일 데이터 내에서도 자막(sub)을 사용 여부에 따라 사용하지 않는 경우(VideoMME w/o Sub, 갈색)이 사용할 경우(VideoMME w/ Sub, 보라색) 대비 성능 개선폭이 큰것으로 확인할 수 있습니다.
- 샘플링 전략 타당성
본 연구는 효과적인 샘플링을 위해 행동 탐색(perception exploration)에서 4장의 프레임을 선별 할 때,이벤트 기반 블록에서 블록당 n개를 선별하는 것(E)이 아닌,무작위 선별(R)합니다. 다음으로 액션 프레임 샘플링에서는 uniform으로 나눠진 블록(R)이 아닌, 이벤트 기반 블록(E)을 기반으로 최종 프레임을 선별합니다. Table2는 현재 A4VL의 설계인 RESampling을 각기 다른 구조와 비교하였으며 현재의 구조가 가장 최적의 구조임을 확인하였습니다. 처음 4장의 프레임 선별시에 무작위 선별이 다른 테크닉을 더한것보다 나은 이유로는 균일하게 선별된 프레임이 노이즈를 포함할 확률이 높지만, 시간의 흐름에 대해 공정한 방식으로 샘플링(특정 시간대에만 많이 선별하는것이 아닌 공정한 방식)할 수 있기 때문일 것이라고 언급하였습니다.
- 에이전트의 정답 합의 방법
마지막으로 저자들은 에이전트의 합의 기준에 대해 ablation study를 진행하였습니다. 실험 결과 2-1과 같은 상황에서 다수결로 합의를 중단(MConsens)하는 것 보다, 3-0과같은 완전 합의를 제외하고는 agent 탈락 후 재합의(FConsens)를 거치는것이 성능적으로 더 우수함을 확인할 수 있으며, 2-1 상황에서 추가적 합의를 더한다고 해도 전체 시스템의 속도 차이는 10초 정도 차이로 작은 편임을 밝히며 제안하는 합의 방법의 우수성을 보였습니다.
이상으로 리뷰를 마치겠습니다. 감사합니다.
안녕하세요 유진님 좋은 리뷰 감사합니다!
Table 3에서 A4VL이 다른 방법론들 대비, 특히 긴 영상일수록 추론 속도가 정말 빠른 것으로 보이는데 그 이유가 궁금합니다. 입력되는 프레임 수가 줄어든 것, 탐색을 효과적으로 진행해서 MLLM 호출을 줄인 것이 그 요인인 것 같은데, 제가 기존 방법론에 대해 잘 몰라서, 어떤 부분에서 이렇게까지 큰 속도 차이가 발생하는 것인지 궁금합니다.
감사합니다.
안녕하세요 유진님 좋은 리뷰 감사합니다.
Agent teaming 단계에서는 일부 video-question pair를 이용해서 최종 3개의 agent를 선택한다고 하셨는데, 이 과정은 inference할 때마다 수행되는 건지, 아니면 데이터셋별로 한 번 agent pool을 구성한 뒤 모든 sample에 동일하게 사용하는 건지 궁금합니다.
감사합니다.