[arXiv2023]VideoChat🦜: Chat-Centric Video Understanding

무언가를 이해한다는것은 어떻게 정의할 수 있을까요? 저는 특정 콘텐츠에 대한 이해는 이해 주체의 관점에 따른다고 생각해왔습니다. 이러한 제 관점에 알맞은 논문을 발견하게 되어 리뷰를 하게 되었습니다. 제가 알기로는 관련 초기 연구 중 하나가 NeurIPS2021의 Clip-it[paper]이라고 생각합니다. LLM의 등장 이후 관련 연구가 어떻게 바뀌었는지 videochat을 통해 알아보겠습니다.

### The summary

• 논문의 타겟: end-to-end chat-centric video understanding system
• 구현 방법: video foundation model과 large language model의 결합으로 자유도높은 자연어 쿼리를 위한 시스템 구현
• 논문의 의의: 논문은 chat-centric video unstanding을 위한 프레임워크와 이를 학습하고 검증하기 위한 데이터셋을 구축하였으며 실험을 통해 video applications을 위한 다양한 테스크에 제안한 프레임워크(VideoChat🦜)이 효과적일 수 있음을 증명함

### The task

먼저 논문이 해결하고자 하는 테스크를 소개하겠습니다. 논문이 중점으로 다루는 데이터의 형식은 비디오입니다. 비디오는 사람이 시각적 세계를 인식하는 형태에 가장 가까운 표현방식입니다. 따라서 해당 데이터 포멧을 잘 다루는 것은 차후 human-robot interaction, 자율주행, 지능형감시시스템 개발등에 필수적입니다. 그러나 (당시) 최신 방법론은 주로 이미지를 텍스트로 변환하여 다루는 형식으로 과도 단순화 등에 인한 정보 손실이 많아 video-centric tasks 수행에 적용될 만큼 발전하지 못했습니다.

본 논문은 위와 같은 문제를 대화 기반의 시스템으로 해결하고자 했습니다. video foundation model과 LLMs을 결합한 아키텍처를 최초로 제시하였으며, 아키텍쳐 학습을 위한 데이터셋을 구축했습니다. 또한 제안한 방법으로 시공간 인식/추론, 인과관계 추론에서 우수한 성능으로 우수성을 보였습니다.

### The position

키워드: Video Foundation Models, Large Language models, LLMs for Multimodal understanding

### Framework

videochat은 다양한 실제 video application에 적용되기 위해 제안된 실용적 아키텍쳐입니다. 이러한 videochat은 범용성을 위해 video-related tasks들을 multiple-round video question answering으로 정의합니다. 이를 통해 대화기반으로 QA(question answering)을 잘 수행한다면 다양한 응용프로그램에 사용가능한 방법론이 되는것이지요.

Figure1에서 확인할 수 있듯이 VideoChat은 텍스트 도메인(videochat-text)과 더욱 다양한 정보를 포함할 수 있는 임베딩 도메인(videochat-embed)에 관련된 두가지 경로로 구성됩니다. 먼저 videochat-text의 경우 먼저 internvideo, Tag2text, GRiT를 통해 비디오 내의 action, object 등의 정보를 텍스트로 추출합니다. 또한 whisper 모델을 통해 자막 정보를 통합하게 되며, 해당 텍스트를 사전학습된 언어모델인 T5로 명확도를 개선해 풍성하게 개선된 video description을 생성하게 됩니다. 이후 위 방식으로 텍스트된 비디오 표현을 Table2의 프롬프트로 LLM에 입력되어 QA를 수행합니다.

다음으로 videochat-embed의 경우는 위와 다르게 임베딩의 형태로 LLM에게 정보를 제공하는 경로 입니다. 아키텍쳐는 Figure2의 (a)와 같습니다. ViT-G 로 시각 정보를 임베딩한 후 InternVideo의 temporal modeling module인 GMHRA(Global Multi-Head Relation Aggregator)로 모델링을 수행합니다. 해당 입력을 QFormer를 통해 LLM의 입력 임베딩으로 변환합니다. 이때 학습하는 레이어는 그림과 같이 GMHRA, QFormer 출력단의 추가된 linear projection입니다.

### Training

학습은 기존 방법론들과 유사하게 2단계로 진행되었습니다. stage 1에서는 비디오 표현을 LLM이 이해할 수 있도록 alignment 를 위한 단계이며 stage 2에서는 조금더 세부적인 작업을 위한 instruction tuning 단계 입니다.

stage1을 위해서 비디오를 통해 문장을 생성하고, 해당 문장이 정답 문장가 가까워지도록 하는 contrastive learning을 진행합니다. 학습을 위해 아래를 입력으로 하고

• ###Human: <Video>video_embed</Video> video_instruction ###Assistant:
• ###Human: <Image>image_embed</Image> image_instruction ###Assistant:

출력된 문장이 정답문장과 유사해지도록 학습하는 것입니다. 이때 image_instruction과 video_instruction의 경우 Table8에 문장 중 하나를 사용하고 video_embed와 image_embed는 위에서 설계한(Figure 2(1)) 아키텍쳐의 입력입니다.

다음으로 세부적 학습을 위한 instruction tuning은 위처럼 영상/이미지 전체에 대한 맥락을 학습하는 것이 아니라 프레임 단위의 정보를 학습할 수 있도록 합니다. 예를 들어 다음과 같은 문장입니다: “The video contains T frames sampled at t0, t1, …, tT seconds.”

### Experiments

실험은 정성적 분석으로 리포팅 되었으며 LLaA, miniGPT-4, mPLUG-owl 모델과 비교되었습니다.

먼저 자가 모델의 능력에 대해 다룬 정성적 결과는 아래와 같습니다.

1)공간에 대한 인식 능력:

모델의 비디오에서 공간에 대한 인식 능력이 있음은 Figure7과 10의 예시에서 확인할 수 있습니다. 확대해서 보면 figure7의 경우 영상에서 일본 스타일의 옷과 3명의 사람이라는 객체인식이 가능함을 확인할 수 있습니다. figure10의 경우 밈이 왜 웃긴지를 시각적 정보와 함께 설명하는것을 통해 이미지 내의 정보를 잘 활용하고 있음을 확인할 수 있습니다.

2)시간적 인식 능력과 추론 능력

또한 Videochat-embed모델이 시간적 인식 능력이 있음은 아래의 예시를 통해 확인 할 수 있습니다. Figure5를 보면 모델은 비디오만 보고 남성이 춤을 추고 있는 액션을 잘 인식하였으며, 랜덤하고 급작스럽게 춤을 시작했다는 맥락적 정보도 파악하고 있음을 알 수 있습니다. 이러한 인식은 videochat-text로도 잘 동작함을 확인할 수 있습니다(yoga 동작을 잘 감지)

3) 인과추론 능력

모델이 공간/시간적 맥락을 파악해 답변할 수 있을 뿐 만 아니라 인과관계에 대한 이해능력도 있음을 확인할 수 있습니다. 먼저 위의 Figure5 예시를 살피면 영상이 웃긴 이유가 영상속 사람의 움직임이 뜬금없고 이상함하기 때문에 예상외의 움직임이 웃음을 준다고 답변합니다. (click here가 동작하지 않아 영상은 확인하지 못했지만 논문에 말에 따르면) 할루시네이션이 아니라 실제 영상을 분석하고 있음을 알 수 있다고 합니다. 즉 웃기다고 답변할 수 있는 다양한 할루시네이션 후보가 아닌 영상의 실제 움직임을 지적하고 있음을 높게산다는 것입니다. 그 외에 Figure6에서도 차량 충돌로인해 번호판이 손상되었으며, 충돌이 사고의 원인이라는 인과 관계 파악을 잘 하고있고, Figure7에서도 영상에서 소녀들의 춤의 리듬과 장면의 분위기를 통해 밝고 즐거운 음악이 어울린다는 인과관계에 대한 이해가 필요한 추론을 잘 수행하고 있음을 보여주고 있습니다.

다음으로 기존 방법과의 비교도 정성적으로 간단하게 리포팅하였으며 그 결과는 아래와 같습니다.

4) 기존 방법과의 비교

결과는 Figure3과 같은데 비교 모델들이 해결하지 못하는 문제를 videochat은 해결 할 수 있음을 보이고 있습니다. 중간의 예시를 보면 이미지가 주어짐에도 기존 모델들은 해결하지 못하지만 제안 방법은 해결하고 있는데요, 그 이유로 기존 모델은 프레임 단위로 입력받지만 제안된 모델은 temporal information을 활용하도록 설계되었기 때문에 맥락적 이해가 강화되어 해결 할 수 있었다고 설명합니다. 또한 제안된 모델의 경우 videochat-embed나 videochat-text 모두가 예측에 성공함을 보이면서 두 접근법이 모두 공간적 이해능력을 갖추었으며 우수함을 확인할 수 있습니다.

### Limitations

제안된 모델은 1분 미만의 영상을 다루며 long-term 비디오를 다루기에는 문제가 있으며, 학습 가능한 데이터셋이 부족하여 시간적 인과적 이해가 아직 완전히 고도화 되지 않았다고 밝혔습니다. 따라서 시간에 더욱 민감하고 성능을 위한 실용적 모델 개발은 아직 관문이 남아있다고 밝혔습니다.

---

논문의 리뷰를 마치겠습니다. 실험의 재현성 등에는 아쉬움이 있지만, videochat의 새로운 버전들이 나오면서 다양한 밴치마크에서 높은 성능을 거두고 있는 만큼, 팔로우업하면 좋을 것 같네요. 감사합니다. [깃허브 링크]