[ICCV2025] VLIPP: Towards Physically Plausible Video Generation with Vision and Language Informed Physical Prior

---

[Intro

오늘 소개드릴 논문은 물리적으로 그럴듯해 보이는 영상을 만들기 위한 해결책을 제시하는 논문입니다. 최근 ai 영상 생성은 크게 인기를 끌 고 있으며 video diffusion models(VDMs)은 영상 생성을 위한 핵심 기술입니다. 그러나 VDMs은 물리적으로 옳지 않는 영상을 생성하는 문제가 발생하는데, 그 예시는 아래 Figure1에서 확인할 수 있습니다. 중간에 물컵에 물이 채워지는 영상에서 기존 모델이 경우 표면의 파동이 발생하지 않거나, 농구공이 탄성을 보여주는 영상에서 중력에 의한 감속이 드러나지 않는등의 물리적 상식이 반영되지 않는 모습을 확인할 수 있는데요, 본 논문은 이러한 기존 모델의 한계를 개선하는 방법론을 소개합니다.

A goal of this paper: image-to-video diffusion model이 물리적으로 그럴듯한 비디오를 만들게 하자

---

[Related works

방법론 소개에 앞서 해당 문제에 대한 앞선 연구의 기존 접근법을 알아보겠습니다. 물리적으로 그럴듯한 영상을 만들기 위해서 가장 단순한 접근법으로는 전통적인 그래픽스 기술 기반의 해결책으로, 수학적 법칙 기반의 물리엔진을 이용해 시뮬레이션 결과물을 생성하는 것 입니다. 그러나 이는 미리 정의된 물리 엔진의 범위만을 구현할 수 있으며, 새로운 물리 법칙을 구현하려면 전문 지식이 필요하다는 한계가 있습니다. VDMs을 활용해 생성하려는 시도 또한 있었으나, 주파수 영역에서 흔들림을 모델링하는 등 특정 움직임에 집중하여 일반화 불가능한 지식을 주입하는데 제약된 기술이였습니다.

그 외에도 객체의 위치를 bounding box로 명시하거나 객체의 특정 지점의 운동 궤적을 드래그하여 제공하는 등 사용자가 피사체의 움직임을 통제하여 영상을 생성하는 기술이 연구되고 있으나, 해당 방법은 궤적과 같은 움직임 제어에 집중하였지, 물리적 타당성을 고려하지는 않았습니다. 그 외에도 텍스트 프롬프트를 구체화하여 생성모델에 prior를 제공하는 연구(PhyT2V) 등이 있었으나 텍스트와 시각 데이터 간의 정보적 격차를 완벽하게 매우지는 못했습니다.

본 연구는 기존의 한계를 개선하기 위해, VLM과 VDM의 물리적 법칙에 대해 내제된 이해 능력을 활용할 수 있는 image-to-video 생성 프레임워크를 제안합니다. chain-of-thought 방식으로 VLM에 내제된 물리적 이해능력 기반의 지시문을 생성하고 VDM을 통해 텍스트의 표현적 한계를 개선한 motion 경로를 생성합니다.

---

[Method

기존 방법론의 경우 학습 데이터에 의존하여 영상을 모방할 뿐 물리 법칙을 이해한 생성에는 제약이 있었습니다. 본 방법론은 물리적 법칙을 이해한 생성을 촉진하기 위해 VLM을 거시적 모션 플래너로 활용합니다. 전반적인 아키텍쳐는 Figure2와 같습니다. 첫번째 스테이지에서 VLM은 입력된 이미지와 텍스트 설명을 바탕으로 거시적으로 플래닝을 수행하는데요, Grounded-SAM2를 통해 객체의 바운딩박스를 추출하고 CoT(chain-of-thought) 기법을 통해 움직임을 예측하게 됩니다. VLM의 추론능력으로 객체의 전반적인 위치변화를 계획하는 과정에 해당합니다. 그 다음 단순히 움직임 정보 뿐 만 아니라, 물리적으로 그럴듯한 영상을 생성하기 위하여 거시적 궤적을 바탕으로 초안 비디오를 생성하여 optical flow를 추출합니다. optical flow를 sturcted noise로 변환하여 디퓨전 모델에 입력하여 속도, 가속도, 진동 등 세부적인 물리적 법칙이 구현된 영상을 생성하도록 하는 것이 전체 아키텍쳐 입니다. 이를 통해 단순히 텍스트를 이용하는것이 아닌 영상 기반의 가이드라인으로 더욱 그럴듯한 영상을 생성할 수 있게 됩니다.

[stage 1]

저자들의 motivation은 물리적 법칙을 video diffusion model에 제약으로 주입하여 그럴듯한 비디오를 만들어내자는 의도로 시작했습니다. 이를 구현하기 위하여 거친수준의 모션 궤적을 생성하는 것으로부터 시작했습니다. 거친 수준의 궤적을 생성하기 위해서는 3단계의 프로세스를 거쳤는데, 가장 먼저 장면 이해를 수행한 후, 물리적 맥락을 파악한 다음 CoT 방식으로 추론을 진행하였습니다. Stage 1의 전반적 흐름은 아래의 Figure3과 같습니다.

[stage2]

저자들은 VLM을 통해 생성한 거친 가이드라인을 실제 영상으로 변환하며 구체적 물리적 움직임을 구현해내고자 했습니다. VDM이 VLM의 거친 계획을 통해 fine-level motion을 생성하도록 구현하였으며 특히 bounding box 궤적을 Draft video로 생성하고 optical flow를 통해 diffusion model에 입력할 structed noise를 만들어내었습니다. 기존 text 기반의 가이드라인보다 구체적이지만 diffusion model의 자유도는 충분히 활용하도록 구성한 것이 특징입니다.

Figure3에서 알 수 있듯이 stage 1에서 물체에 대한 시간별 bounding box를 제공합니다. stage 2는 제공받은 첫번째 프레임과 stage1의 궤적 정보를 이용하여 draft video를 생성합니다. draft video는 원래 물체를 제거하고 inpainting 한 배경 위해 bounding box 정보로 사이즈와 위치가 보정된 물체를 붙여넣어 생성한 영상입니다. 이렇게 단순히 이동, resize 한 영상을 통해 optical flow를 생성하고, 이를 go-with-the-flow라는 사용 모델 방식에 따라 structed noise로 변환합니다. 또한 VLM의 거시적 예측의 오류에 대해 자동 보정을 위하여 structed noise에 Gaussian noise를 섞습니다. VDM의 자유도를 이용해 물리적으로 타당한 영상을 만들도록 촉진하는 과정입니다. 이후 image 2 video 모델에 해당 노이즈를 입력하여 제약을 통해 물리적으로 그럴듯한 비디오를 생성해 냅니다.

---

[Empirical Analysis

제안하는 방법론의 우수성을 보이기 위해 논문에서는 2가지 벤치마크에 대해 실험을 진행했으며 모든 벤치마크에서 우수한 성능을 보였습니다. 실험을 위해서 VLM으로는 ChatGPT-4o를 활용하였으며 image 2 video 모델로는 오픈소스 모델인 Go-with-the-Flow를 사용하였다고 합니다. 실험의 비교를 위해서는 720X480 사이즈의 49 프레임 영상을 생성해 비교하였습니다. 저자들은 PhyGenBench, Physics-IQ 라는 벤치마크를 통해 단순히 화질이 좋은 영상이 아닌 물리적으로 그럴듯한 영상을 만들었음을 평가하기 위하여, 화질 지표인 SSIM 등이 아닌 위 두 벤치마크에서 정의한 물리적 평가 지표를 주력 지표로 리포팅했습니다.

[기존 벤치마크와의 비교]

연구에서는 제안하는 프레임워크인 VLOPP의 물리적 타당성 검증을 위해 앞서 언급된 벤치마크에 대해서 기존의 T2V(Table1 상단), I2V(Table1 하단) 방법론들과 비교하였으며, 가장 우수한 성능을 보임을 검증했습니다. 정성적 우수성으로는 Figure4를 통해 확인할 수 있습니다.

[Ablation Study]

논문은 제안된 프레임워크의 구성요소가 최종 성능에 기여하고 있음을 검증하기 위해 ablation study를 진행하였으며 stage 1의 VLM planner를 제거하여 structed noise대신 무작위 노이즈를 사용한것에서 부터, VLM의 in-context information(CI) 제거/추가, CoT 추론 과정의 제거/추가, CI 및 CoT 모두 제거/추가하여 순차적으로 성능을 보였습니다. 실험 결과 VLM을 개선(CI/CoT)할 수록 성능이 개선됨을 통해 단순히 VLM을 활용하는것이 아니라, VLM에 내제된 물리적 이해 능력을 잘 활용하여 설계할 때 프레임워크의 효율성이 높아짐을 확인할 수 있습니다.

---

본 연구는 VLM을 이용하여 prior를 잘 제공하여 물리적으로 그럴듯한 영상을 성공적으로 생성해냈으며, text가 아닌 영상 기반의 정보로 더욱 구체화한 prior를 제공할 수 있었던 것이 특징입니다. 프레임워크에 2D bounding box를 이용하여 기체, 액체와 같은 물리적 상태를 완벽히 모델링하기는 어려웠으나 정성적 결과에서 확인할 수 있듯이 기존 모델 대비 액체를 표현한 영상에서도 개선을 보였음은 확인할 수 있습니다. 어려운 태스크를 비교적 쉬운 단위로 쪼개어 해결하므로서 성능을 개선하는 접근법인 것 같습니다. 태스크 분해의 단위가 아직 일반화되거나 공식화 되지 않은 점이 아쉽네요. 리뷰 읽어주셔서 감사합니다.