안녕하세요, 이번에는 Long-Term Anticipation 관련 논문을 가지고 왔습니다. 다음 학기에 어떤 주제를 잡아야 할 지에 대한 고민이 아직 있어서 약간의 찍먹 차원으로 읽어보게 되었습니다.

Introduction

저자들은 기존 Long Term Anticipation(LTA) task에서의 접근법을 크게 세 가지로 카테고라이징했습니다.

1. Lightweight Temporal Models
   -> 작은 transformer 등으로 과거 행동의 시간적 패턴을 학습하는 모델입니다. 연산 효율적이지만, 모델 capacity도 작고 prior knowledge가 부족하여 복잡한 상황에서의 일반화가 어렵다는 단점을 가집니다.
2. LLM based
   -> VLM으로 vision 정보를 추출한 뒤 이를 기반으로 text description을 생성한 뒤, 이를 LLM에 입력하여 추론하도록 합니다. 결국 텍스트 기반의 파이프라인이라는 점에서 직접적인 visual grounding에는 한계를 가지며 예측 정확도 또한 부족합니다.
3. Action embedded visual representation methods
   추론 때 visual embedding을 결합하여 visual grounding 능력을 개선하였으나, hand-object interaction과 동사-명사 관계를 충분히 모델링하지 못했다는 단점을 가집니다. LTA는 1인칭 비디오(egocentric video)를 대상으로 하는 task이기에, 저자들은 비디오의 주체가 주로 ‘손’을 통해 다른 물체와 상호작용할 것임을 염두에 둔 것으로 보입니다.

또한 기존의 모든 LTA의 접근들은 수동적 sequence 예측, 쉽게 말하면 단순히 과거 정보를 입력했을 때 미래 행동 시퀀스를 예측하는 것에 머물렀다고 주장하는데, 이것이 다양한 환경에서의 강건성을 제한한다고 합니다. 예를 들어, ‘컵을 잡는다’의 다음 action은 ‘물을 따른다’,’컵을 씻는다’ 등으로 여러 상황이 존재할 수 있는데, 수동적인 모델은 학습 데이터에서 관찰된 패턴 중 가장 많이 등장했던 행동을 출력하여 환경 변화에는 취약해질 수 있다는 것입니다. 대신 연구는 능동적인 인지 추론(proactive cognitive reasoning)을 강조합니다.

위와 같은 한계점들을 해결하기 위해 저자들은 INSIGHT라는 two-stage 프레임워크를 제안합니다. First stage에서는 hand-object interaction이 일어나는 region 중심으로 특징을 추출하는 단계입니다. 또한 co-occurence transition matrix를 구성하여 동사-명사 간 관계를 모델링하여 맥락적 이해를 강화했습니다. 이렇게 풍부한 시각 정보를 담은 피처를 추출한 뒤 이를 text description으로 변환하고, 샘플링된 프레임과 함께 VLM에 입력하여 추론합니다.

Second stage는 explicit cognitive reasoning을 위한 RL 기반 의도 추론 모듈입니다. 본 모듈은 인간의 구조화된 사고 과정을 모방하여, 입력에 대해 모델이 미래 행동 시퀀스만 딸랑 출력하는 게 아닌 visual perception(think)->intention inference(reason)->action anticipation(answer)의 모든 과정을 출력하도록 합니다. 관찰한 맥락을 토대로 사용자의 의도가 무엇인지 추론하고, 이를 기반으로 action anticipation까지 모두 수행한다는 의미입니다. 실행 예시는 아래 Fig.1을 참고하시면 되겠습니다.

본 연구의 contribution은 아래와 같습니다.

• HOI(Hand-Object Interaction) 기반 단서와 co-occurence correction을 이용한 robust/adaptive한 시각 특징 추출 모듈 (First stage)
• RL 기반의 의도 추론 모듈
• Ego4D, EPIC-Kitchens-55, and EGTEA Gaze+ 등의 벤치마크에서 SOTA 급 성능을 달성하며 method의 효율성과 일반화 능력 증명

Method

INSIGHT는 two-stage, 1. hand-obejct semantic action recognition과 2. explicit cognitive reasoning으로 구성됩니다. LTA는 K개의 video segments를 받아서 Z개의 다음 행동 시퀀스를 (동사,명사) 쌍의 형태로 출력하는 task입니다. 이때 video segment는 관찰 영상을 행동 발생 구간에 따라 시간적으로 나눈 action-level clip을 의미합니다. 각 segment에는 학습을 위한 verb–noun action annotation이 대응됩니다.

Hand-Object Semantic Action Recognition

AR 모델은 video segemnts를 입력받아 각 segment에서의 action을 (동사,명사) 쌍의 형태로 텍스트화하고 이 결과가 미래 예측을 위한 프롬프트 구성으로 이어지기 때문에 매우 중요한 역할을 담당합니다. 하지만 기존의 LTA에서 쓰던 visual encoder는 transformer 기반 범용 모델이었기 때문에 egocentric 도메인에서 요구하는 perception 능력에 미치지 못하는 경향이 있었습니다. 그래서 후속 연구는 semantic한 일관성을 강화하기 위해 co-occurence matrixes를 사용했지만 HOI(hand-object interaction)을 간과했다는 한계가 있었습니다. HOI region은 action과 관련된 단서가 집중적으로 포함되어 있으며, 맥락에 따라 미묘하게 달라질 수 있는 행동을 구별하는 데 필수적이라고 합니다. 전체 장면보다 손·조작 물체 주변에 행동을 구별하는 정보가 집중되기 때문에 저자들은 HOI visual feature를 뽑고 동사-명사 co-occurence 통계량을 semantic prior로 활용했고, 이 두 가지 설계를 통해 visual grounding과 semantic coherence(의미적 일관성)을 강화했습니다.

HOI-augmented Feature extraction

기존 LTA methods가 전체 프레임을 visual encoder에 태웠던 것과 달리, 본 연구는 HOI 기반 피처 추출 전략을 사용합니다. 입력 video segments의 각 segment(S_k)마다 4개의 frame을 uniform sampling(F_{k,T}, T ∈ {1, . . . , 4}하고, 각 프레임은 HOI region detector(pretrained 100DOH)를 거쳐 손과, 상호작용하는 물체를 탐지합니다. 이후 segmentation model(SAM2)를 거쳐 손과 상호작용 물체만 남기고 masking시킨 HOI region image를 생성합니다. 다음으로 visual embedding을 생성하기 위해 원본 프레임F_{k,T}와 HOI regionR_{k,T}을 각각의 stream에서 인코딩합니다. 이후 각 visual embedding을 MLP 태워서 concat 및 fusion시켜 전역적인 맥락과 find-grained한 HOI 특징을 섞는 과정을 거칩니다. 그렇게 생성된 통합 representation은 AR(action recognition) 모델에서 각 (과거)segment의 동사-명사 쌍을 예측하는 데에 사용됩니다.

Semantic Correction via Verb-Noun Co-Occurence

action prediction에서 semantic consistency를 강화하기 위해 저자들은 학습 데이터 기반 동사-명사 co-occurence statistics를 이용한 semantic correction 모듈을 제안합니다. 여기서 동사-명사 co-occurence는 학습 데이터에서 wash–cup, open–door처럼 특정 동사와 명사가 함께 등장하는 통계적 관계를 의미합니다. 동사와 명사를 독립적으로 예측하면 drink–guitar처럼 의미상 부적절한 조합이 생성될 수 있기 때문에 INSIGHT는 공동 출현 확률로 예측 점수를 보정해, 실제로 성립할 가능성이 높은 행동 쌍을 선택합니다. 디테일하게 들어가면, 본 모듈은 동사와 명사를 각각 예측하는 두 개의 병렬 classifier가 장착된 Transformer 기반 모델의 출력을 입력으로 사용합니다. 하지만 앞서 말한 의미론적으로 부적절한 조합이 생성되는 것을 방지하기 위해, annotated label로부터 co-occurence matrix C ∈ N^{|V|×|N|}를 구성합니다.

학습 데이터의 K개 행동을 확인하면서, 동사 v와 명사 n이 함께 등장한 횟수를 세는 수식입니다. 예를 들어 학습 데이터에서 wash-cup이 30 번 등장했다면 C_wash,cup=30이 되는 식입니다. 이후 C를 row축과 col축으로 정규화하여 조건부확률로 변환합니다. 특정 동사가 주어졌을 때 특정 명사가 반환될 확률을 구할 수 있게

특정 동사가 주어졌을 때 특정 명사가 반환될 확률을 구할 수 있게 됩니다. 이 P(n∣v)와 P(v∣n)는 classifiers에서 동사/명사 별로 구한 logit 값에 softmax 확률을 구한 p(v_k),p(n_k)에 양방향 co-occurrence 확률의 평균을 곱해 보정합니다.

마지막으로 모든 동사-명사 쌍의 보정된 점수 중 가장 높은 조합 하나를 최종 action으로 선택합니다.

Explicit Cognitive Reasoning for Anticipation

기존 LTA method는 관찰된 egocentric video를 action recognition model로 text action description으로 변환한 뒤 finetuned LLM의 의미 추론을 통해 미래 행동을 예측합니다. 이러한 방식에서는 상황을 어떻게 이해하고, 어떤 의도를 거쳐 미래 행동을 결정했는지는 드러나지 않기 때문에 저자들은 익숙하지 않은 상황이나 긴 시간 범위에서 잘못된 의도를 세워도 이를 교정하기 어렵고 일반화가 제한된다고 주장합니다.

이를 해결하기 위해 INSIGHT는 GRPO(Group Relative Policy Optimization)에 살짝의 수정을 섞은 방식을 사용합니다. LTA라는 task에 맞춰 구조화된 추론을 하도록 “think->reason->answer”의 프로세스를 따도록 합니다. <think>에서는 관찰된 영상과 행동을 해석하고, <intention>에서는 사용자가 궁극적으로 수행하려는 task를 추론하며, <answer>에서는 이를 기반으로 미래 행동 시퀀스를 예측합니다. GRPO에서 reward를 새로 설계했는데, 크게 출력 구조를 제어하는 format reward와 예측 내용의 퀄리티를 평가하는 content reward로 구분됩니다.

Format Reward

먼저 모델이 구조화된, 해석 가능한 output을 산출하도록 하기 위해 Format Reward를 설계했습니다. 하위 설계 중 첫 번째는 Length Reward입니다. Ego4D LTA에서는 모델이 총 Z=20개의 미래 행동을 예측해야 합니다. 모델이 생성한 동사-명사 action set을 L이라고 할 때, 출력 행동 수가 목표 길이 Z 이상이면 1, 부족하면 0의 reward를 부여합니다.

두 번째는 Tags-Order Reward입니다. 모델이 explicit reasoning 구조를 따르도록 출력에 <think>...</think>, <intention>...</intention>, <answer>...</answer> 태그를 순서대로 포함했는지 확인합니다. 세 번째는 Language Consistency Reward입니다. 출력 token이 모두 영어로 구성되어 있으면 1, 영어가 아닌 token이 포함되어 있으면 0을 부여합니다. 네 번째는 Soft Overlong Punishment입니다. 이는 모델이 높은 length reward를 받기 위해 불필요하게 긴 추론이나 행동을 생성하는 것을 방지하기 위한 penalty입니다. 전체 출력 길이를 l, 최대 허용 길이를 L_max, penalty가 적용되기 시작하는 buffer 길이를 L_cache라고 하면 L은 [L_{max} − L_{cache}, L_{max}] 사이에서 조절됩니다. 출력이 충분히 짧을 때는 penalty가 없습니다. 출력 길이가 L_max − L_cache를 넘어서면 길이가 증가할수록 penalty가 0에서 −1까지 선형적으로 감소하며, 최대 길이 L_max를 초과하면 −1의 penalty가 적용됩니다. 실제 실험에서는 L_max=450, L_cache=256으로 설정했습니다.

Content Reward

실제 미래 행동 예측의 정확성과 모델이 추론한 의도가 적절한지 평가하는 reward입니다.

먼저 Accuracy Reward인데, Ego4D 라는 LTA 벤치마크에서 사용하는 평가지표인 Edit Distance(ED)를 사용합니다. Edit Distance는 예측 행동 시퀀스가 정답 행동 시퀀스가 되기 위해 몇 번의 수정 과정을 거쳐야 하는지를 의미하는 지에 대한 수치를 정규화해서 나타낸 지표로, 작을수록(0에 가까울수록) 성능이 좋음을 의미합니다. 먼저 예측 길이가 Z보다 길면 뒤의 action을 제거하고, Z보다 짧으면 특수 token <pad>을 추가하여 정확히 Z개로 맞춥니다. 이렇게 길이가 정규화된 예측 sequence를 s̃_pred라고 합니다.

여기서 ED는 정규화된 예측 sequence와 ground-truth sequence 사이의 edit distance입니다. Edit distance가 작을수록 두 sequence가 유사하지만, 강화학습에서는 높은 값이 좋은 reward가 되어야 합니다. 따라서 edit distance를 정답 sequence 길이로 정규화한 뒤 1에서 빼서 accuracy reward로 변환합니다.

이를 통해 실제 LTA 평가 지표와 연결된 sequence level feedback를 제공할 수 있게 됩니다. 참고로 다른 평가지표를 사용하는 LTA 벤치마크에서는 해당 데이터셋의 평가 지표에 맞춰 accuracy reward를 수정합니다.

두 번째는 Intention Reward입니다. 저자들은 모델이 사용자의 상위 task intention을 명시적으로 표현하면 장기 행동 예측에 도움이 될 것으로 가정합니다. 그러나 LTA 데이터셋에는 이러한 의도가 직접 annotation되어 있지 않으므로, GPT-4.1을 이용해 각 sample의 pseudo-ground-truth intention인 int_gt를 생성합니다. 모델이 생성한 intention int_gen과 pseudo-ground-truth intention int_gt를 Sentence-BERT로 embedding하고, 두 벡터 사이의 cosine similarity를 계산합니다.

이후 scaled sigmoid를 통해 0~1사이의 intention reward로 변환합니다.

β는 reward가 빠르게 증가하기 시작하는 similarity 기준점이고, γ는 sigmoid curve의 sharpness를 결정합니다.

Overall reward

앞서 정의한 reward들은 다음과 같이 하나의 task score로 결합됩니다. 참고로 S_acc에 가중치를 0.85, 나머지를 0.05로 설정함으로써 S_acc를 핵심, 나머지를 보조 학습 신호로 사용합니다.

최종 reward는 length reward와 soft overlong punishment까지 반영하여 다음과 같이 계산됩니다.

Experiments

Ego4D 벤치마크에 대해서 INSIGHT는 Noun ED와 Action ED에서 SOTA 성능을 달성했습니다. 저자들은 noun 성능 향상을 hand-object interaction 집중의 효과로 해석했습니다. 또한 visual encoding 시 frozen EgoVideo-V 모델을 사용하면서도 finetuned 인코더나 dual visual model을 사용한 기존 방법 성능과도 경쟁적이었던 이유는 cognitive reasoning을 통해 visual encoder가 놓친 모호한 정보를 언어적 맥락과 의도 추론이 보완했다고 주장합니다. 다만 Verb ED, 동사 예측 성능은 떨어졌기 때문에 주장에 힘이 실렸다고 보기는 힘들 것 같습니다.

Table 3는 ablation 실험 결과입니다. 전체 design을 모두 적용했을 때 모든 ablation 설정보다 좋은 성능을 기록했음을 보여주었습니다. ablation 중에는 cognitive reasoning을 제거했을 때 action ED가 가장 크게 악화되어, 저자들은 stepwise reasoning이 task intention과 temporal 의존성을 모델링하는 핵심 요소라고 해석했습니다.

마지막으로 Fig.4 정성 결과입니다. Ego4D의 두 사례에서 AntGPT, INSIGHT w/o Cognitive Reasoning, Full INSIGHT의 미래 행동 예측을 비교했는데, AntGPT는 draw tablet 반복처럼 특정 동사-명사 쌍을 과도하게 반복하고, 숫자 같이 task와 관련없는 명사도 생성했습니다. w/o cognitive reasoning INSIGHT는 단어 정확성을 개선되었으나 hold pen 없이 put pen을 반복하는 등 행동 간 선후관계가 부자연스러움을 확인할 수 있습니다. Full INSIGHT는 think->의도추론->미래 행동 예측이라는 사고 과정을 통해 시간적으로 연결된 행동을 생성했으며, 앞서 AntGPT나 w/o cognitive reasoning에서 발생했던 문제점이 줄어든 모습을 보입니다. 하지만 먼가먼가 체리피킹 열심히 한 결과라는 생각이 들기도 하네요.

Conclusion

INSIGHT가 기존 방법과 차이를 가져간 부분은 1. 특징 추출 시에 HOI region을 활용하도록 설계 2. 수동적인 시퀀스 only 예측 대신 cognitive reasoning 정도인 것 같습니다. 먼저 HOI에 대해서, 저는 egocentric video에서의 상호작용이 꼭 손을 통해서 이뤄지는 가에 대한 의심이 들었던 것 같습니다. 물론 실제 데이터셋 샘플을 본 적은 없지만, 사람의 입장에서 상호작용하는 대상은 손이 아니라 뭐 발로 차거나 밀거나 하는 경우도 있을 수 있는 거고, 다른 사람과 대화를 할 수도 있는 게 아닌가(물론 오디오 입력이 들어올 것 같긴 않지만), 고로 저자들이 주장하는 interaction이 너무 hand-object에만 국한된 것이 아닌가 하는 생각이 들었습니다. 물론 이 메서드로 성능을 올렸다면 데이터셋 자체의 다양성도 의심해볼 요소일 것 같습니다. 그 밖에도 의문이 드는 점들이 더 있을 정도로, 개인적으로 뭔가 limitation을 더 많이 생각해보게 되는 논문이었던 것 같습니다.