[ICML 2026] Omni-Perception Policy Optimization for Multimodal Emotion Reasoning

안녕하세요. 이번에는 Omni-Perception Policy Optimization for Multimodal Emotion Reasoning 논문을 읽어보았습니다. 이 논문은 감정 AI가 사람의 표정, 목소리, 말의 내용까지 함께 보고 감정을 추론할 때, 정말 그 단서들을 제대로 쓰고 있는지를 묻는 논문입니다. 단순히 정답 감정 라벨을 잘 맞히는지를 넘어서, 모델이 어떤 증거를 보고 판단했는지, 그리고 그 증거가 실제 모달리티에 근거한 것인지까지 보려는 논문이라고 볼 수 있습니다. 그럼 리뷰 시작하겠습니다.

---

1. Introduction

감정을 이해하는 AI에서 중요한 것은 무엇일까요? 단순히 “기쁘다”, “슬프다”, “화났다”를 맞히는 것도 중요하지만, 실제 사람과 상호작용하려면 왜 그렇게 판단했는지도 중요합니다. 예를 들어 어떤 사람이 웃고 있지만 목소리가 떨리고 말끝이 흐려진다면, 감정은 단순히 행복 하나로 끝나지 않을 수 있겠죠. 그래서 최근 연구는 multimodal emotion recognition에서 multimodal emotion reasoning으로 넘어가고 있습니다.

이 논문에서 말하는 multimodal emotion reasoning은 모델이 visual stream, acoustic stream, textual stream을 함께 보고 emotion prediction과 reasoning을 같이 생성하는 task입니다. 이때 reasoning은 <think>...</think> 안에 들어가고, 최종 답은 <answer>...</answer> 안에 들어갑니다.

그런데 저자들은 여기서 아주 중요한 질문을 던집니다. reasoning을 길게 쓴다고 해서 정말 잘 본 것일까요? 논문은 아니라고 봅니다. 모델이 그럴듯한 reasoning을 만들 수는 있지만, 실제로는 특정 모달리티에 지나치게 기대거나, 보지 않은 모달리티에 대한 설명을 꾸며낼 수 있기 때문입니다.

Figure 1에서 이 문제를 직관적으로 보여줍니다. 첫 번째는 underutilization입니다. video와 audio에 여러 감정 단서가 있는데 AffectGPT-R1은 crying tone에 주로 의존하고, furrowed brow, sad eyes, contorted expression, mouth slightly open 같은 visual cue를 놓칩니다. 저자들은 이를 thinking inertia(생각 관성)이라고 부릅니다. 한 번 어떤 단서에 꽂히면 다른 단서를 덜 보는 현상이라고 이해할 수 있습니다.

두 번째는 unfaithfulness입니다. video를 masking 했는데도 모델이 “video shows a frown”이라고 답합니다. 실제 video를 볼 수 없는 상황인데 video cue를 본 것처럼 말한 것입니다. 이 부분이 이 논문에서 꽤 중요합니다. 모델이 감정을 맞혔더라도, 그 reasoning이 실제 입력에 grounded 되어 있지 않으면 신뢰하기 어렵기 때문입니다.

저자들은 이를 측정하기 위해 MEP-Bench(Multimodal Emotion Perception Benchmark)를 만듭니다. 사람이 annotation한 multimodal cue가 모델의 reasoning trajectory에 얼마나 들어갔는지 recall로 봅니다. faithfulness는 unimodal masking으로 봅니다. 예를 들어 video를 가린 뒤 “video에 frown이 있나요?”라고 물었을 때, 모델이 없다고 해야 faithful한 것이죠.

논문의 contribution은 크게 3가지로 정리할 수 있습니다.

1. MEP-Bench를 만들어 기존 emotion Omni-MLLM(감정 옴니 다중양식 대규모 언어 모델)의 underutilization과 unfaithfulness를 진단함
2. Omni-Perception Reward와 Omni-Perception Loss를 결합한 OPPO(Omni-Perception Policy Optimization)를 제안함
3. MER-UniBench(Multimodal Emotion Reasoning Unified Benchmark), MME-Emotion, MEP-Bench에서 성능과 perception metric을 개선함

2. Method

본 논문은 Multimodal Emotion Reasoning, 즉 MER을 open-vocabulary generation task로 둡니다. 입력의 경우, $X=\{V,A,T\}$로 표시하였고, 여기서 V는 visual stream, A는 acoustic stream, T는 textual stream을 의미합니다. 모델은 policy $\pi_\theta$로 표현되고, structured sequence Y를 생성합니다.

조금 쉽게 말하면 모델은 영상만 보는 것도 아니고, 음성만 듣는 것도 아니고, 텍스트만 읽는 것도 아닙니다. V, A, T를 함께 보고 감정을 맞히면서 그 이유도 문장으로 써야 합니다. 그래서 출력은 보통 <think>와 <answer>로 나뉩니다. <think>에는 reasoning이 들어가고, <answer>에는 final emotion prediction이 들어갑니다.

학습은 두 단계로 진행됩니다. 먼저 supervised fine-tuning을 하고, 그 다음 GRPO-style reinforcement learning을 합니다. 이를 위해서 저자들은 MER-Caption+ dataset에서 5k sample만 supervised fine-tuning에 쓰고, 나머지 sample은 reinforcement learning에 사용했다고 합니다.

기본 reward는 두 가지입니다. 하나는 task reward $R_{\mathrm{acc}}$이고, 다른 하나는 format reward $R_{\mathrm{fmt}}$입니다. $R_{\mathrm{acc}}$는 감정 예측이 맞는지를 보고, $R_{\mathrm{fmt}}$는 <think>와 <answer> 형식이 제대로 지켜졌는지를 봅니다.

하지만 이것만으로는 부족한데요. 바로, 감정을 맞혔고 형식도 지켰지만, 정작 reasoning이 실제 video나 audio에 grounded 되어 있지 않을 수 있기 때문입니다. 그래서 저자들은 여기에 OPPO를 추가합니다. OPPO는 크게 Omni-Perception Reward와 Omni-Perception Loss로 구성됩니다.

Figure 2를 통해서 OPPO의 프레임워크를 확인할 수 있습니다.

2.1. Omni-Perception Reward

Omni-Perception Reward는 utilization을 높이기 위한 장치입니다. 한마디로 말하면, 모델이 정답을 맞히는 것뿐 아니라 reasoning 안에서 중요한 evidence를 얼마나 잘 회복했는지까지 보상합니다.

먼저 저자들은 ground-truth reasoning paragraph에서 atomic evidence를 뽑습니다. atomic evidence는 더 작게 쪼개기 어려운 감정 단서라고 보면 됩니다. 예를 들어 “눈썹을 찡그림”, “목소리가 떨림”, “말의 내용이 실망을 나타냄” 같은 단서가 여기에 들어갈 수 있습니다.

이 단서들은 세 종류로 나뉩니다.

1. Video cues $C_V$
   facial expression, body posture처럼 video에서 볼 수 있는 단서
2. Audio cues $C_A$
   intonation, rhythm, volume처럼 audio에서 들을 수 있는 단서
3. Emotion cues $C_E$
   관찰된 단서와 final emotion prediction을 연결하는 추론적 단서

전체 cue set은 $C=\{C_V\cup C_A\cup C_E\}$입니다. 각 cue c는 임베딩 모델을 통해 embedding $e(c)$가 됩니다. 모델이 생성한 reasoning은 punctuation-based splitting을 통해 clause $U=\{u_1,\ldots,u_K\}$로 나뉘고, 각 clause $u_k$도 embedding $e(u_k)$로 바뀝니다.

식(1)은 cue와 clause의 의미적 similarity를 계산합니다.

여기서 $M_{c,k}$는 ground-truth cue $c$와 generated clause $u_k$가 얼마나 비슷한지를 나타냅니다. 쉽게 말하면, 정답 단서와 모델이 쓴 문장이 같은 이야기를 하고 있는지 점수로 비교하는 것입니다.

식 (2)는 cue 하나마다 가장 잘 맞는 clause를 찾습니다.

즉, 모델이 여러 문장을 썼다면 그중에서 cue c를 가장 잘 설명한 문장을 고르는 과정입니다. 여기서 $[K]$는 1부터 K까지의 clause index라고 보면 됩니다.

식(3)은 similarity를 hit score로 바꿉니다.

여기서 $\delta$는 similarity threshold입니다. 만약 $M(c)\leq\delta$이면 cue를 제대로 찾지 못한 것으로 보고 s(c)=0이 됩니다. 반대로 $M(c)>\delta$이면 얼마나 강하게 cue를 회복했는지 0에서 1 사이 점수로 바꿉니다.

식(4)는 최종 Omni-Perception Reward를 계산합니다.

이 식은 video cue, audio cue, emotion cue를 각각 평균내고 더합니다. 중요한 점은 그냥 단서를 많이 쓰면 되는 구조가 아니라는 것입니다. $C_V, C_A, C_E$를 따로 평균내기 때문에 특정 모달리티의 cue 하나만 보고 끝내기보다, 여러 종류의 cue를 골고루 reasoning에 넣도록 유도합니다.

마지막으로 전체 reward입니다.

여기서$ \alpha$는 cue-grounded reasoning을 얼마나 강하게 보상할지 조절하는 hyperparameter입니다. 이 식은 꽤 직관적입니다. 답도 맞히고, 형식도 지키고, 근거도 잘 찾으면 reward가 커집니다.

3.2. Omni-Perception Loss

Omni-Perception Loss는 faithfulness를 높이기 위해 고안된 것이라고 보면 되는데요. 앞의 Omni-Perception Reward가 “단서를 더 잘 쓰자”에 가깝다면, Omni-Perception Loss는 “없는 단서를 있는 것처럼 말하지 말자”에 가깝습니다.

먼저 입력 $X=\{V,A,T\}$에서 하나의 modality를 masking합니다.

여기서 $\tilde V$는 masked visual stream, $\tilde A$는 masked acoustic stream입니다. 즉, video를 일부 가리거나 audio를 일부 가린 입력을 따로 만드는 것입니다.

각 decoding step t에서 원래 입력을 봤을 때의 token distribution은 $p_t=\pi_\theta(\cdot\mid X,Y_{<t})$으로 정의됩니다.

여기서 $Y_{<t}$는 t번째 token을 만들기 전까지 이미 생성된 token들을 의미합니다. 쉽게 말하면, 모델이 지금까지 쓴 문장을 보고 다음 token을 고르는 상황입니다.

modality m이 masking된 입력에서의 token distribution은 식 (7)입니다.

이제 full input을 봤을 때의 분포 $p_t$와 masked input을 봤을 때의 분포 $p_t^m$가 얼마나 다른지를 봅니다. 식(8)은 KL divergence를 사용합니다.

이 식이 의미하는 바는 단순한데요. 만약 어떤 token이 video-specific evidence를 말하고 있다면, video를 masking했을 때 token distribution이 크게 달라져야 합니다. 반대로 video를 가렸는데도 distribution이 거의 그대로라면, 그 말은 실제 video를 보고 나온 것이 아닐 가능성이 큽니다.

그런데 모든 token에 KL divergence를 적용하면 문제가 생깁니다. 예를 들어 “그리고”, “그래서”, “느껴진다” 같은 일반적인 표현까지 모두 흔들면 optimization이 불안정해질 수 있습니다. 그래서 저자들은 modality-specific token만 골라냅니다.

식(9)는 각 $clause u_k$가 어떤 cue에 가장 잘 맞는지 찾습니다.

여기서 $C_O=C_V\cup C_A$입니다. 즉, emotion cue는 제외하고 video cue와 audio cue만 봅니다. $M(u_k)>\delta$인 clause만 남기고, $C_V$에 맞으면 visual token set $\mathcal{T}_V, C_A$에 맞으면 audio token set $\mathcal{T}_A$에 넣습니다.

그 다음 식(10)이 Omni-Perception Loss입니다.

논문에서 말하려는 핵심은 여기 있습니다. 모든 token에 똑같이 loss를 주는 것이 아니라, 실제 visual evidence token과 audio evidence token에만 KL divergence를 적용합니다. 그래서 모델은 “비디오를 봐야만 알 수 있는 말”과 “오디오를 들어야만 알 수 있는 말”을 더 분명하게 구분하게 됩니다.

최종 objective는 다음과 같습니다.

여기서 $\beta$는 Omni-Perception Loss의 strength를 조절하는 hyperparameter입니다. $\beta$가 너무 작으면 faithfulness를 충분히 밀어주지 못하고, 너무 크면 원래 감정 예측 성능이 흔들릴 수 있습니다. 그래서 뒤의 ablation study에서 $\beta$를 따로 비교합니다.

3.3. Comparison to Perception Enhancement Methods

저자들은 OPPO를 기존 perception enhancement method와 비교합니다.

먼저 LLM-as-a-judge 방식이 있습니다. AffectGPT이나 HumanOmni가 이런 계열인데요. 두 reasoning chain을 보여주고, judge model이 더 좋아 보이는 reasoning에 높은 reward를 주는 방식입니다. 문제는 이 평가가 coarse-grained하다는 것입니다. 겉으로는 그럴듯한 reasoning이어도 실제 video나 audio에 grounded 되어 있는지는 구별하기 어렵습니다.

그 다음 PAPO(Perception-Aware Policy Optimization)가 있습니다. PAPO는 modality를 masking하고 full input과 masked input의 output distribution에 KL divergence를 적용합니다. 다만 모든 token에 같은 constraint를 적용하기 때문에, masked modality와 직접 관련 없는 token까지 불필요하게 흔들 수 있습니다.

OPPO는 이 부분을 더 정교하게 바꿉니다. cue matching을 통해 video evidence token과 audio evidence token을 찾고, 그 token에만 KL-based constraint를 줍니다. 그래서 OPPO는 단순히 “마스킹했을 때 달라져야 한다”가 아니라, “해당 modality를 실제로 말하는 token이 달라져야 한다”에 더 가깝습니다.

4. Experiments

4.1. Setup

실험은 세개의 축으로 진행됩니다. 첫 번째는 MER-UniBench, 두 번째는 MME-Emotion, 세 번째는 저자들이 새로 만든 MEP-Bench입니다.

MER-UniBench는 총 9개 dataset을 포함합니다. Fine-grained Emotion Recognition은 OV-MERD+로 평가합니다. Basic Emotion Recognition은 MER23, MER24, MELD, IEMOCAP으로 평가하고, Sentiment Analysis는 MOSI, MOSEI, SIMS, SIMSv2로 평가합니다. (이렇게 데이터셋을 보아서 평가했기 때문에 ICML에 실린 이유가 아닌가 싶은 생각도 듭니다)

MME-Emotion은 recognition, reasoning, CoT를 함께 봅니다. 원래 GPT-4o가 evaluator였지만, 논문에서는 GPT-4o를 사용할 수 없어 gemini-3.1-flash-lite-preview를 judge로 사용했다고 설명합니다.

4.2. Multimodal Emotion Perception Benchmark

MEP-Bench는 이 논문에서 특히 중요한 부분입니다. 이 benchmark가 있어야 “감정을 맞혔는가”뿐 아니라 “진짜 단서를 보고 맞혔는가”를 따로 볼 수 있기 때문입니다.

저자들은 OV-MERD에서 cue-rich instance를 골라 300개 sample을 만들었습니다. Utilization은 cue recall로 봅니다. 사람이 주석한 cue와 모델이 생성한 cue를 embedding한 뒤, maximum cosine similarity가 0.6을 넘으면 해당 cue를 회복했다고 봅니다.

Faithfulness는 조금 더 흥미롭습니다. audio-visual correlation이 강한 sample에서 modality마다 500개 probe question을 만듭니다. 예를 들어 video를 masking하고 “Does the video show a frown?”이라고 묻습니다. 이때 모델이 “Yes”라고 답하면 hallucination으로 봅니다. 왜냐하면 video를 볼 수 없는데 video 내용을 안다고 말했기 때문입니다.

Table 1은 MEP-Bench 결과를 보여줍니다.

여기서 볼 포인트는 OPPO가 recall만 올린 것이 아니라 faithfulness도 같이 올렸다는 점입니다. Baseline과 비교하면 recall은 58.00에서 70.44로 올라가고, Acc@V는 59.20에서 76.40, Acc@A는 33.00에서 50.60으로 올라갑니다.

Acc@V와 Acc@A는 각각 visual masking, acoustic masking 상황에서 모델이 hallucination을 피하는 정도로 이해하면 됩니다. 숫자가 높다는 것은, 가려진 modality에 대해 함부로 “봤다”거나 “들었다”고 말하지 않는다는 뜻입니다. 그래서 이 결과는 OPPO가 단서를 더 많이 쓰면서도 없는 modality에 대한 거짓 설명을 줄였다는 뜻으로 볼 수 있습니다.

4.3. Main Results on MER-UniBench

Table 2는 MER-UniBench 결과입니다. OPPO는 평균 81.05를 기록합니다. reproduced AffectGPT-R1은 75.60이므로, 논문 기준으로 평균 5.45점 높은 성능입니다. 이 결과를 읽을 때 조심해야 할 부분도 있습니다. OPPO가 모든 개별 dataset에서 무조건 최고라는 식으로 보면 안되는 것이, 논문의 핵심은 “모든 표를 압도했다”가 아니라, 전체 평균 성능과 perception metric을 함께 끌어올렸다는 데 있습니다. 즉, 감정 정답을 맞히는 능력과 grounded reasoning을 같이 개선하려는 논문 목표에 맞는 결과라고 볼 수 있습니다.

Table 3은 MME-Emotion 결과입니다.

OPPO는 mean recognition 31.0, mean reasoning 68.1, mean CoT 49.5를 기록합니다. Baseline과 비교하면 세 지표가 모두 올라간 것을 볼 수 있습니다. 특히 mean reasoning이 62.7에서 68.1로 오른 점이 중요한데요. 해당 방법론이 단순 emotion classification이 아니라 reasoning grounding을 다루고 있다는 점에서 큰 성능 향상을 보인 것을 확인할 수 있습니다.

4.4. Ablation Studies and Analyses

Table 4를 보면 베이스라인에서 R_{\mathrm{omni}}만 넣으면 mean이 79.45로 오르고 recall도 62.55로 올라가는 것을 볼 수 있습니다. 즉, cue coverage를 직접 보상하는 것이 어느 정도 효과가 있다는 뜻입니다.

그런데 PAPO나 PAPO-dual을 넣으면 기대만큼 좋아지지 않는 것을 볼 수 있는데요. PAPO는 모든 token에 KL constraint를 주는 방식이기 때문에, modality-specific evidence token에 정확히 집중하지 못합니다.

반면$ \mathcal{J}_{\mathrm{omni}}(\theta)$까지 적용한 OPPO는 가장 좋은 결과를 기록한 것을 볼 수 있습니다. 해당 결과로 Omni-Perception Reward만으로도 utilization은 어느 정도 좋아지지만, faithfulness까지 끌어올리려면 Omni-Perception Loss가 필요하다는 쪽으로 읽을 수 있을 것 같습니다.

---

지금까지 OPPO 논문 리뷰를 마쳐봤습니다. 이 논문은 감정 reasoning model이 “무엇을 보고 그렇게 말했는가”를 정면으로 다룬다는 점에서 의미가 있었습니다. 특히 감정 AI를 실제 상호작용 시스템에 쓰려면, 정답률만 보는 것이 아니라 utilization과 faithfulness를 함께 봐야 한다는 점을 잘 보여주는 논문이었습니다. 지금까지 읽어주셔서 감사합니다.