안녕하세요. 이번에는 World-Model Inspired Emotion-aware Token Refinement for Training-Free Multimodal Emotion Recognition 논문을 읽어보았습니다. ICML 2026에 실린 논문인데요. 이 논문은 감정 인식 모델을 다시 학습시키지 않고, frozen 모델 안에서 토큰이 어떻게 쓰이는지만 손봐서 성능을 끌어올릴 수 있는지를 묻는 논문입니다. 요즘 training-free 계열 연구가 대부분 프롬프트를 잘 써주는 선에서 멈춰 있는데, 이 논문은 모델 내부의 attention과 hidden state까지 직접 건드린다는 점이 특징이라 볼 수 있겠습니다. 그럼 리뷰 시작하겠습니다.
1. Introduction
MLLM은 요즘 cross-modal understanding과 reasoning을 꽤 잘합니다. visual question answering이나 visual reasoning 같은 task에서는 이미 인상적인 성능을 내고 있죠. 그런데 이걸 그대로 MER, 즉 multimodal emotion recognition에 가져오면 이야기가 달라집니다.
이유는 두 가지입니다. 첫째, 감정 표현은 미묘하고 드문드문 흩어져 있습니다. 비디오에서는 아주 작은 얼굴 근육의 변화, 텍스트에서는 대조적인 전환 같은 것들을 예로 들 수 있겠습니다. “괜찮아, 그런데…”에서 “그런데” 하나가 감정을 뒤집는 식이죠. 둘째, 실제 데이터는 배경이나 무관한 맥락, 중복된 정보가 화면과 문장의 대부분을 차지합니다. (생각해보니 이 부분은 대부분의 비디오 task에서도 해당되는 어려움인거 같네요)
그래서 MLLM은 정작 판단에 필요한 감정 단서에 주의를 기울이지 못합니다. 더 곤란한 건, 그럴듯한 감정 응답을 만들어내더라도 그 판단이 실제로 정보가 있는 증거에 근거하지 않을 수 있다는 점입니다. 우연히 맞은 답이 되어버리는 것이죠. 그래서 예측이 불안정하고 신뢰하기 어려워집니다.
Figure 1이 본 논문의 문제의식을 보여주는데요. 세 경우의 입력이 남자의 얼굴 영상과 “You know I waited for you to appear.”라는 텍스트로 모두 같습니다.
(a)는 fine-tuning입니다. 파라미터를 업데이트해서 raw token을 emotion-adapted token으로 바꾸고, Sad를 맞힙니다. 다만 High Training Cost라고 적혀 있죠. emotio 분야라면 다들 아는 Emotion-LLaMA처럼 감정 전용의 인코더를 학습시키거나, CVPR 논문의 EmoVIT처럼 보조 MLLM으로 감정 description을 만들어 지도학습하는 계열입니다. 효과는 확실하지만 비용이 크고, 무엇보다 frozen 상태의 대형 모델에 의존해야 하는 실제 배포 환경에서는 쓰기 어렵다는 한계가 있습니다.
(b)는 training-free 계열입니다. 모델은 frozen이고 “Let’s think step by step” 같은 프롬프트만 넣습니다. 그런데 출력은 “The person looks composed and restrained; despite the ‘waiting’ text, the overall effect remains neutral.”과 같습니다. 예측은 Neutral으로 오답이군요. 그림에는 Prompt-level control이라고 적혀 있는데요. 이 방식이 입력이나 출력 수준에서만 작동하고, 정작 안쪽의 token-level attention과 aggregation은 사전학습된 그대로 쓴다는 뜻입니다.
(c)가 이 논문에서 제안한 WETR입니다. 모델은 여전히 frozen인데 안쪽에 두 개의 기법이 사용되었습니다. 왼쪽 깔때기 모양이 NTS로 감정과 무관한 토큰을 Suppress하고, 오른쪽 돋보기가 STR로 감정 단서를 Strengthen합니다. 가운데 heatmap에서 초록 점선은 emotion-relevant token, 빨간 점선은 emotion-irrelevant token인데요. 텍스트에서도 “You know”는 빨간색, “waited for you to appear”는 초록색으로 갈립니다. 결과는 Sad로 교정됩니다.
여기서 논문의 저자는 하나 질문을 합니다. 재학습 없이, 판단에 중요한 감정 토큰 쪽으로 추론을 명시적으로 유도해서 MER을 안정화할 수 있을까요?
저자들은 감정 인식을 pattern matching이 아니라 latent state inference로 보고자 하였는데요. 친구가 왜 기분이 안 좋은지 알아낼 때 우리는 슬픈 얼굴 사진첩과 대조하지 않죠. 어깨가 처지고, 말수가 줄고, 말끝이 흐려지는 여러 단서를 모아서 보이지 않는 속마음을 추론합니다. 그 보이지 않는 상태가 이 논문에서 z_e로 쓰는 latent emotional world state입니다.
world model은 원래 강화학습이나 로보틱스에서 “관측을 만들어낸 숨은 세계 상태를 모델이 내부적으로 추론한다”는 아이디어인데요. 저자들은 이 아이디어를 MER에 그대로 옮겨왔습니다. 감정 상태는 직접 관측되지 않고, 드물고 미세한 단서로만 드러나며, 그 단서들은 대량의 무관한 맥락에 파묻혀 있다는 가설입니다.
그런데 여기 제약이 하나 붙습니다. 파라미터가 frozen이면 representation 자체를 고쳐서 감정 신호와 잡음을 분리하는 것이 불가능하죠. 그래서 저자의 결론은 이렇게 정리할 수 있겠는데요. 강건함은 새 representation을 배우는 데서 오는 게 아니라, 관측된 증거를 어떻게 쓸지를 구조화하는 데서 와야 한다는 것입니다. 그리고 MLLM에서 입력은 오직 토큰을 통해서만 처리되니, 결국 손댈 수 있는 것은 token usage 하나로 좁혀집니다.
논문의 contribution은 4가지로 정리할 수 있습니다.
- world-model 관점에서 감정 토큰 사용을 명시적으로 정제하는 training-free, plug-and-play 추론 조절기 WETR을 제안함
- 모달리티 내부 중복을 억제하면서 감정 단서는 보존하는 NTS(Noise-suppressed Token Selection)를 도입함
- 남은 토큰을 재가중해서 상호보완적 단서를 강화하는 STR(State-strengthened Token Reweighting)을 설계함
- MAFW, CH-SIMS, MER23에서 정확도와 안정성의 일관된 개선을 검증함
2. The Proposed Method
2.1. Problem Definition
입력은 video-text pair $(V, T)$입니다. V는 프레임 시퀀스, T는 그에 딸린 텍스트이고, 목표는 frozen MLLM으로 emotion state $\hat{y}$를 예측하는 것입니다.
frozen MLLM은 (V, T)를 하나의 토큰 시퀀스 $x=[x_1,\ldots,x_L]$로 직렬화합니다. 토큰 종류는 index set으로 구분합니다. $I_v \subset \{1,\ldots,L\}$가 visual token, $I_t \subset \{1,\ldots,L\}$가 text token입니다. 그런데 text token 안에도 두 종류가 섞여 있습니다. 실제 대사도 있지만 “이 영상의 감정을 분류하시오” 같은 프롬프트 템플릿도 들어가 있습니다. 이 템플릿이 통계를 오염시키지 않도록 다시 나눕니다.$ I_{con} \subseteq I_t$가 content token, $I_{inst} \subseteq I_t$가 instruction token입니다. 여기서 $I_{inst}$의 경우, 지시문을 잘라버리면 모델이 무슨 일을 해야 하는지 모르게 되고 출력도 파싱할 수 없게 되기 때문에 보존합니다.
2.2. Token Usage under World-Model View
감정을 latent state z_e로 두고, 이것이 멀티모달 관측을 만들어낸다고 봅니다. 동시에 각 모달리티에는 감정과 무관한 노이즈도 들어 있고요. 이는 아래의 식으로 다음과 같이 볼 수 있습니다.
$\varepsilon_v$는 배경 중복 같은 visual noise, $\varepsilon_t$는 무관한 맥락 같은 text noise이고, $g_v(\cdot), g_t(\cdot)$는 latent state와 노이즈를 섞어 관측을 만들어내는 generative mapping입니다. 우리가 보는 영상은 진짜 감정과 잡음이 섞여 나온 결과물이라는 것이죠.
저자들이 말하길, 해당 정식화는 $g_v, g_t$에 실제로 접근할 수 있다고 가정하지 않고, 그저 추론 목표를 명확히 하려는 장치로 가져가겠다고 합니다. 추론 목표란 드문 감정 단서로 $z_e$의 불확실성을 줄이면서 $\varepsilon$가 지배하는 중복에는 저항하는 것입니다.
그리고 앞서 말했듯 frozen 상태에서는 $z_e$와$ \varepsilon$를 분리하는 새 representation을 배울 수 없으니, 개입할 수 있는 것은 추론 시점의 토큰뿐입니다. 그래서 token-usage weight vector $w=\{w_i\}_{i=1}^{L}$를 도입하고, 식(2)처럼 두 개로 쪼갭니다.
$m_i \in \{0,1\}$은 이 토큰을 증거로 받아들일지 결정하는 스위치이고,$ \gamma_i > 0$은 받아들인 토큰의 영향력을 조절합니다. 채택된 집합은 $K = \{i \mid m_i = 1\}$로 씁니다.
위에서 설명한 분해가 논문 전체의 뼈대라고 할 수 있는데요. 켤까 말까와 얼마나 크게를 분리한 것이고, 앞의 스위치를 NTS가, 뒤의 영향력 조절을 STR이 담당합니다.
Figure 2를 통해 전체 구조를 확인할 수 있습니다. 맨 위에 $w_i = m_i \gamma_i$가 크게 적혀 있고 왼쪽 주황색이 NTS(Observation Filter), 오른쪽 초록색이 STR(Likelihood Modulator)입니다.
동작 순서는 이렇습니다. trigger layer $\ell$에서 hidden state$ \{h_i^{\ell}\}$가 주어지면, 먼저 NTS가 contrastive emotion query로 visual token과 content token에 점수를 매기고 $m_i$를 갱신합니다. 그림 안에 $s_i^v$가 4, 1, 3이고 $s_j^t$가 5, 7, 2인 예시가 보이는데, 낮은 점수 토큰이 Drop되어$ K_v$와$ K_{con}$에서 빈 점선 박스로 표시되죠. 그다음 STR이 K 안에서 cross-modal predictability를 재고 $\gamma_i$를 갱신합니다. 그림의 r = (1-g)(1-e)는 $z_e-irrelevant$이면서 Easy Pred, $c = g \cdot e$는 $z_e-relevant이$면서 Hard Pred로 라벨링되어 있습니다.
마지막으로 정제된 $\tilde{h}_i^{\ell} = \gamma_i h_i^{\ell}$가 다음 레이어로 넘어가고, non-trigger layer는 손대지 않습니다.
trigger set은 $L_{reg} = \{\ell \mid \ell \bmod n_r = 0\}$로 정의됩니다. $n_r$로 나누어떨어지는 층에서만 개입한다는 뜻이니, $n_r=9$면 9층, 18층, 27층에서만 손을 대는 것이죠. 이 sparse한 개입이 중요한 이유는 뒤의 민감도 분석에서 다시 나옵니다.
2.3. NTS: Noise-suppressed Token Selection
NTS는 observation filter로서 m_i를 갱신합니다. 이상적으로는 토큰 x_i를 받아들일 때 conditional information gain이어야 합니다. 이는 다음과 같이 표현할 수 있습니다.
$x_{-i}$는 $i$번째를 제외한 나머지 전부를 뜻하고요. 말로 풀면 “나머지 토큰들이 이미 설명해 준 것을 빼고 나서, 이 토큰이 감정 상태에 대한 불확실성을 추가로 얼마나 줄여주는가”입니다. 이미 열 명이 “그 사람 슬퍼 보였어”라고 말한 상황에서 열한 번째 사람이 같은 말을 하면 새 정보가 0이지만, “사실 목소리가 떨렸어”라고 하면 새 정보가 생기죠. 그 추가분이 $\Delta_i^{\star}$입니다.
문제는 frozen MLLM에서 이걸 직접 계산할 수 없다는 것입니다. 그래서 NTS는 계산 가능한 $proxy \hat{\Delta}_i$를 추정합니다.
여기가 NTS의 핵심 아이디어인데요. 짧은 instruction span 두 개를 삽입합니다. $Q_{pos}$는 감정 단서를 명시적으로 찾는 질의이고, $Q_{neg}$는 감정 없이도 답할 수 있는 질의, 즉 일반적인 맥락 사용을 반영하는 질의입니다. 이들의 위치를 각각 $I_{pos}, I_{neg} \subseteq I_{inst}$라 하고, trigger layer $\ell$에서 head-aggregated attention $A^{(\ell)}$을 씁니다. $a_{I \to i}^{(\ell)}$는 구간 I에서 토큰 i로 향하는 평균 attention mass입니다. 그러면 식(4)로 contrastive utility가 나옵니다.
굳이 뺄셈으로 정의한 이유는 두 질의가 공유하는 attention, 즉 $\varepsilon$에서 나온 attention과 프롬프트가 유발하는 전역 편향을 상쇄하기 위해서라고 합니다.
여기에 modality bias를 줄이기 위한 cross-modal support term을 다음과 같이 얹어서 최종 점수를 만듭니다.
대상이 visual token이면 텍스트 내용 토큰들이 이 토큰을 얼마나 쳐다보는지의 평균을 더하고, content token이면 시각 토큰들이 얼마나 쳐다보는지의 평균을 더합니다.
이제 점수 s_i로 상위 토큰만 남기는데, 한 모달리티가 전부 차지하지 않도록 다음과 같이 모달리티별로 따로 자릅니다.
최종 집합은 $K = K_v \cup K_{con} \cup I_{inst}$이고, 앞서 말한 대로 $I_{inst}$는 항상 들어갑니다. 따라서 선택 인자는 식(7)이 됩니다.
2.4. STR: State-strengthened Token Reweighting
STR은 likelihood modulator로서 $\gamma_i$를 갱신합니다. world-model 관점에서 보면 남겨진 각 토큰은 likelihood term$ \log p(x_i \mid z_e)$를 제공하는 것으로 볼 수 있고, $\gamma_i$를 조절하는 것은 그 기여도를 조절하는 것과 같습니다. 식으로 표현하면 다음과 같습니다.
생긴 것에 비해 구조는 단순한데요.$ \log p(z_e)$는 아무 증거도 보기 전의 prior이고, $\log p(x_i \mid z_e)$는 감정이 z_e일 때 그 토큰이 관측될 그럴듯함, 그리고 (m_i\gamma_i)가 각 토큰의 발언권 크기입니다.
물론 $\log p(x_i \mid z_e)$도 frozen 모델에서는 직접 못 얻는데요. 그래서 STR은 K 안에서$ \gamma_i$를 재분배하는 쪽으로 방향을 잡습니다. 이를 정리하면$ H \in \mathbb{R}^{L \times d}$가 trigger layer$ \ell$의 hidden state이고, $q_i$와 $k_i$는 frozen attention projection에서 나온 query/key 벡터입니다.
재분배의 기준으로 저자들이 고른 것은 replaceable overlap과 complementary residual evidence의 구분입니다. 전자는 현재 정렬 상태에서 다른 모달리티로부터 상당 부분 예측 가능한 것이고, 후자는 예측하기 어려워서 $z_e$에 더 큰 증분 제약을 줄 수 있는 것입니다.
대체 가능성의 지표로는 cross-modal predictability를 씁니다.$ i \in K_v$에 대해 식(9)를 계산합니다.
식이 익숙하시죠? 표준 attention 계산 그대로 라고 보시면 되겠습니다
그리고 reconstruction error로 예측 가능성을 잽니다.
그런데 예측 가능성만으로는 감정 관련성을 알 수 없습니다. 복원이 안 되지만 그냥 무작위 잡음일 수도 있으니까요. 그래서 NTS 점수로 gating을 겁니다.
$r_i$는 $(1-g_i)$가 감정과 무관할수록 크고 $(1-\bar{e}_i)$가 복원이 쉬울수록 크니, 둘을 곱하면 “쓸모없으면서 뻔한 토큰”에서 최대가 됩니다. $c_i$는 반대로 $g_i$와 $\bar{e}_i$를 곱하니 “감정 관련되면서 고유한 토큰”에서 최대가 되고요.
이제 $\gamma_i$를 갱신합니다. 식 (11)입니다.
$b_i$는 올릴 이유에서 낮출 이유를 뺀 순수 결론이고,$ \delta > 0$는 개입 강도를 정합니다. $\delta$가 0이면 \gamma_i=1이라 아무것도 안 바뀌고, 크면 개입이 세집니다.
마지막으로 $\tilde{h}_i = \gamma_i h_i$로 토큰 단위 스케일링을 적용하면, 이후 레이어들이 $\tilde{h}_i$를 보고 attention을 계산하게 되면서 $w_i = m_i \gamma_i$가 실제로 구현됩니다.
3. Experiment
3.1. Comparison with State-of-the-Art (RQ1)
Table 1을 통해 메인 결과를 확인할 수 있습니다. baseline 방법론에 traing-free 기법을 붙인 것들과 Ours를 작성하여 비교하였습니다. Zero-shot-CoT는 “let’s think step by step”을 붙인 조건입니다.
여기서 읽어야 할 포인트가 세 가지 있는데요.
첫번째. 파라미터도 구조도 안 건드렸는데 모든 데이터셋과 모든 백본에서 개선 되었다는 것입니다. 각 baseline에 붙인 Ours를 보면 모두 baseline에 비해서 성능이 향상된 것을 볼 수 있으며, 가장 크게 개선된 것은 MER23에서 InternVL3.5-8B에서 60.34 -> 68.13으로 무려 7.79% 개선 된 것을 볼 수 있습니다.
두번째. Zero-shot-CoT가 생각보다 도움이 안 된다는 것입니다. 표를 보면 여러 칸에서 오히려 Zero-shot보다 떨어지는데요. “차근차근 생각해 봐”라고 말만 해서는 미세한 감정 단서 문제를 못 푼다는 문제의식을 그대로 뒷받침하는 결과라고 볼 수 있습니다.
세번째. 빠른 속도. WETR의 속도의 경우 Zero-shot이랑 거의 같고 InternVL3.5-4B에서는 1.4583s에서 1.3487s로 오히려 더 빨라지는 것을 볼 수 있습니다. 토큰을 쳐내니 계산량이 줄어든 것이라고 보시면 되겠습니다.
3.2. Ablation Studies (RQ2, RQ3)
ablation 입니다. 먼저 NTS의 점수 함수를 바꿔가며 비교했습니다. MER23에 InternVL3.5-8B를 완전 frozen으로 두고, 모든 변형이 같은 토큰 비율을 유지한 채 scoring function만 다릅니다.
Random에서 attention 기반 점수로 옮기는 것만으로도 성능이 오릅니다. NTS가 아무 토큰이 아니라 정보가 있는 증거를 고른다는 뜻이죠. 그중에서도 제안한 contrastive score가 가장 좋은데, Random 대비 UAR이 57.07에서 63.24로 +6.17%나 오르는 것을 볼 수 있습니다. 감정을 찾는 신호와 노이즈를 찾는 신호를 대조하는 것이 실제로 효과가 있다고 볼 수 있습니다.
Table 3은 모듈별 기여를 분리한 것입니다. 두 모듈 모두 단독으로 baseline을 개선하는데, 둘을 합치면 최고치로 성능이 개선되는 것을 볼 수 있습니다. 저자가 말하길, 두 모듈은 상호보완적으로 동작한다고 하는데요. NTS가 먼저 감정 관련 증거를 골라서 중복을 걷어내고 STR이 남은 토큰을 재가중해서 정보를 강화하는 순서로 동작하니 두 모듈이 붙었을때 성능이 큰 폭으로 향상되는 것이 굉장히 논리적인 것 같습니다.
그런데 Figure 3만으로는 그럴듯해 보인다 정도밖에 말하기 어려운데요. 그래서 논문의 저자들은 인과정 증거를 만들어 NTS가 고른 토큰을 오히려 제거하고 나머지는 그대로 두는 반대 실험을 합니다.
위의 Figure 4가 그 결과인데 모든 frozen 백본에서 WAR이 뚜렷하게 급락하는 것을 볼 수 있습니다. NTS가 고른 집합이 실제로 decision-critical이라는 뜻이죠.
Figure 5는 STR 쪽입니다. Base, Base+NTS, Base+STR, WETR을 attention heatmap으로 비교했고 빨간 박스가 얼굴 영역입니다. Base+STR은 Base보다 얼굴에 attention이 더 자주 모입니다. 재가중만으로도 어느 정도 sharpening 효과가 있다는 뜻이라고 볼 수 있을 것 같습니다.
지금까지 WETR 논문 리뷰를 마쳐봤습니다. 방법론이 기존의 보던 논문과 결이 달라 읽는데 굉장히 시간도 많이 들고 설명하는데도 글을 많이 작성한 것 같습니다… 해당 논문은 학습 없이 성능을 올렸다고 중요하지만 토큰이 왜, 얼마나 기여하는지를 제어한다는 것에서 큰 contribution이 있는것 같습니다. 해당 논문의 문제의식도 단순 감정인식 분야에서뿐만 아니라 다른 task에서 적용할 수 있는 부분이 있는 것 같아 발전 가능성이 큰 논문인 것 같습니다. 지금까지 읽어주셔서 감사합니다.
주연님 좋은 리뷰 감사합니다.
Figure 1에서 (c) 케이스의 경우 “you know”에 대응되는 부분이 배경이 되는 이유가 궁금합니다. “waited for you to appear”과 유사하게 감정인식이라는 점에서 사람 얼굴에 집중해야 하는 게 아닐까요?
또한, Table 1의 실험결과를 통해 zero-shot SoT가 도움이 안되는 걸 확인했다고 하셨는데, 어찌보면 감정적인건 차근차근 이해하는 영역이 아니라 그런걸까 하는 생각이 드네요 ㅎㅎ SEPM도 이런 CoT 프롬프팅을 통한 연구 방향인것일까요? 기존 연구들 도 zero-shot 방식으로 프롬프트를잘 주기 위하니 연구들이 있다고 설명해주셨는데 “let’s think step by step”는 너무 단순한 세팅이 아닐까 하는 의문이 들었습니다.
안녕하세요. 댓글 감사합니다.
1) 여기서 색깔 구분은 각 모달리티 안에서 따로 매겨집니다. 식(6)을 보시게 되면 TopP를 시각 토큰이랑 텍스트 토큰에 각각ㄱ 독립적으로 적용하거든요. 그래서 “사람 얼굴에 집중”한다고 하면 시각 토큰끼리 일어나는 일이고 You Know는 얼굴과 비교되는게 아니라 같은 문장 안의 다르 텍스트 토큰이랑 비교됩니다. 그래서 해당 문장이 감정 정보가 없는 표현이라 탈락이고 실제 감정 내용인 기다렸다를 담은 waited for you to apper가 남은 거죠.
2) 저도 프롬프트를 너무 간단하게 준 것은 아닐까 생각은 했습니다ㅎㅎ SEPM의 경우 제가 알기로는 CoT 프롬프팅 계열이 아니라 SparseVLM처럼 토큰 수준에서 개입하는 training-free 방법론입니다. 프롬프팅 방식, 토큰에서 training-free 방식 이렇게 설정한 것이 아닐까 싶습니다. 제가 봐도 “let’s think step by step”은 너무 단순한 셋팅이여서 감정 특화 CoT(가 있다면) 혹은 few-shot 같은 방법론으로 좀더 강한 프롬프팅 베이스라인이 있었다면 프롬프트 계열의 한계를 더 잘 보여줬을 것 같은데 이 부분은 아쉬움으로 남습니다.