안녕하세요. 이번에는 Benchmarking and Bridging Emotion Conflicts for Multimodal Emotion Reasoning 논문을 읽어보았습니다. ACM MM Oral 논문인데요. 사람이 감정을 표현할 때 표정과 목소리가 서로 다른 말을 하는 경우가 꽤 흔한데, 지금까지의 emotion MLLM들이 그런 상황에서 어떻게 행동하는지를 분석 및 해결 방법론까지 제시한 논문입니다. 그럼 시작해보겠습니다!
1. Introduction
emotion recognition에서 emotion reasoning/understanding으로 넘어가면서, 요즘 모델들은 라벨 하나를 답변하는 대신, open-vocabulary로 감정을 말하고 근거까지 설명합니다. 해당 분야에 대표적인 모델이 Emotion-LLaMA가 있죠.
그런데 기존 emotion MLLM과 벤치마크가 회피하는 상황이 있는데 바로multimodal emotion conflict, 즉 모달리티마다 감정 단서가 서로 어긋나는 상황이라는 겁니다. 그 예시로 Omni-Emotion이 있는데, 해당 연구에서는 명시적으로 일관 되지 않는 샘플은 버린다고 합니다.
그럼 이런 생각이 드실 수도 있을 것 같습니다. multimodal emotion conflict 상황을 왜 주목해야하는가? 왜 고려해야 하는가? 이것에 답변을 드리자면, 사람은 원래 모달리티 간에 감정을 불일치하게 표현하기 때문입니다. 사회적 규범 때문에 참거나, 감정을 절제 하거나, 무의식적으로 감정이 새어나오는 경우가 있는데 이런 경우가 모두 모달리티가 불일치적으로 감정이 표현되는 현상에 속합니다. 즉, 모달리티간 감정이 충돌되는 샘플은 노이즈한 데이터 샘플이 아니라 감정 표현의 본래 성질이 표현된 샘플에 가까운 것이죠.
Figure 1을 예시로 들 수 있을 것 같습니다. 왼쪽 (a)가 video-aligned 샘플인데요. (video-aligned 샘플은 video cue로 true emotion을 판별할 수 샘플이라고 보시면 되겠습니다.) 남자의 아내가 기억상실증으로 자기는 못 알아보는데 다른 사람은 알아보는… 그런 슬픈 상황이라고 보시면 되겠습니다. 표정에는 brow lowerer 등이 나타나서 dissapointment, sadness가 읽히는데, 목소리는 담담해서 neutral로 보일 수 있는 상황입니다. 이런 샘플이 conflict가 발생한 샘플입니다.
오른쪽 (b)가 결과인데요. Emotion-LLaMA는 “facial expression is neutral, with a slight furrowed brow”, “tone and intonation are normal”이라고 서술한 뒤 curiosity 또는 confusion이라고 결론을 냅니다. 반면 본 논문에서 제안한 방법론은 MoSEAR는 brow lowerer와 lip stretcher를 짚고 disappointment, frustration, sadness로 갑니다.
저자는 이러한 emotion conflict를 다루기 위해서 새로운 벤치마크 Conflict-Aware Multimodal Emotion Reasoning (CA-MER)을 제안하였는데요. 해당 벤치마크는 3개의 서브셋으로 구성되어 있는데, video-aligned, audio-aligned, consistent로, video-aligned는 video로 true emotion을 도출할 수 있는 샘플, audio-aligned는 audio로 true emotion을 도출할 수 있는 샘플, consistent는 두 모달리티 모두 true emotion을 도출할 수 있는 샘플이라고 보시면 되겠습니다.
이를 통해 분석하길, 기존 MLLM이 emotion conflict 상황에서 audio modality에 굉장히 의존하여 정답을 도출하는 경우가 많은 것을 확인했다고 합니다. 이는 뒤에서 차차 설명하도록 하겠습니다.
그래서 저자는 기존 MLLM에서 emotion conflict를 대처하지 못하는 현상을 해결하기 위해 MoSEAR (Modality-Specific Experts and Attention Reallocation)이라는 방법론을 제안합니다.
MoSEAR은 두가지의 모듈로 구성되어 있는데 (1) fine-tunning head에서 bias를 해결해주는 Modality-Specific Experts (MoSE), (2) frozen backbons에서 bias를 줄여주는 Attention Reallocation (AR)로 구성되어 있습니다. 디테일한 부분은 뒤에서 설명드리겠습니다.
해당 방법론을 통해 CA-MER에서 emotion conflict를 해결함과 동시에 여러 MER(Multimodal Emotion Recognition) 벤치마크에서 SOTA를 달성함을 보였습니다.
본 논문의 contribution으로 정리하면 다음과 같이 정리할 수 있습니다.
- Benchmark: video-aligned, audio-aligned, consistent 세 subset으로 구성된 CA-MER(Conflict-Aware Multimodal Emotion Reasoning)만듦.
- Findings: 기존 MLLM이 감정 충돌 상황에서 오디오에 과하게 의존한다는 것을 밝히고, 그 핵심 원인이 video/audio 토큰 수의 극단적 불균형임을 실증하였음.
- Methodology: MoSEAR를 제안함. fine-tuning head의 편향을 줄이는 MoSE와, frozen backbone의 attention을 재배분하는 AR, 두 모듈로 구성됨.
- Performance: CA-MER, EMER, MER2023, DFEW에서 SoTA 달성
2. CA-MER 벤치마크
CA-MER은 많이 사용되는 MER 데이터셋(TV/영화 클립에서 시각/오디오/텍스트 cue가 anntation된 데이터셋)을 기반으로 만들어졌는데요. CA-MER은 3개의 서브셋으로 구성되었는데요. 서브셋은 다음과 같이 정의할 수 있습니다.
- video-aligned: 비디오만 진짜 감정을 반영하고 오디오는 다른 말을 하는 샘플
- audio-aligned: 오디오만 진짜 감정을 반영하고 비디오는 다른 말을 하는 샘플
- consistent: 두 모달리티가 모두 같은 감정을 가리키는 샘플
Figure 2(a)가 3단계 구축 파이프라인입니다. 순서대로 따라가 보겠습니다.
Stage 1: unimodal and multimodal emotion labeling
해당 스텝을 “영상 데이터 -> Audio/Visual 분리 -> 각 modality별 감정 예측 -> Multimodal 감정 예측 -> 사람의 검증” 이렇게 압축할 수 있을 것 같습니다.
먼저, GPT-4o에 비디오, 오디오 각각을 따로 넣어 모달리티별 감정 description을 만듭니다. 그런 다음 해당 description을 다시 GPT-4o에 넣어 9개의 감정 중 하나로 도출합니다. 여기서 중요한 점은 비디오 라벨을 뽑을 때는 오디오는 배제하고, 오디오 라벨을 뽑을 때는 비디오를 배제한다는 것입니다. multimodal 라벨의 경우 Emotion-LLaMA로 뽑습니다. 그런 다음 가장 중요한 것이 모든 라벨은 3명의 어노테이터가 수동으로! 검증합니다.
(이 부분에서 가장 의문이 들었던 것이 기존 MLLM이 audio에 bias되어서 emotion conflict를 잘 다루지 못하는데 Emotion-LLaMA를 쓰면 안되는거 아닌가라는 생각을 했는데, 모든 라벨을 사람들이 다 검토한다고 해서 OK했습니다.)
Stage 2: majority voting
비디오, 오디오, multimodal 라벨을 놓고 다수결을 합니다. 비디오와 multimodal이 일치하고 오디오만 다르면 video-aligned, 오디오와 multimodal이 일치하고 비디오만 다르면 audio-aligned, 셋 다 같으면 consistent입니다. 그리고 셋의 라벨이 모두 다르게 나온 샘플은 버립니다
Stage 3: multimodal emotion reasoning generation
Stage 1에서 생성한 시각/오디오 description과 Stage 2에서 확정된 라벨을 함께 GPT-4o에 넣어 최종 추론 텍스트를 만듭니다. 프롬프트가 재밌는데, “각 단서를 분석하고, 그것들이 서로를 지지하는지 충돌하는지 설명하고, 최종 설명이 주어진 라벨 {final label}과 일치하도록 하라”고 지시합니다. 즉 정답을 알려주고 그에 맞는 설명을 쓰게 하는 방식입니다.
최종적으로 CA-MER은 평가용 1,500개 샘플, subset당 500개로 구성됩니다.
3.Understanding MLLM Reasoning in Emotion Conflicts
해당 섹션에서는 CA-MER 벤치마크를 통해 분석한 바를 설명해보고자 합니다.
먼저, Table 1을 통해 CA-MER에서 기존 emotion MLLM과 본 논문에서 제안한 MoSEAR의 성능을 확인할 수 있습니다. 보시면, 기존 방법론들이 Consistent에서는 성능을 잘 내고, Audio-Aligned도 그에 준하는 성능인 것에 비해서 Video-Aligned에서는 확 성능이 떨어지는 것을 보입니다. 왜 이런일이 발생하는 걸까요? 한번 분석해봅시다.
3.1 Attention Pattern Analysis
분석에 들어가기 앞서서, UAP(Unimodal Attention Proportion)라는 지표를 정의하였는데요. 각 모달리티에 attention이 얼마나 배정되는지를 재는 값입니다.
Transformer 층이 L개이고 각 층에 head가 H개, 어떤 층에서 시각 토큰이 $\mathcal{V} = \{\mathbf{v}_1,\dots,\mathbf{v}_m\}$, 오디오 토큰이 $\mathcal{A} = \{\mathbf{a}_1,\dots,\mathbf{a}_n\}$이라고 합시다. 디코딩 k번째 스텝의 생성 토큰 $\mathbf{y}_k$가 head h에서 앞선 토큰 $\mathbf{x}$에 준 attention 가중치를 $\omega_h(\mathbf{x})$라 하면 UAP는 이렇게 정의됩니다.
그 층의 모든 head를 돌면서 해당 모달리티 토큰에 준 attention을 전부 더하고 head 수로 나눈 값이니, $\mathbf{y}_k$를 만들 때 각 모달리티에 얼마나 기댔는가를 재는 지표라고 보시면 되겠습니다.
여기서 $\mathbf{y}_k$를 무엇으로 잡느냐가 은근히 중요한데요. attention은 단어 하나 만들 때마다 새로 계산되니, 100단어짜리 설명을 쓰면 분포도 100개가 나옵니다. 그런데 감정 추론 출력은 실제로 이렇게 생겼는데요. “In the video, a woman sits in living room, wearing a white dress … (생략) the woman is likely feeling a sense of calmness.” 여기서 woman, sits, dress 같은 단어를 쓸 때의 attention은 감정 판단과 상관이 없습니다. 그냥 장면 묘사죠. 판단이 실제로 확정되는 것은 clamness를 뱉는 한 step이라고 보시면 되겠습니다. 전체를 평균을 내면 무관한 토큰들에 묻혀서 정작 중요한 토큰이 희석되니, 논문은 $\mathbf{y}_k$를 감정을 반영하는 첫 응답 토큰으로 두었습니다.
층을 고르는 기준도 같은 논리를 가졌는데요. LLM은 층마다 하는 일이 다른데, 초반은 토큰을 low-level 수준으로 다음고 후반은 출력할 단어를 고른다고 합니다. Devils 연구자가 말하길, 시각 정보와 언어 정보가 섞이는 것은 중간층이라고 하는데요. “모델이 비디오를 보지 않는다”는 문제는 정보를 합치는 단계에서 벌어지는 일이니, 전체 층을 평균 내지 말고 그 지점을 봐야한다는 것이죠.
Figure 3(a)가 첫 결과입니다. Emotion-LLaMA를 대상으로, video-aligned subset의 실패 케이스에서 중간층 UAP를 비교한 것인데요. 14층부터 24층까지 Audio UAP가 Video UAP 위에 일관되게 있고, 한 번도 교차하지 않습니다. 오디오는 17층에서 0.18까지 치솟으며 대체로 0.05~0.15를 오가는데 비디오는 내내 0.015~0.035에 눌려 있죠.
video-aligned는 비디오가 진짜 감정을 담고 있다는 뜻이고 실패 케이스는 모델이 그걸 틀렸다는 뜻이니, 정답이 시각 쪽에 있는데 모델은 정답이 없는 오디오를 몇 배 더 보고 있었다는 이야기가 됩니다.
Figure 3(b)는 같은 현상을 토큰 단위로 본 것입니다. x축에 256까지가 시각 토큰이고 맨 끝 257 자리의 파란 막대 하나가 오디오 토큰인데, Emotion-LLaMA가 오디오를 토큰 딱 하나로 쓴다는 것이 바로 보입니다. 그 막대 하나가 0.15를 넘고, 시각 토큰은 같은 축에서 1.0을 겨우 넘거나 그 이하인 것들이 많아서 확대해야 보이는 수준입니다.
시각 토큰 256개를 전부 더해도 0.02~0.03 수준이라 오디오 토큰 하나에 5배 가까이 집니다. 이 때문에 video-aligned 샘플이 들어오면 오답을 판단하는 것이죠.
3.2 Key Factor: 비디오-오디오 토큰 수 불균형
그럼 오디오에 의존하여 대답하는 이 편향은 어디서 오느냐. 바로 토큰 수의 극단적 불균형입니다. Emotion-LLaMA는 비디오 256개에 오디오 1개, M2-Omni는 6144개에 256개, ViTA1.5는 8초 샘플 기준 2048개에 93개를 씁니다. 요즘 omni-modal MLLM들의 설계 관성이 비디오 토큰이 굉장히 많고 그에 비해서 오디오 토큰은 적게 가져가는 것이죠.
그러면 이런 의문이 드실 수 있을 것 같습니다. 비디오 토큰이 압도적으로 많은데 왜 오디오 편향이 생기는지? 저자들이 설명하길, 비디오 정보가 차원이 높아 희소하고 노이즈가 많은 반면에 오디오는 소수의 토큰에 정보가 압축되어 있고, 그래서 모델이 추론할 때 간결한 오디오 단서를 선호하게 된다는 것입니다.
저자들의 이러한 생각을 실제 실험으로 증명하고자 하였는데요. Emotion-LLaMA에서 오디오 토큰을 시퀀스 방향으로 복제하여 개수만 늘린 모델들을 각각 학습시킵니다. 여기서 주의할 점은 오디오 토큰을 추가하는 과정에서 오디오 정보를 추가로 넣지 않는다는 것입니다. 정보량은 고정한 채로 개수라는 변수 하나만 가져가겠다는 거죠.
Figure 3(c)가 실험 결과 입니다. 오디오 토큰을 늘리면 video-aligned는 53.9%에서 57.8%까지 오르고 audio-aligned는 59.5%에서 56.6%대로 내려옵니다. 그리고 두 모달리티 토큰 수가 256개로 같아지는 지점에서 video-aligned가 audio-aligned를 추월합니다. 오디오 정보를 하나도 안 늘렸는데 개수를 맞추는 것만으로 편향의 방향이 뒤집혔다면, 편향을 만든 건 정보의 내용이 아니라 토큰 수의 비율이었다는 뜻이 됩니다. 반면 consistent subset은 66~68% 구간에서 평평한데, 충돌이 없으면 어느 쪽을 보든 결론이 같으니 당연한 결과이면서 동시에 대조군 역할을 한다고 볼 수 있습니다. 토큰 수 조작이 충돌 상황의 모달리티 선택만 바꿨다는 뜻이니까요.
그렇다면 이러한 편향을 제거하기 위해서 토큰 수만 맞추면 되지 않나?라는 생각이 들 것 같은데요. 저자가 답하길, 오디오 토큰을 256배로 복제하면 시퀀스가 그만큼 길어져 추론 비용만 늘고, 더 본질적으로는 Figure 3(c)의 video-aligend, audio-aligned가 어느 지점에서도 함께 올라가지 않았다고 합니다. 어떤 값을 고르든 한쪽을 희생해야 하니 “어느 쪽으로 기울 것인가”를 하이퍼파라미터로 정하는 문제가 될 뿐 편향 자체는 사라지지 않죠. 그래서 trade-off 없이 편향을 줄이고 충돌이 없는 샘플에서도 성능이 오르는 방법이어야 한다는 것이고, 이를 위해 저자들이 제안한 방법론 MoSEAR가 등장하게 됩니다.
4. MoSEAR
MoSEAR는 Emotion-LLaMA 위에 얹히는 프레임워크인데요. 시각 토큰은 EVA-CLIP, MAE, VideoMAE 세 인코더로, 오디오 토큰은 HuBERT로 뽑습니다. 시각 토큰 수 m이 오디오 토큰 수 n보다 압도적으로 많은 구조 그대로 가져갑니다.
표기를 정리하면, 비시각 토큰은 $\mathcal{N} = \{\mathcal{A}, \mathcal{T}\}$(오디오 + 텍스트 프롬프트), 전체 토큰은 $\mathcal{X} = \{\mathcal{V},\mathcal{A},\mathcal{T}\}$입니다.
모듈은 두 개입니다. 학습 단계의 편향을 다루는 MoSE와, 추론 단계의 편향을 다루는 AR입니다. 편향이 생기는 자리가 두 군데(학습되는 head와 얼어 있는 backbone)라서 각각 하나씩 붙인 구성이라고 보시면 됩니다.
4.1 Modality-Specific Experts (MoSE)
Figure 4가 구조입니다. 3개의 expert를 가지는데요.
- Visual Expert $E_v(\cdot)$: 시각 토큰 $\mathcal{V}$만 처리합니다. 베이스 모델이 잘 못 쓰는 단서를 살리는 게 목적입니다.
- Non-Visual Expert $E_n(\cdot)$: 오디오와 텍스트 토큰 $\mathcal{N}$을 처리합니다.
- Omni Expert $E_o(\cdot)$: 전체 토큰 $\mathcal{X}$를 처리합니다.
각 expert는 LoRA의 soft mixture로 구현되는데, rank-reduction 행렬 A를 하나만 공유하고, rank-expansion 행렬 B는 N개를 둡니다. Visual Expert를 예로 들면 이렇습니다.
$A_v \in \mathbb{R}^{r\times d}(r \ll d)$가 공유되는 축소 행렬이고, $B_{v,i} \in \mathbb{R}^{d\times r}$가 확장 행렬입니다. $\alpha_v(\mathbf{v})$는 토큰마다 계산되는 결합 가중치라, 같은 시각 토큰이라도 어떤 B를 얼마나 쓸지가 달라집니다.
그다음이 modality routing입니다. 시각 토큰과 비시각 토큰의 평균 표현 $\bar{v}, \bar{n}을 구해서 가벼운 MLP f(\cdot)$에 넣고, 시각 토큰에 줄 가중치 \lambda를 샘플 단위로 계산합니다.
각 층의 출력은 다음과 같습니다.
4.2 Attention Reallocation (AR)
MoSE가 학습되는 부분을 손봤다면, AR은 frozen backbone의 attention을 추론 시점에 조정합니다. 학습이 필요 없는 모듈이죠.
AR는 편향된 head를 먼저 찾고, 그다음 분포 구조를 보존하면서 재배분하는 식으로 동작합니다
<편향된 head 찾기>
head h가 토큰 집합 $\mathcal{X}$에 준 attention 총합을 $S_h(\omega,\mathcal{X}) = \sum_{\mathbf{x}\in\mathcal{X}}\omega_h(\mathbf{x})$라 하면, head-level attention ratio는 다음과 같습니다.
오디오에 준 attention을 시각에 준 attention으로 나눈 값이니, 이 값이 크면 그 head가 오디오에 쏠려 있다는 뜻입니다. layer-level attention ratio $c(\omega)$는 같은 방식으로 층 안의 모든 head를 합산해서 구합니다.
그리고 편향된 head 집합을 아래와 같이 정의합니다.
<가중치 재배분>
편향된 head h에 대해 오디오 attention의 일부를 시각으로 옮기는데, 다음의 조건을 만족하도록 합니다.
식 (8)은 재배분 후 head 비율을 원래 layer 평균 비율에 맞추라는 뜻입니다. 식 (9)는 오디오와 시각에 배정된 attention 총량이 변하지 않아야 한다는 조건입니다. 없던 attention을 만들어내지 않고 두 모달리티 사이에서만 옮긴다는 뜻입니다.
최종적으로 정리하면 다음과 같이 정리됩니다.
$\Delta_h$가 옮길 attention의 양입니다. 분자를 보면 현재 head의 오디오 총량에서 “layer 평균 비율대로라면 있어야 할 오디오 총량”을 뺀 값이니, 딱 초과분만큼만 옮기는 구조입니다. 그리고 모든 토큰에 같은 비율을 곱하는 형태라 모달리티 내부 분포가 보존됩니다.
5. Experiments
5.1 Main Results
Table 2는 EMER 결과입니다. MoSEAR가 엄청난 성능 차이로 Emotion-LLaMA에서 높은 성능을 기록한 것을 볼 수 있습니다. CA-MER이 자기들이 만든 벤치마크라는 점을 감안하면 외부 벤치마크에서 이만큼 벌어지는 게 더 설득력 있는 근거라고 봅니다. 다만 EMER 샘플 벤치는 샘플이 332개뿐이라… 이 숫자 하나에 너무 기대기는 어렵겠네요.
recognition task도 같이 봐볼까요? Table 3의 MER2023에서 MoSEAR는 F1 0.9027로 1위입니다. 그런데 여기서 눈에 띄는 점이 있다면 오히려 Emotion-LLaMA의 0.8087인데요. MER2023 베이스라인은 물론이고 HuBERT 단독보다도 낮습니다. 감정 추론에 특화된 모델을 고정 라벨 분류 지표로 재면 이런 일이 생기는데, 그렇다면 여기서 논문이 내세우는 9.4점 향상이라고 한 것은 절반은 MoSEAR가 잘해서, 절반은 비교 대상의 특성 때문이라고 읽는 것이 맞아 보입니다.
Table 5는 사람 평가입니다. subset마다 100개씩 무작위로 뽑아 주석자 3명이 1~10점으로 매기되, 어느 모델 출력인지는 가린 blind 평가입니다. 세 subset 모두에서 MoSEAR가 높은데, 흥미로운 건 두 모델 모두 video-aligned에서 점수가 가장 낮다는 점입니다. 시각 단서만으로 감정을 읽어내는 게 모델에게 여전히 일이다라는 것으로 다가오네용.
5.2 Ablation Studies
ablation입니다.
(a) MoAE는 모달리티 구분 없이 전체를 받는 표준 LoRA 혼합이라고 보시면 되겠습니다. 파라미터 규모는 비슷한데 EMER 56.84로 MoSE 대비 2.52점 낮습니다. expert를 모달리티별로 나눈 것 자체가 효과가 있었다는 뜻으로 볼 수 있을 것 같습니다.
(b) Symmetric LoRA 혼합, 즉 각 expert가 축소 행렬을 여러 개 갖는 구성입니다. 파라미터가 250M으로 늘었는데 EMER은 57.44로 오히려 낮습니다. 축소 행렬을 공유해서 갖는 것이 파라미터도 아끼고 성능도 가져가는 것이라는 것을 알 수 있습니다.
(c) 라우터를 빼고 expert 출력을 단순 평균한 경우인데 EMER 58.27로 1점 손해입니다. 게이팅이 효과는 있는데, 아주 미미하게 기여했다라고 볼 수 있습니다.
지금까지 MoSEAR 논문 리뷰를 마쳐봤습니다. 분석 부분에 힘을 줘서 읽어봤는데 굉장히 많은 인사이트를 주는 논문이었던 것 같습니다. 지금까지 읽어주셔서 감사합니다.
