안녕하세요. 최근에 다시 감정에 관심을 가지게 되면서 이번에는 Nano-EmoX를 읽어보게 되었습니다. 해당 논문은 AI가 사람의 표정, 목소리, 영상, 말을 함께 보고 단순히 “기쁘다”, “슬프다”를 맞히는 수준을 넘어서 왜 그런 감정이 생겼는지 이해하고 마지막에는 공감하는 답변까지 만들 수 있는지 다루는 논문입니다. 그럼 리뷰 시작하도록 하겠습니다.
1. Introduction
단순하게 감정을 인지하는 것만으로 사람과 잘 상호작용하는 AI를 만들 수 있을까요? 가볍게 생각해도 감정인지만으로는 부족하다고 생각할 수 있습니다. 이 때문에 논문의 저자는 사람의 감정을 보고 그 감정의 이유를 이해하고 적절하게 반응하는 holistic emotion inteligence가 필요함을 주장합니다.
또한, 문제점으로 꼽는 것이 affective computing이 너무 많은 task로 쪼개져 있다는 것인데요. 어떤 연구는 multimodal emotion recognition을 잘합니다. 어떤 연구는 emotion reason inference에 집중하고 어떤 연구는 empathetic response generation을 다룹니다. 이렇게 많은 task로 쪼개져 있다보니 해당 능력들이 하나의 연속선으로 연결되지 않게 됩니다.
Figure 1은 본 논문의 뼈대라고 볼 수 있는데요. affective task를 cognitive depth에 따라 3단계로 배치하였습니다. Level 1에는 MSA(Multimodal Sentiment Analysis), MER(Multimodal Emotion Recognition), OV-MER (Open-Vocabulary MER)이 들어갑니다. Level 2에는 MIR(Multimodal Intention Recognition), ERI(Emotion Reason Inference)가 들어갑니다. Level 3에는 ERG(Empathic Response Generation)이 들어가게 됩니다.
Table 1은 앞서 말한 문제의식을 체크 표시로 보여주는 것인데요. 기존 모델들은 대부분 하나 혹은 두개 level에 머뭅니다. 반면에 Nano-EmoX는 2.2B로 MSA, MER, OV-MER, ERI, MIR, ERG 모두 체크되어있는 것을 볼 수 있습니다.
본 논문에서 지적하는 기존 연구의 한계는 크게 정리하면 3가지로 정리할 수 있습니다.
- Suboptimal Fusion
task가 달라지면 필요한 modality feature도 달라지게 됩니다. 그런데 기존 fusion 메카니즘은 task에 따라 어떤 feature를 더 봐야 하는지 충분히 조절하지 못합니다. - Fragmented Capabilities
모델이 감정을 보는 것과 감정의 reason을 추론하는 것을 따로따로 배웁니다. 이렇게 되면 emotion perception과 emotional comprehension이 연결이 깊지 않습니다. - resource intensity
많은 LLM-based method는 학습과 추론에 큰 computing resource를 요구합니다. 실제 배포를 생각하면 부담이 큰 부분이죠.
저자들의 contribution은 해당 한계에 맞춰서 정리할 수 있습니다.
- 전용 facial encoder와 hierarchical expert fusion encoder를 통합한 small MLM인 Nano-EmoX 제안함
- 인지적 깊이에 따라 affective task를 체계화하는 3-level hierarchy를 소개함. 해당 계층 구조를 바탕으로 더 높은 수준의 정서적 추론과 상호작용을 점진적으로 발전하도록 설계된 P2E training 프레임워크를 개발함
- Nano-EmoX가 모든 계층 level에 걸쳐 6가지 핵심 affective task를 통합한 최초의 소형 MLM으로 크기가 훨씬 큰 모델과 비교해 동등하거나 뛰어난 성능을 보임.
2. Methodology
2.1. Architecture of Nano-EmoX
Nano-EmoX는 emotion-centric multitasking multimodal language model입니다. Figure 2를 통해 그 구조를 확인할 수 있는데요. 굉장히 직관적이죠? visual encoder와 facial encoder가 Video로 들어가고, Speech는 speech encoder로 들어갑니다. Visual encoder와 speech encoder의 중간 feature가 fusion encoder에서 섞이고, Text는 tokenizer를 거쳐 text token이 됩니다.
이렇게 나온 visual token, face token, speech token, fusion token, text token은 small-scale language model로 들어갑니다. Language model이 이 token들을 함께 보고 downstream emotion task를 수행합니다.
Nano-EmoX는 4개의 modality-specific branch와 language backbone으로 구성되어 있는데요.
먼저, Scene visual perception branch 입니다. 해당 branch는 일반적인 visual signal을 보는데요. 먼저 video frame을 x_v \in \mathbb{R}^{3 \times H \times W}로 둡니다. Visual encoder는 이 x_v를 보고 visual emotion embedding E_v를 만듭니다.
그 다음 visual branch는 two-layer Q-Former를 사용해 visual token T_v \in \mathbb{R}^{T_v \times D_v}를 만듭니다. 여기서 T_v는 token length, D_v는 dimensionality입니다. Q-Former는 Querying Transformer로, 쉽게 말하면, 큰 video information을 language model이 먹기 좋은 token으로 압축하는 과정이라 볼 수 있습니다.
Speech perception branch는 운율, 높낮이 같은 acoustic feature를 잡습니다. Audio frame은 x_a \in \mathbb{R}^{T_{a1} \times D_{a1}}로 표현됩니다. Speech encoder는 speech emotion embedding E_a를 만들고, two-layer Q-Former는 speech token T_a \in \mathbb{R}^{T_{a2} \times D_{a2}}를 만듭니다.
그 다음은 본 논문의 중요 포인트인 Enhanced face modeling입니다. 저자들은 얼굴 표정이 visual emotion feature를 전달하는 핵심 단서로 보는데요. 그래서 FaceXFormer encoder를 사용하고, image-level processing이 아니라 frame-sequence procesing으로 바꿉니다. 사진 한 장만 보는 것이 아니라 시간에 따라 표정이 어떻게 바뀌는지를 보려는 것이죠.
facial encoder는 비디오 프레임 x_v에서 multi-scale feature E_f를 추출합니다. 그 다음 Temporal Modeling이 temporal relationship을 복원해 key facial emotion expression E_f^c를 만듭니다. 이 과정을 나타내는 식이 식 (1)입니다.
여기서 Q는 learnable temporal query를 말하고, E_f^K와 E_f^V는 face embedding E_f에서 나온 key와 value입니다.
Cross-modal hierarchical expert fusion은 audio와 vision을 섞는 부분입니다. Figure 3을 보면 fusion encoder에 expert가 3개 있습니다. Speech encoder의 layer 16, 18, 22와 visual encoder의 layer 12, 16, 22에서 feature를 가져와 fusion expert에 넣습니다.
각 fusion expert는 E_{mf}^1, E_{mf}^2, E_{mf}^3 같은 fused representation을 만듭니다. 그런데 3개의 expert를 똑같이 믿지는 않습니다. task에 따라 어떤 expert를 더 봐야 할지 다르기 때문입니다. 저자는 gating network으로 이를 조절하였습니다.
여기서 G_1, G_2, G_3는 gate value입니다. f_{\mathrm{gate}}는 gating network를 의미합니다.
여기서 \odot는 element-wise multiplication을 의미합니다. 3개의 expert의 결과에 gate value를 곱하고 더해서 final fusion embedding E_{mf}를 만듭니다. 이후 adapter network가 이 feature를 language model의 차원에 맞춰 fusion token T_{mf} \in \mathbb{R}^{T_h \times D_h}으로 바꿉니다.
마지막 language processing 부분은 Qwen2.5 tokenizer와 small-scale language model을 사용했다고 하네요.
3.2. The P2E Training Framework
P2E training framework는 Figure 4를 통해 확인할 수 있는데요. 핵심은 쉬운 것에서 어려운 것으로 가는 curriculum입니다. 바로 empathy부터 학습시키는 것이 아니라, perception을 먼저 맞추고, 그 다음 fusion과 context understanding을 거쳐, 마지막에 reasoning과 response generation을 함께 학습합니다.
전체 training objective은 식(4)와 같습니다.
여기서 \theta는 model parameter, T는 tokenized representation을 의미하는데요. P(Y \mid T; \theta)는 model(모델)이 token T를 보고 정답 Y를 낼 확률이라고 볼 수 있습니다. 그러니까 식 (4)는 “정답을 더 그럴듯하게 말하도록 parameter를 조정한다”는 뜻으로 볼 수 있겠네요.
Phase 1은 Foundational Modality Alignment입니다. 이 단계에서는 modality-specific adapter를 학습해 각 인코더의 feature space를 language model embedding space에 맞춥니다. visual adapter와 facial adapter는 FERV39K와 CAER로 학습하고, speech adapter는 CREMA-D와 M3ED로 학습했다고 하네요.
Phase 2는 Cross-modal Fusion Pre-training입니다. 저자들은 MIR(앞에서 말씀드린 multimodal Intention Recognition 입니다)이 perception과 higher-order reasoning 사이의 다리 역할을 한다고 봤는데요. 누군가 어떤 말을 했을 때 그 의도가 사과 인지, 조언 인지, 격려 인지 알려면 text, voice, scene을 함께 봐야 하니까요.
Phase 3은 Multitask Instruction Tuning입니다. 여기서는 fusion encoder와 adapter를 fine-tuning하고, language model에는 LoRA를 적용했다고 합니다.
ERG(앞에서 말씀드린 Empathic Response Generation)에서는 AvaMERG 데이터셋을 턴 기반의 형식으로 재구성합니다. 대화 history는 (Q_1^t, R_1^t), (Q_2^t, R_2^t), \ldots처럼 나타내는데요. 현재 user input은 (Q_n^t, Q_n^v, Q_n^a)이고, target response는 R_n^t입니다. 여기서 Q_n^t는 textual input, Q_n^v는 visual query, Q_n^a는 audio query입니다.
저자들은 디테일한 부분은 ERG에서 모델이 바로 답하지 않게 설정하는데요. 먼저 dialogue scenario, speaker emotion, response goal을 생각하도록 하고, reasoning process를 <think> tag 안에 넣어 reasoning하도록 합니다.
3. Experimental Analysis
Experimental Analysis(실험 분석)는 Nano-EmoX의 multitask processing capability(다중과제 처리 능력)와 P2E training framework(학습 프레임워크)의 효과를 평가합니다. Benchmark(벤치마크)는 MER-UniBench, EMER, MIntRec, MIntRec2.0, AvaMERG입니다. Metric(평가 지표)은 각 benchmark(벤치마크)의 official protocol(공식 프로토콜)을 따릅니다.
3.1. Performance Comparison
Table 2은 MSA, MER, OV-MER 결과를 보여줍니다. Nano-EmoX의 평균 점수는는 74.01로, AffectGPT는 6.1B로 74.77을 기록한 것을 볼 수 있는데요. Nano-EmoX는 2.2B이므로 훨씬 작지만 평균 점수에 꽤 가까운 점수를 보이는 것을 확인할 수 있습니다.
조금 더 구체적으로 보면 Nano-EmoX가 모든 열에서 SOTA만큼의 성능을 보이지는 않는데요. 그래서 해당 결과는 모든 벤치마크를 압도했다기 보다는 작은 스케일로 SOTA에 가까운 성능에 달성했다에 가깝습니다.
Table 3은 ERI 결과입니다. 메트릭은 clue overlap과 label overlap입니다. Nano-EmoX는 clue overlap에서 7.83, label overlap에서 5.78을 기록하였는데요. Emotion-Qwen이 label overlap 8.16으로 더 높지만 스케일은 5.3B인 것에 비해 Nano-EmoX는 2.2B를 가지는 것을 생각하면 Nano-EmoX인 작은 모델이 꽤 버티는 것을 볼 수 있습니다.
Table 4는 MIR fine-tuning evaluation을 나타나는데요. Nano-EmoX는 small-scale multimodal model 중 가장 좋은 성능을 내는 것을 볼 수 있습니다. 테이블을 보시면 Qwen-VL-72B가 86.29로 가장 성능이 높은 것을 볼 수 있는데요. Nano-EmoX의 장점이 성능적으로 절대적인 최고가 아닌, 파라미터 efficiency에 있음을 보여줍니다.
Table 5는 ERG 결과입니다. 해당 ERG 결과가 꽤 중요하게 볼 수 있는데요. Empathy는 단순 label prediction이 아니라, 상대의 상태를 이해하고 그에 맞는 응답을 만드는 task이기 때문입니다. Nano-EmoX가 여기서 높은 적중률을 보였다는 점은 P2E training framework이 효과적으로 동작했음을 볼 수 있습니다.
3.3. Ablation Evaluation
Ablation 입니다. P2E training framework, face modeling, fusion encoder, gating network의 역할을 나눠 보고자 하는데요.
Table 6은 Jo-T(joint training)와 P2E training framework를 비교하는데요. 여기서 주요한 점은 P2E가 성능을 향상시킬 뿐만 아니라 학습 시간도 줄여주는 것을 볼 수 있습니다. 또한 ERG task에서 유독 크게 성능이 향상하는 것을 확인할 수 있는데, P2E가 모든 지표를 고르게 올리는 방법이라기 보다는 perception에서 empathy로 가는 커리큘럼이 ERG에 크게 동작한다는 것을 확인할 수 있습니다.
Table 7은 P2E의 순서가 중요한지에 대해서 보는 테이블이라고 보시면 되겠습니다. 기존의 P2E가 Perception->Empathy라면, Reverse P2E는 Empathy->Perception이라고 보시면 되겠습니다. 성능이 굉장히 많이 향상한 것을 볼 수 있는데, ERG가 유독 성능을 많이 하락했지만 다른 분야에서도 크게 성능 하락이 보인 것을 통해 어려운 empathy task를 먼저 학습하면 전체 representation 자체가 덜 안정적으로 잡혀 영향을 받을 수 있다고 해석할 수 있을 것 같습니다.
Table 8은 어떤 branch가 중요하냐보다는 더 정확히는 모달리티를 그냥 많이 넣은 것과 잘 fusion하는 것은 다르다는 것을 보여주는 테이블이라 생각합니다. AT, VT, FT는 모두 각 모달리티 only가 아닌 text를 포함한다는 것을 알수 있는데요. 그렇게보면 모든 row에 text가 같이 있는 것을 볼 수 있습니다. 단일 모달리티에서 가장 높은 성능을 보이는 것은 AT로 audio cue가 task를 수행하는데에 많은 시그널을 준다는 것을 알 수 있습니다. VFT는 perception 평균은 AT보다 낮미나 ERG가 높은 것을 볼 수 있는데, face+vision이 공감 반응에 꽤 도움이 된다는 것을 확인할 수 있습니다. 중요하게 볼 점은 AVFT인데요. audio, vision, face, text를 모두 넣었는데, fusion branch가 없으면 ERG가 매우 떨어지는 것을 볼 수 있습니다. 즉, 모달리티를 많이 넣는다고해서 자동으로 좋아지지는 않는다는 것이죠. 이 부분을 통해서 단순히 모달리티를 많이 넣어서 성능이 잘 나왔다기 보다는 expert/gating 방식으로 동적으로 섞어 나올 때 Nano-EmoX의 성능을 이끌어 낼 수 있음을 알 수 있습니다.
지금까지 리뷰를 마쳐봤습니다. 아주 많은 task를 동시에 다루다보니 정신이 없었는데, 적은 모델 크기로 이정도의 성능을 여러 task에서 보이는 것이 대단한 논문이었습니다. 지금까지 읽어주셔서 감사합니다.
