[ICASSP 2022] Multi-Lingual Multi-Task Speech Emotion Recognition Using wav2vec 2.0

안녕하세요. 이번 논문은 speech emotion recognition 입니다. 기존에 가져왔던 논문과는 달리 multi-lingual와 관련한 논문인데요. 재밌게 읽으셨으면 좋겠습니다. 그럼 리뷰 시작합니다.

<Introduction>

Speech Emotion Recognition (SER) 모델을 training하고 validating하기 위해서 여러 오픈 소스 데이터셋이 만들어졌는데요. 그런데 몇몇을 제외하고는 대부분은 크기가 비교적 작고, 화자 수가 적고 emotion category도 제한되어있으며 대부분 laboratory에서 시뮬레이션 한 것이지요. 따라서 이 논문에서는 small scale SER 데이터셋을 합쳐 비교적 큰 규모의 multi-lingual corpus를 생성하여 모델을 fine-tuning하고 평가합니다. 여러 데이터셋을 합친 multi-lingual corpus는 7 emotion categories에 걸쳐서 13개 지역의 25개 open source 데이터셋으로 구성됩니다. 이 corpus에는 자연스러운 대화와 labortatory에서 연기하여 만든 speech emotion이 포함되어 있습니다.

<Relation to prior work>

최근에는 SER을 위한 Multi-Task Learning(MTL), Multi-Lingual(MLi) framework가 인기를 끌고 있다고 하는데요. 이 논문에서는 MTL과 MLi framework를 통합하여 single SER 모델을 만듭니다. single MTL-MLi 모델의 장점은 여러 언어에 걸쳐 여러 SER 모델을 배포하는 것보다 a) generalization capabilities가 향상되고 b) 배포 및 유지 관리 비용이 절감된다는 점입니다.

Intorduction에서 이 논문에서는 small scale의 데이터셋을 통합하여 사용한다고 하였습니다. 하지만 이렇게 여러 데이터셋을 통합하여 사용함에도 불구하고 corpus의 sample 수는 9만 5천 개로, 현재 SER system의 모델 파라미터를 고려할 때 적은 편입니다. 이러한 작은 데이터셋을 처리하는 일반적인 전략은 transfer learning 기법을 적용하는 것인데요. 일반적으로 모델은 대규모 데이터셋을 사용할 수 있는 다른 task에 사전 학습된니다. 이러한 모델은 나중에 feature extractor로 사용하거나 작은 데이터셋에 fine-tuning 될 수 있습니다. transfer learning, MTL, MLi framework에 따라, 논문의 저자는 audio transcription task를 통해 multilingual XLSR-53 corpora에 대해 pre-trained된 wav2vec2.0 모델[3]을 SER 모델의 기본 network로 사용합니다. emotion classification task에서 MTL을 사용하지 않고 영어 corpora만 사용하용 wav2vec2.0이 사용되었지만, 본 논문의 모델은 통합된 multilingual speech emotion corpus에 대해 fine-tuning되어 여러 언어에 걸쳐 일반화 할 수 있다고 합니다.

본 논문에서는 다음에 대해서 경험적으로 입증하였습니다.

a) 본 논문의 wav2vec2.0 single task 기반 모델이 Google Audioset에서 pre-trained된 single-task 모델 PANN[6] 보다 7.2% 성능이 뛰어남

b) 최고의 MTL 모델이 PANN 및 wav2vec2.0 기반 single task 모델보다 8% 성능이 뛰어남

c) wighted F1 score 측면에서 13개 locals 중 9개에서 MTL 기반 system이 pre-trained된 single task wav2vec2.0 모델 보다 성능이 우수함

d) pre-training corpora에 포함된 언어에 대해 MTL wav2vec2.0이 SOTA를 능가함

<Datasets>

Table 1은 데이터셋에 대한 설명과 함께 locales, average duration, 데이터셋 type(연기한건지 nature하게 대화한건지)를 보여줍니다. 모델을 fine-tuning하고 성능을 평가하기 위해 다음과 같이 데이터셋을 결합합니다. 먼저 성별과 감정에 따라 stratified sampling을 사용하여 개별 데이터셋을 train/test/validation (각각 75%/15%/10%)으로 나눕니다. 개별 데이터셋에 사전 정의된 파티션이 없는 경우 세 셋트의 감정 비율을 유사하게 유지하고, 그렇지 않은 경우 개별 데이터셋의 사전 정의된 파티션을 사용합니다. 두번째로 25개 데이터셋에 걸려 각 셋을 결합합니다.

본 논문의 저자는 데이터셋 중 3개만 conversational하고 나머지는 acted인 것을 확인하였습니다. natural conversational 데이터셋은 일반적으로 acted 데이터셋과 달리 mild한 emotion을 나타내는데요. 따라서 human annotator는 audio modality만으로 올바른 감정을 판단하기 어렵습니다. 따라서 natural 데이터셋인 MELD의 경우 SER system이 다른 system에 비해 F1 값이 더 작다는 것을 실증적으로 증명할 것이라고 합니다. emotion category의 총 샘플 수는 다음과 같습니다.

• neural : 24,225
• angry : 18,598
• happy : 17,524
• sad : 14,590
• surprise : 11,268
• disgust : 4,769
• fear : 4,651

neutral class의 경우가 가장 샘플 수가 많고 fear 클래스가 5배의 불균형 비율로 가장 적은 것을 관찰할 수 있습니다. 데이터셋의 locale 분포는 다음과 같습니다.

• en-US : 57,343
• zh-Hans : 17,500
• bn-BN : 7,000
• de-DE : 5,402
• fa-FA : 2,992
• fr-FR : 1,370
• pt-BR : 1,174
• el-EL : 604
• it-IT 588
• pl-PL : 4448
• es-MX : 436
• ur-UR : 400
• pt-PT : 368

공개적으로 사용 가능한 무료 오픈 소스 데이터셋의 대부분이 영어로 되어 있기 때문에 locales 분포가 미국 영어에 매우 치우쳐 있는 것을 관찰할 수 있습니다. 데이터셋에는 남성 49,817개, 여성 45,808개의 speech clip으로 남성과 여성의 비율이 거의 동일하게 포함되어 있습니다.

<Method>

본 논문에서는 기본 모델로 wav2vec2.0을 선택했습니다. 이 모델에는 16kHz로 sampling된 raw audio를 latent speech representation으로 매핑하고 convolutional feature encoder와 이를 output representation으로 변환하는 transformer network가 포함되어 있습니다. 이 모델은 53개 언어로 구성된 XLSR-53이라는 multilignual speech specific corpora에 대해 pre-trained됩니다, 따라서 output audio embedding에는 언어, 성별, pitch에 대한 정보가 포함됩니다. 따라서 ImageNet 이나 Google Audioset에서 학습된 pre-trained CNN 기반 모델과 spectrogram을 입력으로 하여 emotion classification을 fine tuning하는 pre-trained 모델 및 feature extractor대신에 emotion classification fine tuning task을 위한 pre-trained 모델과 feature extractor를 선택하는 것이 wav2vec2.0에 적합합니다. [6, 31]

wav2vec2.0은 emotion classification에 줄곧 사용해왔으며, IEMOCAP과 RAVDESS 데이터셋에 대해서 recall 0.67, 0.84라는 SOTA를 얻었다고 합니다[4]. 여기서 저자는 최종 text prediction layer를 emotino prediction CNN, LSTM 그리고 global time dimension average pool layer로 대체합니다. 대신 wav2vec2.0 embedding layer에서 time dimension에 걸쳐 average pooling을 수행하고, primary emotion classification 및 기타 다양한 auxiliary task를 위해 여러개의 dense layer head를 추가합니다. 다음과 같은 몇 가지 auxiliary task를 실험합니다.

a) Gender Prediction: [1]에서 볼 수 있듯이 성별 분류는 emotion classification와 pitch 및 MFCC와 mutual feature를 공유합니다

b) Language Prediction : multi-lingual를 사용하는 classifiier의 특성상, 모델이 개별 언어의 억양을 학습 할 수 있도록 language prediction task를 추가합니다.

c) F0 mean and standard deviation regression task : Pitch (F0)는 emotion과 높은 상관관계가 있습니다. 예를 들어 설명드리자면 높은 음정은 흥분하고 소리 지르는 상태와 관련이 있는 반면, 낮은 음정은 일반적으로 슬프고 멍한 상태와 관련이 있습니다. 따라서 먼저 pYin의 알고리즘을 사용하여 F0 contour를 예측한 다음 모델에 주어진 clip에 대한 F0의 평균과 표준편차를 예측하는 task를 추가합니다.

d) Energy mean and standard deviation regression task : 감정은 valance, activation, dominance의 세 가지 차원으로 분류할 수 있습니다. 높은 에너지는 일반적으로 분노와 흥분과 같은 긍정적인 dominat emotion과 관련이 있습니다. 낮은 에너지는 부정적으로 dominatn fear와 sadness와 관련이 있습니다. 따라서 clip energy prediction의 평균과 표준편차를 auxiliary task로 사용합니다.

e) Voice ratio regression task : clip의 길이가 가변적이기 때문에 auxiliary task로 voice ratio를 예측하도록 task 를 부과합니다.

세 가지 분류 작업에는 weighted cross entropy을 사용하며, 각 분류의 inverse probability와 동일한 가중치를 부여하여 각 분포의 불균형을 고려하고, 회귀 작업에는 L2 loss를 사용합니다.

<Results>

이 파트에서는 학습 방법론과 결과를 설명하는데요. Google Audioset에서 pre-trained된 PANN과 XLSR-53 corpora로 pre-trained된 wav2vec2.0을 사용하여 비교합니다. PANN에서 final audio classification layer를 제거하고 emotion classification task를 위한 dense layer를 사용하였습니다.

먼저, PANN을 사용하여 wav2vec 2.0 모델의 성능을 평가합니다. Table 2와 같이 각 데이터셋에 대한 감정 클래스의 weighted F1, precision 및 recall을 계산하고 전체 데이터셋의 평균을 계산합니다. 여기서 Em은 감정 분류, Ge는 성별 분류, La는 언어 분류, F0-me와 F0-std는 F0 회귀의 평균과 표준편차, En-me와 En-std는 에너지 회귀의 평균과 표준편차, Vr은 voice ratio regression auxiliary task 작업을 나타냅니다. 처음 두 행에서 single task인 wav2vec 2.0이 PANN보다 7.2% 더 우수한 성능을 보이는 것을 확인할 수 있습니다. 그 이유는 두가지로 말할 수 있는데요.

(a) PANN은 음성 및 비음성으로 구성된 오디오 분류 말뭉치에 대해 pre-train을 거쳤기 때문입니다. 그러나 wav2vec 2.0은 53개 언어의 음성 전용 corpus에 대해 학습됩니다.
(b) raw audio waveform을 사용하는 wav2vec 2.0에 비해 PANN은 spctrogram을 사용하므로 일반화가 더 잘 이루어집니다.

두 번째, 다양한 auxiliary classification 및 regression head가 있는 모델간의 비교를 제시하는데요. MTL 모델의 metric이 pre-trained된 single task 모델보다 더 우수하다는 것을 관찰할 수 있었습니다. gender, language, mean F0 head가 포함된 MTL이 weighted F1 점수 측면에서 pre-trained된 single task wav2vec2.0 모델 보다 1.7& 더 우수하다는 것을 본 논문에서는 경험적으로 입증하였습니다. Table 3을 보면, 25개 데이터셋 중 23개와 18개 데이터셋에서 weighted recall 점수 측면에서 각각 single head PANN과 wav2vec 2.0보다 최고 성능의 MTL wav2vec 2.0 모델이 더 우수한 것으로 나타났습니다.

세 번째로, locales 간 성능을 평가합니다. locales 간 F1을 계산하기 위해 각 local에 속한 데이터셋의 F1 값을 평균하여 구합니다. Table 4에서 볼 수 있듯이, 13개 local 중 9개 local에서 MTL 모델이 다른 변형 모델보다 성능이 우수한 것으로 나타났습니다.

마지막으로 Fig 1에서 최적의 MTL 모델에 대한 7가지 감정 클래스에 대한 congusion matrix를 확인할 수 있습니다. confusion matrix는 모든 test data-points를 동시에 사용하여 계산됩니다. 모든 대각선 항목이 76%를 초과하는 것을 관찰할 수 있습니다.

---

이렇게 리뷰를 마쳤는데요. multi-lingual을 어떻게 다루는지 궁금하여 리뷰하였는데 입력이 어떻게 되는지 가려운 부분을 긁어주는 논문이었던 것 같습니다. 읽어주셔서 감사합니다.

---

[1] Yuanchao Li, Tianyu Zhao, and Tatsuya Kawahara, “Improved end-to-end speech emotion recognition using self attention mechanism and multitask learning.,” in Interspeech, 2019, pp. 2803–2807.

[3] Alexei Baevski, Yuhao Zhou, Abdelrahman Mohamed, and Michael Auli, “wav2vec 2.0: A framework for selfsupervised learning of speech representations,” 2020, vol. 33.

[4] Leonardo Pepino, Pablo Riera, and Luciana Ferrer, “Emotion recognition from speech using wav2vec 2.0 embeddings,” arXiv preprint arXiv:2104.03502, 2021.

[6] Qiuqiang Kong, Yin Cao, Turab Iqbal, Yuxuan Wang, Wenwu Wang, and Mark D Plumbley, “Panns: Largescale pretrained audio neural networks for audio pattern recognition,” IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol. 28, pp. 2880–2894, 2020.

[31] Margaret Lech, Melissa Stolar, Christopher Best, and Robert Bolia, “Real-time speech emotion recognition using a pre-trained image classification network: Effects of bandwidth reduction and companding,” Frontiers in Computer Science, vol. 2, pp. 14, 2020.