[RO-MAN 2023] Affective Computing for Human-Robot Interaction Research: Four Critical Lessons for the Hitchhiker

안녕하세요. 이번에는 HRI(Human-Robot Interaction) 연구에서 AC(Affective Computing)를 어떻게 써야 하는지 다룬 논문을 읽어보게 되었습니다. 쉽게 말하면, 로봇이 사람의 감정이나 정서 상태를 읽고 반응하게 만들 때 그냥 표정 인식 모델을 붙이면 되는지 묻는 논문입니다. 결론부터 말하면, 저자들은 그렇게 단순하게 하면 안 된다고 말합니다. 그럼 시작하겠습니다.

1. Introduction & Background

해당 섹션에서 가장 먼저 말씀드릴 점은 Social Robotics는 여러 분야가 섞인 연구라는 것입니다. 여기에는 AC, Social Signal Processing, Computer Vision, Machine Learning, HRI가 모두 들어갑니다.

여기서, 저자들이 말하길, HRI 연구자들은 이미 만들어진 얼굴 인식, 제스처 인식, 정서 인식 도구를 자기 연구에 바로 가져다 쓰는 경우가 많습니다. 사실 이 자체가 나쁜 것은 아닌데요. 저자들도 “바퀴를 다시 발명하지 않기 위해” 기존 도구를 쓰는 것은 자연스럽다고 봅니다.

하지만 여기서 조심해야 할 점이 있습니다. 기존 도구가 특정 benchmark dataset에서는 잘 작동해도, 실제 로봇과 사람이 마주 보는 situated interaction에서는 잘 작동하지 않을 수 있다는 것입니다. 조명이나 카메라 각도, 사용자 나이, 사회적 맥락, 그리고 로봇의 존재 자체가 사람의 행동을 바꿀 수 있기 때문입니다.

Figure 1은 이 논문의 전체 구조를 잘 보여주는데요. 저자들은 Affective Computing for HRI pipeline을 Perception, Learning, Adaptation & Action으로 나눕니다.
여기서 Lesson 1은 Data & Labels에 해당합니다. Lesson 2는 Performance Evaluation에 해당합니다. Lesson 3은 Learning에 해당하고, Lesson 4는 Adaptation & Action에 해당합니다.
레슨의 구성을 보면 알 수 있듯이, 본 논문은 단순히 “감정 인식이 잘 안 된다”는 이야기가 아닙니다. 데이터를 어떻게 모으고, 어떤 label을 붙이고, 어떤 sensor를 쓰고, 모델을 어떻게 학습하고, 로봇이 어떻게 행동으로 바꿀 것인지까지 전체 pipeline을 다시 보자는 논문입니다.

본 논문의 contribution을 정리하면 아래와 같습니다.

1. HRI에 AC를 적용할 때 생기는 핵심 실패 지점을 4개 lesson으로 정리함
2. six basic emotion categories, accuracy, generalisation, adaptation에서 사용되는 흔한 가정을 비판함
3. 저자들의 기존 study 사례를 바탕으로 situated interaction에서 무엇을 조심해야 하는지 설명함
4. HRI 연구자가 연구 설계 전에 던져야 할 reflective questions를 Table로 정리함

---

2. Lesson 1: Six Basic Emotion Categories Are Not Always Relevant

첫 번째 lesson은 six basic emotion categories가 항상 적절하지 않다는 것입니다. 여기서 말하는 여섯 기본 감정은 happiness, sadness, surprise, fear, anger, disgust입니다. 일부 system은 여기에 neutral을 추가하기도 합니다.

먼저 Background를 보면, commercial social robot은 automatic emotion recognition 기능을 제공한다고 홍보하는 경우가 많습니다. 예를 들어 Pepper Robot은 얼굴에서 감정을 인식한다고 말합니다. 그런데 이런 기능은 보통 사용자의 정서 행동을 여섯 기본 감정 중 하나로 분류하는 방식입니다.

문제는 실제 interaction이 그렇게 단순하지 않다는 것입니다. 실험실에서 참가자가 정면을 보고 연출된 표정을 만들면 모델이 어느 정도 맞힐 수 있습니다. 하지만 real-world interaction에서는 사용자가 움직이고, 조명도 바뀌고, 로봇을 의식해서 표정도 달라질 수 있습니다.

Context 부분에서 저자들은 FER 모델의 학습 방식을 지적합니다. 많은 FER 모델은 인터넷에서 모은 static image를 사용합니다. 얼굴 부분만 잘려 있고, 상황 맥락은 빠져 있습니다. 그리고 label은 crowdsource 방식으로 붙은 six basic emotion categories인 경우가 많습니다.

이런 모델을 rehabilitation robotics, tutoring, mental health, physical health 같은 실제 HRI 상황에 넣으면 문제가 생깁니다. 모델은 “이 얼굴은 happiness인가 sadness인가”는 보려고 하지만, “이 사람이 지금 어떤 task를 수행 중인가”, “로봇의 행동 때문에 표정이 바뀐 것인가”, “이 emotion category가 이 상황에서 의미가 있는가”는 모릅니다.

논문에서 특히 흥미로운 부분은 robotic arm이 emotion을 표현하는 rehabilitation scenario입니다. 어떤 연구에서는 robotic arm의 movement를 보고 사람이 happiness, sadness, anger를 식별할 수 있는지 보았습니다. Happiness는 잘 식별되었지만 sadness와 anger는 잘 안 됐다고 합니다.

여기서 저자들은 아주 좋은 질문을 던집니다. “robotic arm이 anger를 표현한다는 것은 무엇인가?” 이 질문이 핵심입니다. 재활 상황에서 robot arm이 anger를 표현하는 것이 정말 필요한가요? 사용자에게 도움이 되나요? 아니면 다른 affect model이 더 적절할까요?

Lesson & Insights에서 저자들은 six basic emotion categories를 넘어가야 한다고 말합니다. 대안으로 SAM(Self-Assessment Manikin)과 GEW(Geneva Emotion Wheel)을 언급합니다.

SAM은 arousal, valence, dominance를 그림 기반 설문으로 평가합니다. GEW는 20개 emotion family를 사용해 감정의 종류와 intensity, 또는 여러 감정의 blend를 표현할 수 있습니다.

정리하면, Lesson 1은 “무조건 happiness, sadness, anger로 나누지 말자”입니다. HRI에서는 먼저 이 interaction에 맞는 affect model이 무엇인지 물어야 합니다.

---

3. Lesson 2: Affect Recognition Accuracy (%) Improvement as the Sole Goal Is Inappropriate

두 번째 lesson은 accuracy만 올리는 것을 목표로 삼으면 안 된다는 것입니다. 이 부분은 개인적으로 꽤 중요한 section이라고 느꼈습니다. Machine Learning 논문에서는 metric 숫자가 올라가면 좋아 보이기 때문입니다.

저자들은 많은 affect recognition 연구가 >=75% accuracy를 얻거나, benchmark에서 >=2-3% SOTA를 올리면 성공이라고 여긴다고 말합니다. 하지만 situated interaction에서는 이 숫자가 실제로 중요한지는 다시 봐야겠죠.

이 section의 example은 Gamified Cognitive Training 연구입니다. 저자들은 2016-2017년에 Memory Break라는 custom video game을 사용해 arousal, valence, WM(Working Memory) performance의 관계를 보았습니다.

Participant는 30명이었고, Desktop mode와 VR mode를 각각 수행했습니다. Game은 3개 difficulty level을 갖고 있었고, memory load는 유지하면서 arousal을 다르게 유도하도록 설계되었습니다.

연구자들은 heart-rate sensor를 chest에 붙이고, EMG(Electromyography) armband를 game environment와 상호작용하는 forearm에 붙였습니다. 그리고 participant는 self-report로 affective state를 보고했습니다.

여기서 굉장히 중요한 점을 발견할 수 있었는데요. Figure 2를 보면 Level 1 – Easy와 Level 3 – Hard에서 participant의 왼손이 다르게 보입니다. Hard 조건에서는 무릎 위에 놓인 손에 tension이 확실히 보입니다. 그런데 바로 그 손에는 sensor가 없죠.

이게 아주 중요한 포인트인게, 연구자들은 여러 sensor에서 feature를 추출하고 다양한 ML technique을 써서 arousal과 valence를 분류하려고 했지만, 정말 중요한 signal인 hand를 수집하지 못해 좋은 결과를 보지 못습니다.

즉, 이 상황에서는 accuracy를 조금 더 올리는 것이 중요한 것이 아니라, “어디를 측정해야 하는지 몰랐다”는 것 문제였던 것이죠.

Lesson & Insights에서 저자들은 situated interaction에서 affect를 sensing하려면 pilot study를 여러 번 해야 한다고 말합니다. Sensor를 어디에 둬야 하는지, 어떤 signal이 relevant한지, off-the-shelf model이 reliable한지 먼저 봐야 합니다.

저자들의 표현을 쉽게 풀면 이렇습니다. “정서를 감지하기 전에, 정서가 어떻게 표현되는지 먼저 공부하라.” Human-machine interaction에서는 사람이 machine의 행동을 바꾸고, machine도 사람의 행동을 바꿉니다. 그래서 예상하지 못한 new human behaviour가 나타날 수 있습니다.

또 하나 중요한 개념은 nonverbal leakage입니다. 사람은 말로는 괜찮다고 해도 hand tension, posture, gaze, voice, physiological reaction에서 다른 signal을 보일 수 있습니다. 그래서 한 modality만 보면 놓칠 수 있습니다.

---

4. Lesson 3: Affect Recognition May Not Generalise Well Across Contexts

세 번째 lesson은 affect recognition이 context를 넘어 잘 generalise되지 않을 수 있다는 것입니다. 쉽게 말하면, 어떤 dataset에서 잘 맞는 모델이 다른 user group, 다른 task, 다른 setting에서는 틀릴 수 있다는 뜻입니다. (어찌보면 굉장히 당연한 이야기이기도 하네요…)

공개 dataset은 보통 young adult와 middle-aged adult의 facial display를 많이 포함합니다. 반면 children, adolescent, older adult의 facial affect data는 ethics와 privacy 문제 때문에 상대적으로 적습니다.

이렇게 data가 불균형하면 모델은 elderly나 children에게 잘 generalise되지 않을 수 있습니다. 게다가 dataset의 label도 neutral, anger, happiness에 치우친 경우가 많고, annoyance 같은 affective state는 상대적으로 적습니다.

Context에서는 WorkingAge project가 나오는데요. 이 project는 45세 이상 worker의 wellbeing을 지원하기 위한 EU Horizon 2020 project로, Office, teleworking, manufacturing 같은 working environment를 다뤘다고 합니다.

저자들은 N-back task, video conference task, operation game처럼 work-like task를 수행하는 사람들의 facial behaviour를 수집했는데요. 이렇게 수집한 것이 바로 WorkingAge DB인데요.

그다음 공개 facial expression dataset, facial affect dataset, facial Action Unit dataset으로 학습한 모델을 WorkingAge DB에 적용했습니다. 예를 들면 ResNet-50, RAF-DB, AffectNet, BP4D가 나옵니다.

Figure 3를 보면 꽤 직관적입니다. 사람이 task에 집중하고 있는데 모델은 happiness, surprise, negative valence 같은 label을 예측합니다. 사람은 그냥 집중하고 있을 뿐인데, generic model은 context를 모르기 때문에 엉뚱한 affect label을 줄 수 있는 것입니다.

그래서 저자들은 work-like setting에서 수집한 data로 모델을 다시 학습하였습니다. 그 결과 worker affect는 어느 정도 추론할 수 있었지만, pre-trained model만으로는 충분하지 않았다고 합니다. 특히 task type과 task setting이 affect recognition performance에 영향을 주었습니다.

Lesson & Insights에서는 off-the-shelf toolkit을 조심하라고 말합니다. OpenFace 2.2.0은 eye gaze direction, 17개 facial Action Unit, facial landmark, head pose를 추출할 수 있어서 HRI 연구에서 많이 쓰입니다. 하지만 OpenFace 같은 toolkit도 context를 이해하는 것은 아닙니다.

Ethnic background, cultural background, gender, age, task는 모두 human expressivity와 nonverbal behaviour에 영향을 줍니다. 그래서 저자들은 generalisation만 기대하기보다는 personalisation을 고려해야 한다고 봅니다. Long-term HRI에서는 novelty effect가 사라지기 때문에 lifelong learning과 personalisation이 더 중요해집니다. CL(Continual Learning)을 Affective Robotics에 적용해야 한다는 주장도 여기서 나옵니다.
Bias와 fairness도 빼놓을 수 없습니다. 공개 dataset이 human population을 충분히 대표하지 못하면 model prediction도 편향될 수 있습니다. 그리고 이런 bias가 user experience, engagement, trust에 어떤 영향을 주는지는 아직 open research problem으로 남아 있습니다.

---

5. Lesson 4: Affect Recognition Alone Is Insufficient for Adaptation and Personalisation

네 번째 lesson은 affect recognition만으로 adaptation과 personalisation이 충분하지 않다는 것입니다. 이 부분은 care robot이나 social robot을 생각할 때 특히 중요해 보였습니다.

Background에서 저자들은 affect recognition이 emotionally intelligent autonomous robot을 만들기 위한 module 중 하나일 뿐이라고 말합니다. Robot은 perception, learning, action, adaptation, anticipation을 모두 해야 하죠.

Robot learning에서 자주 쓰이는 방법 중 하나가 IRL(Interactive Reinforcement Learning)이라고 하는데, IRL은 사용자의 verbal feedback, social feedback, affective feedback을 robot learning에 반영하는 방식입니다.

그런데 explicit feedback은 쉽지 않습니다. 사람은 로봇에게 negative feedback을 잘 안 주거나, 시간이 지나면 feedback을 덜 줄 수 있습니다. 그래서 facial affect 같은 implicit feedback을 쓰면 유용할 수 있습니다. 사용자가 굳이 말하지 않아도 face, gaze, posture에서 반응이 드러날 수 있기 때문입니다.

하지만 Affect-based adaptation만으로 충분할까요? 그리고 항상 HRI experience를 좋게 만들까요?

Context에서는 robo-waiter 연구가 나옵니다. 이 연구는 real-time user feedback을 사용해 socially appropriate robo-waiter behaviour를 학습하는 연구입니다.

먼저 crowd-sourced label이 붙은 dataset으로 robo-waiter의 positioning과 movement를 학습합니다. 이후 RL agent를 pre-train하고, IRL setting에서 implicit reward와 explicit reward를 사용합니다.

Implicit reward는 participant의 facial affect를 보고 계산합니다. Explicit reward는 participant의 verbal response를 반영합니다.

결과를 보면, explicit feedback mechanism과 implicit feedback mechanism은 모두 pre-trained model이나 random control policy보다 더 enjoyable하고 sociable한 robo-waiter를 만들었습니다. Participant와의 positioning도 더 적절했습니다.

하지만 adaptability rating에서는 explicit feedback condition이 가장 선호되었습니다. 특히 로봇이 participant가 말한 내용을 이해하고 적응한다는 점에서 더 높게 평가되었습니다. 이 결과가 중요합니다. Task-based interaction에서는 affect만 보면 부족하고, task-related explicit feedback을 같이 봐야 합니다.

Lesson & Insights에서는 CL과 personalisation이 나옵니다. 저자들은 closed-loop affective robot이 successful social interaction을 하려면 user behaviour와 affective state에 맞춰 계속 학습해야 한다고 말합니다.

Wellbeing coaching robot 연구에서는 20명의 participant를 대상으로 static scripted interaction, affect-based adaptation without continual personalisation, affect-based adaptation with continual personalisation을 비교했습니다. 결과적으로 participant는 continual personalisation capability를 가진 robotic coach를 더 선호했습니다.

하지만 저자들은 여기서도 조심해야 한다고 말하는 것이 Adaptation과 personalisation이 항상 좋은 것은 아니기 때문입니다. 어떤 robot tutor 연구에서는 social and adaptive behaviour를 넣었지만 child learning outcome이 유의하게 좋아지지 않았다고 합니다. 또 다른 robot-supported learning 연구에서는 participant가 특정 행동 하나로 수렴하는 personalised robot보다 varied behaviour를 보이는 robot을 더 선호했습니다.

즉, affective adaptation은 중요하지만 만능은 아닌 것이죠. Interaction이 task-based인지 free-flow인지, one-off인지 long-term인지에 따라 달라집니다.

---

6. Summary and Conclusion

마지막 Summary and Conclusion에서는 네 가지 lesson을 다시 정리합니다. 저자들은 AC solution을 HRI에 적용할 때 off-the-shelf solution을 무비판적으로 쓰면 안 된다고 말합니다.

Table 1은 이 논문의 실전 checklist처럼 볼 수 있는데요. Lesson 1에서는 “individual affective behaviour가 어떻게 드러나는가?”, “어떤 affect model이 가장 적절한가?”를 묻습니다.

Lesson 2에서는 “sensor를 올바른 위치에 두었는가?”, “가장 relevant signal을 측정하고 있는가?”, “model performance를 user interaction experience와 함께 어떻게 해석할 것인가?”를 묻습니다.

Lesson 3에서는 “contextual aspect와 person-specific aspect를 고려했는가?”, “이 model이 누구에게 잘 작동하고 왜 그런가?”, “children과 elderly 같은 user group에서는 어떻게 작동하는가?”, “prediction bias를 줄이는 strategy가 있는가?”를 묻습니다.

Lesson 4에서는 “user response를 affective behaviour만으로 요약할 수 있는가?”, “user가 robot learning에 도움이 되는 additional feedback을 주는가?”, “personalisation이 이 context에 정말 필요한가?”를 묻습니다.

저자들은 “무엇이 작동하지 않았고 왜 작동하지 않았는가”를 HRI community가 더 많이 공유해야 한다고 말합니다. 이 말이 꽤 중요한데요. situated interaction은 실제 사람과 로봇이 만나는 일이기 때문에, 단순한 benchmark 성능만으로는 알 수 없는 문제가 많기 때문입니다.

---

이렇게 리뷰를 마쳐봅니다. 이 논문은 새로운 algorithm을 제안하는 논문이라기보다는, HRI 연구자가 AC를 가져다 쓸 때 어떤 착각을 조심해야 하는지 정리한 논문입니다.

읽으면서 인상 깊었던 것은 “정서 인식은 label prediction이 아니라 interaction design의 일부”라는 점이었습니다. 사람의 face를 보고 happiness인지 sadness인지 맞히는 것보다, 그 사람이 어떤 task를 하고 있는지, 어떤 context에 있는지, 어떤 signal이 실제로 중요한지, 그리고 로봇이 그 정보를 행동으로 바꾸는 것이 적절한지를 보는 게 더 중요한 것 같습니다.

정리하면,,,, 결국 이 논문은 affect recognition model을 잘 붙이는 법보다, affect를 연구에 넣기 전에 무엇을 먼저 봐야 하는지를 알려주는 논문이라고 생각 됩니다. HRI에서 사람의 상태를 이해하는 연구를 하려면 계속 다시 볼 만한 checklist 같은 논문이었습니다. 읽어주셔서 감사합니다.