안녕하세요! 11월 13일에 다녀온 전문가 심포지엄 참관기를 작성해보려고 합니다. 이번 심포지엄은 ‘AI 휴머노이드의 현재와 미래’를 주제로 하는 제 1회 심포지엄이었습니다. 이 분야에서 열정적으로 연구하고 계시는 교수님과 연구원분들의 강연을 가까이서 들을 수 있었던 좋은 기회였습니다. 특히 저의 관심사가 로봇에서 먼저 시작됐다기보다는 인공지능에서 시작돼 로봇으로 점차 좁혀지게 된 것이라, 제가 전혀 몰랐던 전통적인 로봇 연구에 대한 이야기를 들을 수 있어서 다소 어려웠지만 흥미롭게 들었던 것 같습니다.
강연에서 가장 인상 깊었던 다음 세 가지를 중심으로 참관기를 작성해보고자 합니다.
- 결국 모델 기반보다는 강화학습 방식이 주류가 된다는 흐름
- tactile의 중요성
- 대형 모델이 능사는 아니며, 로보틱스만의 모델 구조가 필요하다는 점
휴머노이드 로봇 연구의 흐름
먼저 휴머노이드 로봇 연구의 흐름에 대해서 말씀드리겠습니다. 대략 2020년까지는 inverse dynamics 기반의 전신 제어가 주류가 되었으며, 그 이후로 현재까지는 학습 기반의 연구가 지속되어 오고 있습니다. 휴머노이드 로봇은 로봇팔 제어와 여러 차이점이 있어, 모델 기반의 접근 방식은 더더욱 한계를 보였다고 합니다. 예를 들어 휴머노이드 로봇은 로봇팔과는 달리 메인 body가 공중에 떠 있기 때문에 잘 서 있기 위해서는 힘을 통해 지속적으로 제어해야 하고, 앉아 있거나 누워 있는 등 지면이나 바닥에 다중 접촉된 상태를 가지기도 합니다. 또한 현재 시점의 위치와 가속도만으로는 장기적으로 균형을 유지할 수 없어서 시계열 정보가 필수적입니다.
그런데 이런 수많은 변수들, 즉 물리적인 불확실성을 모델 기반 제어로 완벽히 표현할 수 있을까요? 우리가 원하는 제어는 아주 복잡해보이지만 핵심은 단순히 ‘넘어지지 않고 적절히 잘 동작하는 것’입니다. 그렇기 때문에 모델 기반으로 접근하여 정밀한 제어 문제로 푸는 방식은 오히려 패착이라고 합니다. (물론 정밀 제어가 필요한 경우에는 여전히 유의미합니다!) 따라서 로봇 제어 연구의 흐름이 점차 강화학습 기반으로 넘어오게 되었다고 합니다.
그렇다면 강화학습 기반의 제어는 어떨까요? 먼저 당연하게도 현실 세계의 로봇이 학습하다가 크게 넘어지면 마음이 너무 아프기 때문에… 대부분의 실험은 시뮬레이터에서 진행됩니다. 하지만 시뮬레이터에서는 잘 걷는데 실세계에서는 잘 못 걷는 문제가 반드시 생기게 됩니다. 따라서 이 sim-to-real gap을 극복하기 위한 전략들이 있는데요, 시뮬레이터를 아주 디테일하게 구현하는 방식과 애초에 시뮬레이터를 불확실하게 만드는 방식이 있습니다. 전자는 아무래도 힘들고 끝이 없는 전략이기에 후자를 주로 선택한다고 합니다. 이 방식을 domain randomization이라고 하는데요, 매우 다양한 랜덤 환경에서 policy를 학습시키면 현실의 환경도 그 안에 포함되기 때문에 sim-to-real gap이 크게 줄어들 수 있다고 합니다!
모델 기반과 학습 기반의 제어를 적절히 섞은 하이브리드 제어 방식도 많이 사용되고 있습니다. 강화학습을 통해 불확실성에 강건한 행동을 생성하고, 모델 기반 제어를 통해 안정적이고 정밀한 저수준 제어를 수행하는 방식입니다.
Tactile 센서
다음으로 tactile과 관련해서는 한국표준과학연구원의 김민석 단장님의 강연이 인상깊었는데요, 촉각센서라는 것에 이렇게나 다양한 방식이 있다는 것을 처음 알았습니다. 애초에 촉감이라는 감각은 근감각과 피부감각으로 이루어져 있는데, 인간의 피부에는 여러 수용기가 있어 매우 다양한 감각을 느낄 수 있습니다. 현재까지 연구되고 있는 촉각 센서의 종류로는 크게 광학 기반, 자성 기반, 전도성 유체를 사용하는 방식이 있다고 합니다. 저는 여기서 광학 기반 센서가 가장 인상 깊었는데요, 쉽게 말해 손 끝에 말랑한 젤 패드를 붙이고 접촉이 일어났을 때 카메라가 이 젤 패드의 변형되는 모습을 촬영해 이를 기반으로 접촉 형태와 힘 등을 파악하는 방식입니다. 이는 다른 방식들과 달리 vision 정보로 표현되기에, AI 학습에 유리하다는 이점이 있다고 합니다. 반면 아직까지는 손가락 중간 마디나 손바닥에 적용할만큼 얇은 구조로 설계되지는 못해 현재는 거의 손 끝에만 적용이 가능하다고 합니다.
로보틱스를 위한 소형 모델
한국과학기술원의 김범준 교수님은 로보틱스 분야에 대형 모델만을 사용하는 것은 근본적인 문제가 있다고 지적했습니다. 특히 전력 소비가 매우 크다는 점을 강조했는데요, 예를 들어 LLaMA 8B 모델은 inference에 250-300W가 사용되는 반면 사람은 하루종일 20W밖에 사용하지 않는다고 합니다. 그래서 CNN처럼 작고 효율적인 모델 구조를 새롭게 고안하는 것이 적합할 수 있다고 합니다. 그런데 이렇게 작은 모델은 더더욱 물체와 환경에 대한 generalization이 잘 되지 않는다는 문제가 존재합니다.
그래서 활용해볼 수 있는 것이 바로 hypernetwork입니다. hypernetwork는 두 네트워크로 구성되어 있습니다. 첫 번째는 가중치를 생성하는 weight-generating network이고, 두 번째는 이렇게 생성된 가중치를 가지고 policy를 내뱉는 base network입니다. 이 두 네트워크가 end-to-end로 학습이 됩니다. 이렇게 두 네트워크로 분리하게 되면, 여러 모델을 사용하는 것과 같이 다양한 표현을 학습할 수 있고 그렇기에 작으면서도 일반화를 확보할 수 있다고 합니다!
느낀 점
어느덧 제가 연구실에 합류한지 세 달이 되어가고 있는데요! 아직까지는 매일매일 맡은 일들을 해내는 것만으로 벅차서 항상 여유를 가지고 큰 그림을 봐야겠다고 다짐을 하는데, 이번 심포지엄을 보면서 우리나라 교수님과 연구원분들의 연구 흐름을 들을 수 있어서 의미가 컸던 것 같습니다. 그리고 대학생과 대학원생분들이 정말 많이 오셔서 신기했고 좋은 자극이 되었습니다! 로보틱스 팀에 속해 있으면서도 저에게 로봇은 아직 어려운 점이 많은 존재인데요, 그래서 너무나 매력있는 분야라고 생각합니다!! 앞으로 열심히 공부해서 이 연구 흐름들을 잘 따라가 보고 싶습니다. 읽어주셔서 감사합니다.
