KRoC 참관기

안녕하세요 최인하입니다. 이번에 좋은 기회로 제21회 한국로봇종합학술대회에 참석하여 좋은 인사이트를 얻을 수 있었고, 제가 관심있는 연구 분야가 어떻게 진행되고 있는지 조금이나마 확인할 수 있었습니다. 이러한 정보를 전부 적을 수 는 없겠지만 최대한 적어보겠습니다.

저는 박종우 교수님의 강연에서 많은 인사이트를 얻을 수 있었습니다. 교수님은 강연에서 로보틱스 필드에서 해결하려고 하는 문제점, 이를 해결하기 위한 전세계적으로 하고 있는 노력의 방향은 맞는 것인가에 대한 서두를 던지셨습니다. 우선 현재 로보틱스 필드에서 해결하려고 하는 문제점은 로보틱스의 Foundation model입니다. 이를 해결하기 위해서 내로라 하는 기업과 연구자들이 밤 낮으로 노력하고 있죠. 하지만 근본적으로 Foundation model은 데이터가 많이 필요합니다. 또한 로봇들은 다양한 구조를 가지고 있으며 로봇을 이루고 있는 배선, 액추에이터로 내려갔을 때 그 다양성은 상당히 증가하게 됩니다. 이러한 수많은 로봇을 커버할 수 있는 Foundation model을 만들기 위해서는 역시 데이터가 몇배로 무진장 많이 필요할 뿐만 아니라 그 데이터를 커버할 수 있는 데이터 센터의 파워 또한 장난없겠죠. (교수님은 이 정도의 데이터를 커버 하려면 원자력 발전소 2~3개가 필요하다고 했습니다.) 이러한 이유에서 우리가 접근하고 있는 Data driven 방식이 맞는가? 생각해볼 문제라고 말하셨습니다.

또한 로보틱스에서 bottleneck이 될 수 있는 부분은 manipulation 이라고 언급하셨습니다. 많은 기업에서 올리는 데모 영상을 보면 수건을 접는 task를 흔히 볼 수 있는데요. 이렇게 어려운 일은 잘하면서 정작 콘센트를 연결한다던가 무엇을 끼우는 행위는 잘 못한다고 합니다. 저희에게 쉬운 일이 로봇한테는 어려운 일이 될 수 있는거죠. 여기서 우리와 로봇의 차이점은 접촉, 마찰 등등 물리적인 정보를 로봇은 모른다는 것입니다. 따라서 manipulation이 로보틱스 필드에서 bottleneck이 될 수 있는거죠.

핵심은 여기입니다. 로봇에게 필요한 물리적인 정보를 주지않고 CNN과 transformer 모델로 로봇에게 접근하는 것 자체가 맞는가? 각각의 모델들은 contribution에 맞는 inductive bias가 있는데 이러한 모델을 하나씩 끼워 넣고 발전시키면서 로봇의 Foundation model을 만들려고 하는 것 자체가 넌센스라고 언급하셨습니다. 로봇은 기본적인 물리적인 법칙에 지배를 받고 control에 있어서 feed forward와 feed back은 무조건 있을 수 밖에 없는데 위와 같은 접근 방식이 아니라 problem definition을 다시 해서 robot inductive bias르 고려해서 발전해야 된다고 언급하셨습니다.

포스터 발표에서는 주로 제 관심분야인 Dex manipulation, Robot Hand 쪽으로 살펴보았습니다. 보면서 로봇 특히 현재 manipulation task가 하드웨어와 소프트웨어를 융합하는데 너무 좋은 task 인 것 같았습니다. 제가 학회에서 본 전반적인 manipulation의 흐름은 다음과 같습니다. (KIST prime lab이 전반적인 Hand manipulation을 연구하시는 것 같았습니다. 다들 Hand만 가지고 오셔서 어떻게 합쳐질지 궁금했습니다.)

  • 물리적인 정보를 얻을 수 있는 센서 데이터와의 통합 (F/T Sensor, Tactile Sensor)
  • 센서 데이터와 핸드의 데이터를 포함하는 고차원 데이터를 학습 할 수 있는 모델 구축
  • 데이터를 잘 모을 수 있는 방식 고안 (Teleoperation)

전반적인 흐름은 이렇게 위와 같고, 후속 연구를 물어봤을 때는 vision 정보와 통합하여 Tool manipulation까지 생각하고 계셨습니다. 결국 다지 그리퍼를 사용하는 이점은 인간이 사용할 수 있는 Tool을 사용할 수 있는 것에 있는 것 같았습니다. 저도 이쪽 연구를 진행 한다면 아직은 확정이 아니지만 manipulation에 있어서 센서 정보와 고차원 데이터를 잘 표현할 수 있는 모델. 즉 이러한 쪽에 inductive bias를 가지고 있는 모델을 만들고 싶습니다.

이정도로 이번 kros 학회 참관기를 마무리하겠습니다. 읽어주셔서 감사합니다!

Author: 최 인하

2 thoughts on “KRoC 참관기

  1. 안녕하세요 인하님, 참관기 잘 읽었습니다. 저도 비디오 이해 task 논문들을 접하면서, 이미지 레벨에서의 성공적인 아키텍처를 비디오 쪽에도 그대로 적용한 부분을 문제삼는 논문들을 많이 보았던 거 같은데, 로보틱스도 다른 task에서 성공적이었던 foundation model이나 transformer 기반 모델 등의 구조를 가져오는 것이 문제가 된다는 말씀 주신 부분이 신기했던 것 같습니다. 로봇에 맞는 새로운 패러다임의 방법론을 제시한다면 그에 맞는 새로운 벤치마크 역시 필요하다고 생각하는데, 이것이 기존 벤치마크와 비교했을 때 어떤 부분에서 개선이 필요할 지 궁금합니다.

  2. 안녕하세요 인하님. 좋은 글 감사합니다!
    기조연설에 대한 인사이트를 잘 정리해주신 것 같네요.
    제가 봤던 핸드 관련 포스터는 tactile 센서 개발 정도였는데요, ‘센서 데이터와 핸드의 데이터를 포함하는 고차원 데이터를 학습 할 수 있는 모델 구축’에 대한 내용이 궁금합니다! 이외에 기억에 남는 포스터가 있다면 짧게 소개해주시면 감사하겠습니다!

Leave a Reply to 이 재윤 Cancel reply

Your email address will not be published.