안녕하세요. 11월 13일(수)에 참석했던 제 2회 전문가 초청 세미나에 대한 이야기를 다뤄보고자 합니다. 본 초청 세미나는 “네이버와 실제 세상의 물리적 연결”이라는 주제로 네이버랩스의 권재운 연구원님께서 연사로써 참석해주셨습니다. 이번 후기글에서는 세미나 발표의 내용을 요약해서 다루고, 이후 질의응답을 위주로 담아보겠습니다.
0. 세미나 후기에 앞서
현재 rcv 로보틱스 팀에 속하는 저에겐, 네이버라는 굴지의 대기업(상인님의 표현을 빌려..) 자회사인 네이버랩스 또한 네임밸류가 어떠한 지 익히 들어왔기 때문에, 사실 세미나 시작 전부터 한 없이 기대가 되고 흥미로웠던 세미나였습니다. 사실 전 이 날(수요일) 6시까지 보컬트레이닝이라는 교양수업이 있었는데, 세미나에 늦을 까봐 빨리 수업에서 뛰쳐나가고 싶은 마음 밖에 안 들었습니다😅
호다닥 세미나 강의실로 도착해보니 워,, 강의실이 앞쪽부터 꽉꽉 차있었습니다. 그래도 꾸역꾸역 앞으로 가 저희 연구실 분들 주변의 빈 앞자리를 용케 앉게 되었습니다. 확실히 앞에 앉으니 연사님 목소리도 잘 들리고 집중도 잘되고 세미나 내용이 전체적으로 흡입력 있게 들렸습니다. 앞으로도 세미나는 주로 앞 자리를 차지해야겠습니다.
1. 본 세미나 내용
자 우선 네이버랩스는 네이버의 R&D 전문 자회사로, 로보틱스, 자율주행, AI, 디지털 트윈, AR 등등 서비스 중심의 네이버의 기존 사내조직 무대에서 벗어나서 좀 더 새로운 신기술들에 공격적으로 투자하고 연구하기 위해 2017년에 만들어졌습니다. “네이버와 실제 세상의 물리적 연결” 이라는 본 세미나의 주제에서도 알 수 있듯이, 온라인과 모바일 플랫폼이 주력 무기인 네이버가 물리 세계로 확장된 기술을 선점할 수 있도록 연구 개발하는 것이 목표라고 볼 수 있겠습니다.
그래서 사람들이 흔히 네이버랩스 하면 묻는 공통 질문이 ‘네이버는 왜 로봇을 하나?’인데 그에 대한 대답으로써 연사님께서도 앞선 내용과 동일한 기조로 말씀을 해주셨습니다. 네이버랩스가 pc와 모바일에서 하는 서비스를 실제 세상과 연결하기 위한 꼭지로써 다음과 같은 크게 3가지 기술 방향성이 있었습니다.
- 디지털 트윈 (실제 세상을 가상 환경에 동일하게 구현)
- 클라우드 기반 AI 서비스
- 로봇 + 자율주행 + AR
위 기술에 대한 실제 사례들은 후술하기로 하고, 일단 네이버랩스는 기술 개발 시 가장 중요한 것이 바로 테스트를 얼마나 어떻게 잘하느냐가 핵심이라고 하셨습니다. 2022년 완공된 네이버 1784 건물이 그 방증이라고 볼 수 있는데요. 해당 건물은 지어질 때부터 빌딩 전체가 하나의 어떤 테스트 베드로써 로봇의 테스트에 아주 적합한 구조로 지어졌습니다.
즉 쉽게 말하면 로봇 친화적 빌딩으로 어느 곳을 이동해도 단차가 없으며, 기본적으로 로봇과 함께 생활하고 행동하는 양식이 자연스레 수반될 수 있게 만들어진 환경이라고 합니다.
1-1. 네이버 1784 == 로봇 테스트 베드
덕분에 여러 가지 흥미로운 사례를 엿볼 수 있었는데요. 먼저 사람이 주로 타는 인승용 엘리베이터에 로봇이 같이 타면 효율이 어떻게 될까 였습니다. 개인적으론 로봇이 따로 타서 이동하는 로봇 전용 엘리베이터가 있는 것보단, 사람이 타는 인승용 엘리베이터에 로봇이 타고 사람과 상호작용을 해야 더 효율적이고 유의미한 게 아닐까? 라고 생각했었는데, 아니었습니다. 연사님 말씀으로는 실제로 그렇게 해보니까 사람이 타는 곳은 사실 병목현상이 너무 발생해서 로봇의 이동이 효율적이지 못하다는 문제가 있다고 합니다. 이런 것들을 하나하나 직간접적인 테스트로써 마주하면서 여러 인사이트를 얻을 수 있다는 것 자체가 저로써는 ‘역시 뭐든 머리로만 생각하는 게 아니라 직접 경험하는 것, 그 경험을 위한 실력과 인프라와 환경을 갖추는 것’ 의 중요성이라고 느껴졌습니다. 또 로봇 빌딩에서 일어나는 다른 상황도 동영상을 통해 보여주셨는데요. 바로 네이버 건물 내 배달 중인 배달 로봇의 앞길을 직원분들께서 인간띠를 둘러 매우 좁은 틈 하나만 남겨놓은 채 가로막고 있는 영상이었습니다. 출입구 바로 앞에서 좁은 길 하나만 남겨둔 채 넓은 길을 갑작스레 사람이 다 막아섰는데, 로봇이 어디로 갈 지 갈팡질팡하면서도 결국엔 하나 뿐인 그 좁은 길을 인지하고 그 쪽으로 슝 빠져나가는 모습을 보였습니다. 그만큼 사람의 이동방향에 따른 로봇의 경로 계획, 장애물 인지 등에 있어서 상당한 테스트가 이루어지고 그에 따라 데이터를 다루고 기술을 더 고도화하며 개선되었기 때문인 것으로 유추해볼 수 있었습니다. 특히 네이버랩스에서는 사람의 이동방향에 따른 로봇의 경로 계획 시에, HRI(Human Robot Interaction) 요소를 상당부분 신경쓰고 있는 것 같았습니다. 즉 사람끼리 지나칠 때 말을 하지 않고도 표정이나 시선, 행동, 자세 등 비언어적 소통을 통해 서로 간의 갈 길을 파악하고 자연스레 상대의 행동을 예상할 수 있는 것처럼, 로봇도 사람과 유사한 어떤 시선을 가지고 있어야 서로 간의 상호작용이 더 유연해질 것으로 보는 것입니다. 그래서 로봇의 gazing 방향을 gui로 보여줌으로써 사람->로봇, 로봇->사람의 일방적인 인지만을 넘어 상호작용을 가능하게 하는 창구를 하나씩 만들어가고 있는 것이었습니다.
1-2. 네이버 데이터 센터 GAK
네이버랩스의 1784 건물 외에도 발표 중 인상깊었던 내용이 바로 네이버의 데이터센터 GAK 이었습니다. GAK은 국내에 2곳으로 GAK춘천, GAK세종이 있는데 GAK춘천의 경우, 사실 저는 춘천에서 군복무 시 주로 다니는 배차 및 수송 코스에 이 GAK춘천 데이터센터를 항상 지나치면서 얼추 친환경적인 면모를 중요시하는 데이터센터이구나를 알고 있었습니다. 또한 GAK세종의 경우에는 작년 설 혹은 추석 쯔음 건설 소방 사업관리 회사에 다니시던 외삼촌께서 세종시에 네이버 데이터센터 건립의 소방시공관리를 맡고 계시다는 말씀에 어렴풋이 알게 되었습니다. 이렇듯 어렴풋이 보고 들어서 데이터센터가 데이터센터지 뭐.. 라는 생각이 기존에 있었으나, 이번 연사님의 GAK세종 소개를 듣고 놀랐던 게, 마냥 데이터를 보관, 처리하는 어떤 창고의 개념이라기 보다 이 센터 전체가 또 하나의 자율주행 및 로봇을 위한 테스트 베드 혹은 플랫폼으로써 체계적으로 활용되고 있다는 점이었습니다. 데이터센터 건물의 외곽 쪽으로 자율주행 도로 및 도시 환경을 구축하고, 실제로 자율주행 셔틀버스를 운행하고, 데이터센터 내에서는 가로(자율 운송 로봇), 세로(자산관리 자동화 로봇) 의 협업 등으로 이 모든 공간들이 네이버가 실제 세상과 물리적인 연결을 하기 위한 수단으로 활용되고 있었습니다. 나중에 기회가 된다면 견학을 해볼 수 있는 기회가 생기면 좋겠습니다.
1-3. 디지털 트윈, VR임장
다음으로는 네이버랩스가 진행하고 있는 디지털 트윈에 대해서 소개하신 부분을 정리해보겠습니다. 네이버랩스는 AI와 로봇의 연구 개발뿐만 아니라 시장성있는 서비스도 최근엔 목적으로 두고 있다의 비전을 가지고, 최근 들어서는 네이버 클라우드, 네이버 지도, VR을 활용한 네이버 부동산 VR임장을 연구 개발하고 있다고 합니다. 저의 경우는 rcv의 로보틱스 팀에서 추구하는 연구목표에 대해 지속적인 내용 흡수가 이루어지다 보니 디지털 트윈이라는 기술에 대한 친숙함이 있어, 더욱 관심이 갔던 장표였습니다. 역시 기존 네이버 지도, 네이버 클라우드, 네이버 부동산이 가지고 있던 대량의 데이터가 이럴 때 빛을 발하는 것 같습니다. 놀라운 점은 임장이다 보니, 조망권 등도 하나의 중요한 요소가 될텐데 이것도 빌딩에서 해가 가려지는 부분도 모두 고려되어 표현된다는 점이 인상깊었습니다. 이것도 네이버가 실제 세상과 물리적으로 연결될 수 있는 하나의 좋은 사례라고 생각이 들었습니다.
1-4. AMBIDEX
마지막으로는 로봇 매니퓰레이터의 제어에 관한 연구를 주로 담당하시던 권재운 연사님의 강조로 시작된 네이버랩스의 AMBIDEX입니다. 해당 로봇은 7-DoF를 가진 로봇팔이 핵심이 됩니다. 사람 팔과 동일한 자유도를 가지고 있어서 유사한 형태를 띄고 있음을 확인할 수 있었고, 그리퍼로는 3지 그리퍼가 사용되는 모습을 확인했습니다. 무게는 2.63kg으로 생각보다 가벼웠는데, 사람 팔과 비교하면 조금 더 가벼운 수준인 것으로 보아 굉장히 경량화를 잘한 모습에 놀랐고, 속도와 하중은 제가 어느 정도 기준이 뛰어난 것인지는 아직은 upper와 lower의 기준을 몰라 쉽게 판단하지는 못하였습니다.
이 AMBIDEX를 보자마자 질문하고 싶은 욕구가 굉장히 강하게 들었는데, 해당 내용부터는 이 Ambidex에 대한 소개를 마지막으로 질의응답에 대한 내용으로써 밑에 다뤄보겠습니다.
2. 질의응답
여기서부터는 제가 했던 질의들을 포함하여 기억에 남았던+기록해놓았던 질의응답들에 관해서 저의 생각과 함께 몇 자 남겨보도록 하겠습니다.
2-1. <Ambidex 연구 관련 질의>
- Q. Ambidex가 가진 7-DoF 만의 장점이 무엇인지? 6-DoF로 하지 않은 이유, 6-DoF와 비교 시 가장 큰 차이점, 이점이 궁금하다.
A. 우선 6자유도를 쓰면 특정 공간에서 원하고자 하는 임의의 자세를 제어하는 것이 가능은 하지만, 로봇 역기구학에서 주로 고려되는 문제인 “singularity” 문제가 발생할 수 있다고 합니다. 그래서 자유도를 하나 더 넣어서 그런 singularity 문제를 해결하려고 했다고 합니다.
—> 이건 제가 학부 3학년 수업 때 들었던 최호선 교수님의 로보틱스 수업에서 들었던 내용이었는데, 실제로 네이버랩스에서도 이를 고려하여 로봇을 설계하였다는 점에서 이론과 실무 연구가 확실히 연결된다는 점에서 매우 인상깊었습니다!
- Q. Ambidex의 수익화 계획이 있는가?
A. 아직 답변하기 어렵다. 기술의 불확실성으로 인해. 또한 제품화까지는 아직 필요한 과정이 많다. 케이블 단위로 구성되어 있기 때문에, 케이블 부품 하나가 고장나면 싹 다 갈아엎어야 하는 문제도 아직 있다.
—> 역시 최대한 사람 팔을 모방한 복합관절 매니퓰레이터이다 보니, 여러가지 현실적 제약이 따라오는 것이 현재로써는 당연해보였습니다.
- Q. Ambidex의 불확실성으로 인해 실제 환경에서 활용까지는 어렵다고 해주셨는데, 불확실성이 있는 기술에 대해 네이버랩스에서 권장하고 허용하는지? 추가로 네이버랩스는 어느 관점의 연구 환경에 포커스를 두는지?
A. 네이버랩스에서 불확실성을 대하는 자세는 유연한 편이라고 생각함. 수평적 논의가 활발함. (그러나 불확실성에 대한 상부의 입장으로써는 과거에 비해 약간의 제한을 두고 있는 듯한 느낌적 느낌…) 서비스에 대한 계획이 준비되어야 프로젝트를 시작하려는 경향이 있다. 그러나 여전히 타사에 비해 open-minded라고 생각. 추가로 네이버랩스는 실내 환경의 연구에 더 초점을 맞추는 것 같다.
- Q. 매니퓰레이터 연구 중에 LLM을 활용한 Embodied AI 형태의 연구도 접목시켜서 하고 있는지? 연구가 진행되고 있다면 아니면 하이퍼클로바x도 있듯이 자체개발 LLM을 활용해서 연구를 수행하는 지? 아니면 GPT를 사용하는지, prompt engineering을 적극적으로 활용하는지? 결론은 자체적으로 모든 기술을 다 준비하고 개발하고 계시는 지?
(제 질문입니다..하하..)
A. LLM을 활용한 Embodied AI 연구가 진행되고 있다. 특히 Ambidex에 LLM를 붙여서 페르소나, 즉 성격을 부여하고, 성격 별 반응이 달라지는 Embodied AI를 수행하려고 하고 있는 것으로 안다. ICML같은 해외 탑 컨퍼에 제출 혹은 제출하기 위해 연구가 이루어지고 있던 것으로 알고 있다. 하지만 LLM이 네이버 자체 개발의 하이퍼클로바x는 아니다. 사실 하이퍼클로바였다면 그림이 더 예뻤겠지만, 아마 ChatGPT인 것으로 알고 있다. 그러다보니 prompt engineering을 고려한 연구도 당연히 수반되고 필연적이라고 생각한다.
—> rcv 로보틱스 팀에서 추구하는 연구 방향인 것처럼, 과연 국내 로봇연구를 다루는 대기업에서도 이런 연구 흐름을 유사하게 쫓고 있을까에 대한 궁금증으로 여쭤보게 되었습니다. 네이버에서도 비슷한 생각을 가지고 연구를 수행하고 있다는 점에서 제가 연구실에서 공부해나갈 연구 주제가 좋은 연구 흐름을 가지고 있다는 생각에 새삼 동기부여를 얻었습니다.
- Q. Ambidex에서의 embodied AI에 대해 궁금. end-to-end로 동작하는 지, LLM agent로 code generation을 해서 적용하거나, 모바일 알로하 로봇처럼 imitation learning을 적용하는 지?
A. human demonstration을 얼마나 적용하느냐가 중요하다고 생각한다. 최근 가장 큰 트렌드는 diffusion policy를 사용하고 그걸 강화학습 기반에 접목한 아이디어 였는데, 결론은 human demonstration을 따라하는 AI였다. 그러나 “다양한 작업이 가능한 manipulator”으로써 밀고나가야지, “~~하는 로봇”이 되는 순간 특정 기능을 위해 제작된 자동화 기계를 이기기란 어려워보인다.
- Q. 로봇 연구가 돈이 되는가?
A. 빨래개는 로봇을 생각해보자. 아까 말했듯이 결국엔 그것을 자동화한 어떤 기계의 형태를 embodied ai는 절대 이길 수 없다고 생각한다. 더불어 Foundation Model을 결국엔 잘 써야하지 않을까? 그리고 그 FM을 학습하기 위해서는 human demonstration을 잘 학습해야되지 않을까? 라고 생각한다.
- Q. 아까 Ambidex에 LLM을 활용해 페르소나를 부여한다고 하셨는데, 그 페르소나를 굳이 부여해야하는 이유가 궁금하다.
A. 이는 해당 연구를 수행하는 저자마다 다르겠지만, 사람과 로봇 사이의 상호작용인 human interation의 관점에서 페르소나를 주입하는 게 중요하다고 판단해서 이를 적용해 본 연구가 아닐까? 라고 생각. 즉 사람들이 로봇이 가진 페르소나와의 상호작용을 잘 이해할 지? 잘 적응할 지?에 대한 연구 + 페르소나가 다채로워지면 embodied ai가 가진 다양성의 능력 측면에서 이점이 있지 않을까 하는 가정도 들어있다고 조심스레 생각한다.
2-2. <기타 연구 키워드 관련 질의>
- Q. 네이버 내에 돌아다니는 로봇은 유리 인식을 어떻게 하나?
A. 유리에 패턴이 붙어있어서 일단 이를 인식해서 피해다닐 수 있도록 하고 있음.
- Q. HRI(Human-Robot-Interation) 연구의 지향점이 무엇이고, 어떤 관점으로 연구가 진행되어야 할지??
A. HRI연구는 전문분야가 아니라 잘 알지 못하지만, 모호한 느낌으로는 HRI 연구도 앞으로 중요해질 것 같다. 서비스 관점에서 접근하게 되지 않을지..? 사람이 사용할 때 편하도록, 불편하지 않도록..
- Q. 로보틱스 하면 물체 등의 pose를 정확히 아는 게 중요하다고 생각하는데, 이런 요소를 어떻게 정밀하게 측정하고 작동하게 할 수 있을 지? 네이버에서는 pose의 정확도 문제를 어떤 관점에서 접근하나?
A. 우선 vision perception을 통한 pose estimation은 배제하고자 한다. vision은 오차가 수cm로 있을거라고 항상 가정하고 있고, 그 외의 오차들은 feedback 제어로 해결하고자 한다. 또한 그리퍼의 형태, 사이즈, 문제 상황에 따라 요구조건은 계속 달라질 수 있을 것이라고 보기에, 제어 쪽으로 최대한 해결하고자 함.
- Q. 네이버 랩스는 스마트시티를 구축하고자 하는 원대한 목표를 official한 목표로 생각하는지, 어느 정도의 수준을 목표로 하는지?
A. 조심스러운 질문이지만, 사견으로는,, 네이버랩스가 목표로 하는 미래 도시상인 A-City에 대해서는 우선 왜 A 인가에 대해 생각해본다면,, 아까 말한 Ambidex도 A로 시작하지 않는가? 여러 서비스, 기술들과 함께 엮으려고 시도하고 노력하는 것 같다. 특히 서비스로 엮으려고 하는 이유는 기술의 필요성을 대중들에게 쉽게 어필하기 위해서. A-City에 대한 개념은 사실 아직은 구성원마다 모두 의견이 다를 것이라고 생각한다. A-City라는 원대한 목표를 위해 어떤 리스트화된 목표가 순차적으로 격파되거나 격파될 수 있는 것도 아니고, 실내에서는 모바일 로봇이 서비스하는 상황, 실외에서는 자율주행 인프라가 구축이 되어야 하는 것처럼, 각자의 연구파트에서 아직 정의는 되지 않았지만 각자가 정의한 스마트 시티인 A-City를 향해 달려나가고 있다고 생각.
2-3. <네이버 랩스의 속사정(?)>
- Q. 상부와의 의견 조율 프로세스에서 연구에 대한 규제는 어떤가?
A. 규제를 풀어달라고 정부에 요청해서 연구를 수행하기도 하고(어떤 회색지대로써 요청을 줘서 허가해달라고 하는 방식도 있다고 함.), 아니면 규제를 고려하지 않고 자체적인 판단 하에 추후 규제가 완화될 것이라는 가정으로 연구를 수행하기도 한다.
- Q. 네이버의 입장에서 현대에 대한 입장과 생각이 궁금. 경쟁업체인 것이냐? 협력업체인 것이냐?
A. 조심스러운 질문이다..ㅎㅎ.. 상부에서의 입장은 모르니까.. 개인적으로는 같이 이 생태계를 키워나가는 협력 관계라고 생각. 본인은 과거 메타가 오픈소스 생태계를 왜 만드는 지, 유저들에게 왜 본인들의 코드를 공개하는 지 이해가 안됐었는데, 지금은 이해가 되더라. 오픈소스 공개를 통해 생태계를 키우고, 로봇 분야 연구의 파이가 커져야 시장성도 커지고, 그래야 나중에 먹을 것도 많을 것이라고 생각.
2-4. <연구원님에 대한 사적 질문>
- Q. 네이버랩스 근무환경 좋은점?
A. 건물 자체가 신축 느낌이라 좋다. 병원이 안에 있어서 진료 받기도 편하다. 업무에 집중할 수 있도록 환경이 다 갖춰져있고, 재택도 가능하다.
- Q. 네이버랩스를 선택한 이유? 정년을 네이버에서 하는 사람은 없다는 말에 대해 어떻게 생각하시는지
A. 개인적으로 대학원생 때 Ambidex 관련 연구를 하면서 자연스럽게 넘어온 것 같다. 정년 관련은,, 아직 고민이 별로 안 된다.ㅎㅎ.
- Q. 로봇에 관심을 갖게 되신 계기?
A. 수업을 듣고 관심을 갖게 됨. 수학적 모델링 관련 흥미. 특히 서울대 지도교수님의 수업이 너무 좋으셨다고 함.
- Q. 개인적으로 업무 목표가 어떻게 되는지?
A. 회사의 전반적인 기조도 그렇고, 대학원생 때의 목표도 그렇고 새로운 걸 해나가는 것이 목표였다. 근데 지금은 지금 있는 기술이나 계속 연구되고 있는 새로운 기술로도 가치있는 서비스로 향해가려면 어떻게 해야할까에 대한 관심을 갖고 있다. 현재는 로봇 기술이 아직은 성숙치 않다보니 자연스레 물류 쪽의 도메인을 생각해보게 되더라.
2-5. <로봇 전반에 관하여>
- Q. 로봇은 미래에 어떻게 될 지? 실생활에 만연해질까?
A. 로봇은 필연적인 것이라고 생각. 이는 되고 안되고가 아니라, 시기의 문제!
3. 결론
기억이 또렷하진 않지만 대략 6시부터 체감상 2시간 가까이 진행된 본 세미나는 연사님의 발표시간보다 질의응답시간이 2,3배 더 길었던 세미나였습니다. 본 발표내용은 수식에 관한 설명은 하나도 없이 오로지 네이버랩스의 비전과 대표적인 연구 내용들에 대한 설명이 주를 이뤘음에도 실제 로보틱스 전문가의 고견을 곁들이며 듣게 되니 매우 유익했습니다. 특히나 질의응답시간은 세미나를 들으러 와주신 많은 분들(교수님들, 연구원분들)의 질 좋은 질문들을 통해 저 또한 많은 인사이트를 챙겨갈 수 있었고, 좋은 세미나로 제 뇌리에 인상 깊게 자리 잡게 된 것 같습니다.
특히 KCCV2024를 참가하면서 느꼈던 것과 같이, 이제는 산업계와 학계가 서로 연구 사이클이 한 타임씩 동 떨어진 분야가 아니라, 서로간의 긴밀한 협업, 학계의 연구인력 + 거대기업들의 자본력을 바탕으로 합동 연구를 진행하는 것은 이 범AI 및 로보틱스 연구의 발전을 도모할 수 있는 지름길이자, 좋은 방향을 가리킬 수 있는 등불이 될 수 있음을 느꼈습니다. 본 세미나에서 얻은 여러가지 사소한 인사이트들도 충분히 저희 rcv 로보틱스 팀의 연구에 긍정적인 영향을 끼칠 것이라고 생각되고, 좋은 결과를 가져올 날을 위해 그저 부단히 노력하고 준비를 하고 있으면 되겠다고 동기부여가 되었습니다.
이것으로 세미나 후기를 마치겠습니다. 본 세미나를 주최하는 데 힘써주신 많은 교수님들, 특히 ICAN 사업 주관이신 저희 교수님, 같이 힘써주시는 화원님, 저희 rcv연구원분들께 감사드립니다.
