안녕하세요, 이번주는 2월 12일-13일 이틀간 다녀온 KRoC 참관기 입니다. 저는 발표하러 간 것은 아니지만 최근 가장 큰 관심분야중 하나인 로봇들에 관한 내용들을 연구자들을 통해 직접적으로 접하고, 신기한 로봇들도 많이 구경하고, 무엇보다 재찬이 발표 준비를 도와주면서, 학회장에서 얻은 것들이 많다고 생각해서 정리할 겸 적어보려고 합니다.
LLM 관련 논문들
재찬이가 VLM, LLM 기반 매니퓰레이션 제어 정책에 대한 서베이 논문을 발표하러 가는 자리였기 때문에, 발표 준비를 도와주고자 로보틱스 팀원들이 발표 이전에 논문들을 전부 읽지는 않았지만 한 두개정도 읽어보고, 더 명확한 내용숙지를 위해서 각자 읽은 내용들을 공유하는 시간을 가졌습니다. 그 전 까지는 LLM 기반 매니퓰레이션 제어 정책에 대한 논문들을 직접적으로 접해본 적이 없었기 때문에, 이 과정에서 재찬이 뿐만 아니라 저 또한 얻은것이 많았습니다. 그 전까지는 논문을 읽어본 적은 당연히 없고 제 앞에 놓인 논문들을 읽느라 읽어야지,, 하고만 있었는데, 서베이 논문의 특성상 특정 기술이나 아이디어에만 집중하는 것이 아니라 해당 주제로 다양한 접근 방식들에 대한 정리를 할 수 있었던 것 같습니다.
Cap, Voxposer와 같은 논문들은 미니 챌린지를 진행함에 있어서도 숙지가 꼭 필요했던 논문이기 때문에 발표 전 날 자세히는 아니지만 코드도 조금 보고, 해당 논문들에 등장하는 다양한 개념들을 충분하지는 않지만 한 가닥씩 알아갔다는 점, 그리고 재찬이 발표를 조금이나마 도와주었다는 점에서 더 의미있는 시간이 아니었나 싶습니다.
포스터
재찬이가 포스터 앞에 있을 때 혹시나 누가 저에게 질문을 한다면 최소한의 답변이라도 해주기 위해서 저도 발표 내용을 숙지하려고 노력했었는데요, 아쉽게 포스터 발표할때는 공간이 협소해서 다른 포스터들을 보러 다녔습니다. 이 과정에서 직접 저자들과 소통하고 관심있는 키워드, 필요한 키워드들에 대해서 많이 알게되었습니다. 정말 많은 포스터들이 있었지만 기억에 남은 몇 개만 적어두겠습니다.
첫 번째로 Reinforcement Learning-Based Static Obstacle Avoidance for manipulator라는 제목으로 건국대학교에서 발표를 했는데요, 여러 협동로봇이 사람과 같은 작업공간에서 유연하게 작동할 수 있도록 하는것을 목표로 연구를 진행하고 있다고 합니다. 논문의 task는 정적인 장애물을 피해 목표 target 위치에 도달하는 것이었는데요, PPO 알고리즘 기반의 강화학습을 사용해 연구를 진행했다고 합니다. 포스터 figure에 제가 사용하고 있는 시뮬레이터인 isaac sim도 보이고, 미니 챌린지 마지막 단계에 강화학습 내용도 있는 만큼 관심이 많았는데, 강화학습을 어떻게 진행했는지, 해당 연구를 진행하기 위해 선행된 학습은 어느정도인지 물어봤습니다. 기본적인 state, reward, agent에 대한 개념을 익히고 PPO 알고리즘을 공부한 뒤 바로 툴을 이용해 적용했다고 합니다. 다만 real에서 시도해본 적은 없고, 향후 실제 로봇에 적용하여 성능을 검증하려고 한다고 합니다. 완전히 같은 task는 아니었지만 제가 진행하려고 했던 내용과 비슷한 내용을 먼저 진행해본 연구원에게 현실적인 공부량, 한계 등 의미있는 정보들을 얻을 수 있었습니다.
또 포항공대에서 병원환경에서 닦기 작업을 위한 자동화 모바일 매니퓰레이터 프레임워크 라는 제목으로 발표를 진행한 분과도 이야기를 나눠봤습니다. 최근 코로나를 포함해서 각종 병원균에 노출되는 일을 줄이기 위해 자외선 소독과 같은 비접촉식 방법을 주목하고 있다고 합니다. 이에 따라서 모바일 매니퓰레이터를 통해 방역을 진행하는 프레임워크를 제안했는데, 주제 차제가 처음보는 주제라 신기할 뿐 만 아니라 기존 제가 가지고 있는 지식으로는 복잡한 구조의 병실을 인지하고 의미있는 방역 작업을 하는 행동을 구현하는게 굉장히 어렵다고 생각해서 구경하고 이야기를 나눠보았습니다. 대화를 나눠본 결과 흥미로운 점들이 있었는데, 마커를 사용해서 위치를 인식한다고 합니다. 발표자의 말에 의하면 카메라 센서로 현장을 재구성하는것 보다 훨씬 효율적인 방법이라고 합니다. 로봇은 뉴로메카 로봇을 직접 개조해서 사용했다고 하고,(뭔가 대단해 보였습니다). 닦기를 진행하는 모션 자체는 하드코딩 했다고 합니다. 논문의 핵심은 자율 방역 로봇 프레임워크로써 오류 발생 가능성이 적은 알고리즘을 제안 한 것이라고 하는데요, 로봇이 실제로 잘 작동하려면 로봇의 비헤이비어 트리도 중요하다는 것을 알게 되었습니다.
마지막으로 기억에 남는 포스터는 LG전자에서 발표한 Swing pivot이라는 논문이었습니다. 말 그대로 중력을 이용해서 swing을 이용한 grasping 이었는데요, 매우 흥미로운 컨셉이었습니다. 3지 그리퍼를 사용해 무게중심과 일정 거리에 있는 지점을 파지하고 중력에 의한 모멘트를 유도하고 나머지 손가락으로 회전을 한다고 합니다. 핵심은 물체를 정리하는 로봇이 항상 같은 방향으로 물체를 내려놔야 하는 상황에서 여러번 들었다 놨다 복잡한 잡업을 반복하는 것이 아니라 한 번에 중력을 이용해서 해결한다는 점인데, 이것도 아예 처음보는 연구라 흥미가 생겨 이야기를 나누어 보았습니다. 또 대기업에서 연구하시는 분인 만큼 인사이트를 좀 얻을 수 있지 않을까 하는 기대도 가졌습니다. 이 연구는 무인 편의점을 생각하면서 진행하셨다고 합니다. 편의점에는 물건들이 같은 방향으로 진열돼있기 때문에, 이를 효율적으로 진행하는 연구를 수행하고 있다고 하고, 가정에 로봇을 배치하는것이 목표지만 그 전에 중간 단계로 편의점을 활용할 생각이라고 합니다. 정말 많은 대기업이 로봇팔 연구를 다양하게 진행하고 있다는 것을 체감할 수 있었습니다. 또한 연구와 개발을 진행할 때 겪은 시행착오들에 대해서도 내용을 들었는데, 정말 도움이 많이 되는 시간이었습니다. 특히 현재 사용중인 isaac sim이 마찰력과 관련된 물리량을 잘 반영하지 못해서 sim to real을 진행했을 때 gap이 너무 커서 정밀한 매니퓰레이터 작업을 할 때는 사용하지 않는다는 말을 듣고 좀 충격을 받았습니다. 다만 강화학습을 진행할때는 기능이 많고 편리해서 omniverse 플랫폼을 사용하셨다고 합니다.
마무리
로봇 분야에 지식이 거의 없고 연구를 진행한지 얼마 되지 않아서 더 그런것 같지만 로봇이라는 주제를 가지고 정말 다양한 분야에서 각자의 방법으로 연구를 진행하고 있고, 다같이 발전해가고 있구나 라는 생각을 하게된 것 같습니다. 졸업식과 일정이 겹쳐서 다른 컨텐츠들을 놓친것이 아쉽긴 하지만 짧은 일정 안에서도 보고 느낀것이 많았습니다. 기회 주신 교수님과 같이 가자고 제안해주신 태주님께 감사드리면서 마치도록 하겠습니다!!
