벌써 2026년의 2/3가 지나갔습니다. 제목은 상반기 회고지만 상반기 하고도 2개월 더 지났다는 것이죠. 26년을 맞이해서 연구실에서 신년 세미나도 하고, 연구실 각 팀과 인원들이 어떠한 목표를 가지고 26년을 보낼 것인지에 대해서 계획을 잡은게 얼마 안된 것 같은데 말입니다. 얼마 남지 않은 26년의 시간들을 잘 보내기 위해서 연초에 세웠던 계획에 대해 얼마나 잘 이행했으며 계획이 어떻게 바뀌었는지 등을 작성하고자 합니다.
달성된 계획
연초의 제 계획은 우선 25년도 하반기에 계속 작업했던 self-supervised monocular depth estimation 논문을 26년 1월 중으로 마무리 짓는 것이었습니다. 결론부터 말씀드리면 시간이 지체되면서 3월초에 완성했던 것 같습니다. TITS에 논문을 제출하려고 했었는데 주제가 어울리지 않는다는 사유로 desk reject 당한 후 지금은 TIP에 제출된 상태이긴 한데 5개월 째 under review 상태이긴 합니다. TIP가 워낙 전통이 깊고 유명한 저널인 것은 알고 있지만 이렇게 리뷰 기간이 길 줄은 몰랐네요. 주제가 아무래도 너무 오래되어서 리뷰어들에게 흥미가 없었던 것일 수도 있고 원래 TIP가 첫 리뷰까지 4~7개월정도 시간이 소모된다고 하니 지금 기다림이 당연한 것일 수도 있겠습니다. 이 논문의 주제가 지금 시대에는 어울리지 않는 것 같아서 떨어지고 나면 어떻게 해야할지도 고민이긴한데 올 해 중으로는 마무리가 잘 되었으면 하네요.
그리고 두번째로는 정우님이랑 함께 작업한 논문을 3월 IROS에 제출하는 것을 목표로 했었습니다. 저는 개인적으로 image retrieval이 computer vision을 처음 접하는 사람들에게 공부하기 좋은 주제라고 생각합니다. contrastive learning과 feature modeling 과정 등에 대해서 공부하다보면 왜 컴퓨터비전이라는 분야에서 feature representation이라는 것에 집착?하게 되는지, 그 철학을 잘 알 수 있다고 생각하기 때문이죠. 그래서 정우님이 25년 2학기에 교육 차 진행했던 image retrieval과 visual place recogntion을 쭉 연계해서 논문까지 마무리하려 했었습니다.
하지만 논문 작성은 계획대로 되지 않는다는 것을 또 한번 느끼게 되었습니다. 제 지도 아래 정우님이 성능 개선 및 논문 작성까지 무난하게 계획대로 진행될 것이라는 제 바람은 생각보다 쉽지 않았고, 결국 제가 앞서 언급한 depth 논문을 마무리 짓고 같이 작업해서 7월 초에 겨우 논문을 RA-L에 제출할 수 있었습니다. 실패의 원인은 이상적인 multispectral VPR framework을 구축하려고 DB는 RGB만, Query는 열화상 이미지만 사용하는 것을 고집하다가 성능 개선의 어려움도 느끼고, 기존에 실험 세팅을 반복해서 엎고 이러다보니 시간이 오래 걸렸던 것 같습니다. 아마 저만 믿고 계속 실험을 진행하던 정우님도 실험 환경이 번복되고 논문 작업이 지연되는 그 상황에 당황하고 힘들어하지 않았을까 싶네요ㅎㅎ;;
미달성된 계획
아무튼 연초에 세웠던 대로 제 depth 논문과 정우님과 함께 작업한 multispectral VPR 논문은 딜레이가 있긴 했지만 계획대로 마무리 된 것 같습니다. 그럼 이제 아직 달성하지 못한 계획들과 수정 보완된 계획들에 대한 이야기도 좀 진행하려고 합니다.
우선 9월 ICRA를 목표로 우현님이랑 같이 작업할 논문을 작성하려고 했고, 하반기에 제 개인 연구도 하나 진행하려고 했었습니다. 우현님과의 논문 작업으로는 제가 그 동안에 perception 분야에 대해서만 논문을 작성했기 때문에 planning과 navigation 쪽으로 확장하고자 하는 마음이 있었습니다. 그래서 우현님과 함께 Visual Navigation paper를 작성해보려고 연초에 계획을 세웠었죠.
밑에서 다시 이야기하겠지만 지금 생각해보면 연초에는 Navigation 분야에 대해서 전혀 모를 때라서 일단 Navigation 분야로 논문을 쓰자 라는 생각만 하고 구체적으로 어떤 문제를 정의하고 해결할 지에 대해서는 구체적으로 정하지 못했습니다. 그저 UC 버클리의 세르게이 레빈 교수님 연구실에서 진행하던 GNM – ViNT – Nomad라고 하는 visual navigation 족보와 비슷한 결을 살려서 열화상 이미지를 활용한 visual navigation 연구를 해야겠다 정도로만 생각했었습니다. 그래서 제가 정우님과 MSVPR 논문을 쓰고 있는 동안에 우현님이 주도적으로 관련 연구와 실험을 진행하는 계획을 세웠던 것 같습니다.
그러다가 우연히 교수님께 전달 받은 메일 중 이번 IROS2026년에 열리는 navigation challenge가 있음을 알게 됩니다. 논문을 당장 쓰기보다는 해당 챌린지에 참여하면 네비게이션 분야에 대해 더 깊은 이해를 할 수 있지 않을까 라는 생각이 들어 저희 팀은 7월말부터 챌린지 참여에 집중했었습니다. 명칭은 Earth Rover Challenge, 줄여서 ERC2026에 참석했는데 작년과 다르게 이번 ERC에는 아래 사진처럼 4가지의 track을 모두 참여해야 한다고 합니다.
Urban Navigation의 경우 사진에서 보이는 저 작은 로봇이 Earth Rover mini+라는 로봇인데 모든 참가자들은 자신들의 모델을 로컬 서버에서 돌리고 저 로봇에 원격 통신으로 조종하여 목적지까지 가는 것을 목표로 합니다. 모든 트랙이 다 비슷한 과정으로 진행되는데 특히 Urban Navigation은 GPS정보를 기준으로 진행되고, Indoor navigation은 정해진 색상의 Cone을 찾는 것을 목표로 한다고 합니다. Off-road도 깃발을 향해 가면 되는데 길이 엄청 울퉁불퉁해서 조금만 잘못 움직여도 바로 로봇이 전복된다고 하네요. 마지막으로 마라톤은 Urban Navigation의 상위 버전인데 1km이상의 경로를 네비게이션해야 하는 것으로 알고 있습니다.
아무튼 현재는 저희팀 인원들이 이 챌린지에 집중하고 있는데, 이 챌린지에 참가해보면서 visual navigation에 대해서 이것저것 더 알게 되었던 것 같습니다. 간략하게만 소개하면 다음과 같습니다.
- 네비게이션 모델한테 자신의 현 위치와 global path, 그리고 goal이 정말 중요하다.
- 센서 노이즈를 잘 잡는 것이 정말 중요하다.
- Goal의 정의에 따라 Navigation 모델들의 연구 방향이 다 다르다.
우선 1번에 대해서 이야기하면, outdoor 상황에서는 보통 goal을 GPS로 정의합니다. 저희가 가야할 지점과 로봇의 위치를 GPS를 통해 결정하고 로봇이 실시간으로 goal을 향해 나아가는 것이죠. 저는 여기서 단순히 가는 길에서 발생할 수 있는 장애물을 잘 우회하고 이런 것들이 중요하다 생각했는데 생각보다 goal도 잘 정의하는 것이 중요했었습니다.
한가지 예시로 위의 그림에서 초록색이 로봇의 출발 시작점이고, 빨간 점이 목적지라고 했을 때 navigation model들이 단순히 최단경로로 가려고 하면 주황색 라인처럼 막다른 길에 마주하게 됩니다. 막다른 길에 다다랐을 때 여기론 갈 수 없으니 그냥 우회해서 가면 되는 것이 아닌가? 라는 생각이 드시겠지만 실제로 이걸 모델링하는 것이 쉽지는 않더라구요. 우회한다는 것은 목적지까지 가는 최단 경로에서 로봇이 벗어나 돌아간다는 것이며 이는 목적지를 향해 멀어질 수도 있는 것입니다.
근데 어느 시점까지 로봇이 목적지까지 멀어져도 괜찮은 것인지를 정의하는 것이 쉽지 않습니다. 목적지까지 가까워지는 것을 최선으로 하면 저런 막다른 길에서 로봇은 local minima에 빠지게 될 것이고, 그렇다고 우회를 위해 목적지까지 가까워지는 term을 약하게 두면 모델이 쓸데없는 길로 가거나 목적지를 영영 도달하지 못하는 경우가 발생할 수도 있습니다. 사실 가장 좋은 방법은 저희가 흔히 사용하는 지도 어플처럼 목적지까지 가는 길에 대해 상세한 네비게이션이 되면 이런 문제는 거의 해결될 문제이긴 합니다.
그러나 챌린지에서는 최소 50미터 이상 떨어진 위치에 GPS 서브 골들이 배정되어 있어서 map-less 방식으로 해결을 해야 하는 상황인지라 지금도 어려움을 겪고 있네요. 그리고 indoor 상황도 마찬가지인데, cone을 찾아야하는 task이다보니 cone이 어딨는지에 대해서 상세한 path를 네비게이션 어플처럼 제공할 수가 없는 상황입니다. 모델이 알아서 탐색하고, 자신이 어디서 왔는지, 이미 지나온 곳과 탐색하지 않은 곳 등을 잘 구분할 수 있는지가 중요합니다.
다시 outdoor로 돌아와서, 설령 현재 위치를 GPS로 찾고, 목적지도 촘촘하게 GPS가 제공된다고 하더라도 가장 큰 문제가 센서의 노이즈입니다. 보통 모델들이 자신의 위치와 목적지에 대한 상대적인 방향 goal bearing을 염두해두고 움직이는데 GPS가 오차가 발생하면서 자신의 위치가 틀어지게 된다면 잘못된 goal bearing으로 인해 모델이 엉뚱한 방향을 가는 경우가 종종 발생합니다. 결국 navigation은 실제 하드웨어 제어를 위한 플래닝을 다루다 보니 센서의 노이즈가 모델에게 잘못된 판단을 야기할 수 있다는 사실을 크게 체감하게 되었네요.
마지막으로 goal의 정의에 따라서 navigation 연구 방향이 다 다르다는 점입니다. 위에 챌린지 예시로 설명하면, outdoor의 예시로는 GPS goal을 위치로 합니다. 즉 x,y 좌표를 향해 로봇이 움직이면 되는 어찌보면 단순하고 직관적인 goal 입니다.
잠시 위에서 언급했던 세르게이 교수님 연구실의 대표 논문들인 ViNT, Nomad같은 논문들은 image goal을 목표로 합니다. 즉 아래 예시처럼 goal image가 보이는 장소로 모델이 찾아가는 것이죠. 이건 단순히 x,y와는 다르게 유사한 이미지 view를 향해 모델이 찾아가는 것이라 goal의 semantic level이 한층 더 올라간 것입니다.
그 외에도 최신의 연구들은 goal을 text로 표현합니다. 연구가 많이 되고 있는 분야로는 Vision and language Navigation 분야인데, 이는 모델에게 상세한 이동 지시를 내려서 그에 맞춰서 경로를 예측하고 움직일 수 있는지를 판단하는 연구입니다.
근데 예시를 보셔도 아시겠지만 저희가 모델에게 저렇게 상세한 instruction을 전달하는 일은 없을 것입니다. 즉 물을 달라고 하거나, 휴대폰을 찾아달라고 하지 물을 먹고 싶으니 직진해서 문 밖으로 나간 뒤 우회전 해서 식탁이 보일때까지 계속 가라고 하지는 않는다는 것이죠. 그럼에도 저 연구가 진행되는 이유가 무엇인가 생각해보면 지금은 기술 성숙도가 많이 올라 Vision과 Language 사이의 grounding이 어느 정도 되고 있지만 저 VLN 분야의 초창기에는 CLIP도 없던 시절에 진행된 것이라 instruction이 상세했던 것이고, 이러한 형태 및 세팅이 지금까지 유지되어 온 것으로 저는 이해하고 있습니다. 그리고 모델이 실제로 지시어를 잘 이해하고 있는지, 그 지시어를 따라서 올바르게 움직이는지를 분석하고 판단하기 좋다고도 생각이 들고요.
그리고 휴대폰을 찾아줘 라고 했을 때 그것을 찾으러 탐색하고, 메모리에 자신이 간 길을 저장하는 등의 방법론 역시 진행되고 있습니다. Object Goal Navigation이 이들 task를 지칭하는 명칭이고요. 그 외에도 Embodied Question Answering이나 Human Following 같은 분야들도 있다고 합니다. 아무튼 모델에게 목표를 제공할 때 해당 목표의 의미적 수준이 단순히 x,y의 pointgoal에서 image, text 등등으로 확장 및 발전되는 것이 visual navigation 연구의 한 축으로 저는 이해했습니다.
졸업에 대한 고민
이렇게 navigation 분야에 대해 조금씩 알아가다보니 문득 이런 생각이 들더라구요. 졸업까지 짧게는 1년 6개월밖에 남지 않은 시점에서 제가 그 동안에 해온 연구와 지금의 네비게이션 분야를 어떻게 엮을 수 있을지에 대해서 말이죠. 원래는 막연하게 visual navigation 논문을 쓰고 이걸로 졸업 논문을 마무리 짓자는 안일한 생각을 연초에 했었는데, VLN이나 object navigation등 분야를 보다 보면 point goal 또는 image goal navigation은 상대적으로 쉬운 문제 아닌가? 라는 생각도 들고 이러한 연구 분야를 26년도에 수행해야하는 이유가 무엇인가?와 같은 연구의 가치에 대해서 고민을 할 수 밖에 없었습니다.
그래서 제 나름대로 visual navigation 분야에 대해서 서베이도 더 해보고 정리를 해보니 일단은 아래와 같이 결론을 지을 수 있었습니다. 아까 위에서 소개드렸던 것처럼 goal의 의미론적 수준에 대해서 더 높이는 연구를 진행하는 축과 반대로 goal은 point와 같이 직관적이지만 주행을 수행하는 환경이 더 복잡해지거나 제약 조건이 발생하는 경우를 말이죠.
주행을 수행하는 환경이 더 복잡해진다의 의미로는 아까 위에 ERC 예시 중 off-road navigation도 들 수 있고, 아니면 밤과 같이 시야가 잘 안보이는 상황에서도 네비게이션을 잘 수행할 수 있는지도 있겠죠. 그래서 저는 제가 그 동안 perception 분야에서 연구했던 내용을 살려서 우측 하단과 같이 Safe라는 카테고리로 navigation을 정의해보왔습니다.
즉, robust visual navigation 항목은 주야간이나 험한 날씨환경에서도 강인하게 로봇이 goal을 향해 나아갈 수 있는지를 정의합니다. 여기서 저는 저의 연구 흐름과 맞게 열화상 이미지를 활용하는 네비게이션을 수행할 수 있겠죠. 그리고 context-aware navigation이라는 분야를 하나 더 정의했습니다. 네비게이션 논문들을 조사하면서 알게 된 것인데, 단순히 강인하게 장애물이나 사람을 인식하고 이들을 피해서 움직이는 것 말고도 중요한 부분이 있었습니다. 바로 로봇이 가도 되는 길과 그렇지 않은 길을 구분하는 것이죠.
예를 들어서, 배송 로봇과 같은 컴팩트한 로봇의 경우 인도와 차도가 있으면 당연히 인도로 가야합니다. 차도로 가면 속도가 느려서 교통 흐름에 방해가 되고 자칫했다간 큰 사고로 이어질 수도 있습니다. 그리고 차도와 인도가 하나의 길로 혼합된 골목길과 같은 장소에서는 로봇이 우측 또는 좌측 갓길로 비켜줘야 차들이 지나갈 수 있을 것입니다. 그리고 횡단보도로 가거나, 잔디와 통행로가 있다면 통행로를 가야하기도 해야겠죠. 아래 예시가 26년 CVPR oral paper인 SocialNav의 예시인데 이 논문처럼 Socially Traversable Area를 정의하고 이를 인식하는 방향으로 논문을 작성하면 어떨까 합니다.
이렇게 열화상을 통한 robust visual navigation과 socially traversable area를 고려한 navigation을 주제로 논문을 완성하는 것이 이번 하반기를 비롯한 제 앞으로의 졸업까지의 큰 목표 중 하나가 될 것 같습니다. 이 실험들에 대해서는 저의 든든한 후배들인 우현님이랑 정우님이 주도적으로 진행하고 저는 방법론을 같이 의논하면서 실험 방향에 대해 가이드하는 방향으로 진행될 것 같습니다. 이와 동시에 저는 mobile manipulator를 위한 주제도 건드려보려고 합니다.
아무래도 산업계가 빠르게 요구하는 것 중 하나가 mobile manipulator이기 때문에 이쪽에 대해서도 공부하고 실제로 프로젝트 등을 마친 뒤 졸업해야 될 것 같다는 생각이 드네요. 그리고 로보틱스 팀과의 협업을 위해서는 언제까지고 미뤄둘 순 없다는 생각도 계속 들어서 mobile manipulator도 계획으로 잡았습니다. 사실 mobile manipulator라는 분야가 너무나 큰 관심을 받고는 있지만 manipulator와 mobile platform에 대한 이해가 둘 다 있어야 하는 분야라 걱정도 많이 듭니다.
특히 로봇의 팔과 다리에 대한 조작을 동시에 수행하는 whole body control 쪽이 앞으로의 미래라고 생각이 들지만 그만큼 진입장벽도 높아서 올해 중에는 해당 주제로 접근하지는 않을 것 같네요. 일단은 조작과 이동을 별도의 모듈로 놓고 이들을 유연하게 묶는 방향과 object goal navigation과 같이 대상이 어딨는지를 찾고 그 곳으로 가는 분야 쪽으로 시작하지 않을까 합니다. 정리하면 manipulator를 위한 navigation을 우선적으로 시작할 것 같습니다. 그리고 나서 어느정도 manipulator 쪽에 대한 이해를 쌓고 나면 WBC 쪽도 건드려보지 않을까 합니다.
마치며
뭔가 하고 싶은 것들이 너무 많아서 이것저것 일을 벌려 놓은 것 같아서 걱정도 듭니다. 나이를 먹었는지 요즘은 무리하면 바로 감기 비슷한 뭔가에 걸려서 쉽게 낫지도 않던데 말이죠. 그래도 지금 새롭게 정한 계획들이 실제로 진행되어서 기대했던 성과로 이어진다면 저와 저희팀 후배들에게 많은 도움이 될 것이라 기대가 됩니다. 저 따라서 앞으로 고생하게 될 우현, 정우 연구원들께 감사하고 계획했던 목표 달성까지 힘들겠지만 즐겁게 달려보자는 말을 전하고 싶네요. 그리고 앞으로 협업하게 될 로보틱스 연구원분들께도 재밌는 연구 함께 잘해보면 좋겠습니다.
