상반기를 돌아보며..
올해 상반기에는 내비게이션 연구의 방향을 잡는 것부터 쉽지 않았던 것 같습니다.
가장 큰 이유는 아직 머릿속에 내비게이션이라는 연구 분야의 흐름이 제대로 정리되어 있지 않았기 때문인 것 같습니다. 관련 논문을 충분히 읽어본 것도 아니었고, 전통적인 방법에서부터 최근 navigation 연구 흐름까지 각각의 연구가 어떤 문제를 해결하려고 했고 지금은 어디까지 와 있는지에 대한 이해도 부족했습니다. 이런 상태에서 새로운 연구 주제를 정하려다 보니 내가 보고 있는 문제가 정말 중요한 문제인지, 혹은 이미 충분히 연구된 문제인지 판단하는 것부터가 어려웠던 것 같습니다.
그래서 올해 초 처음 생각했던 방향은 단순히 열화상 기반 내비게이션이었습니다. 관련 데이터셋과 열화상을 활용해 내비게이션을 수행한 선행 연구들을 조사해봤었는데, 조사하면서 자율주행 차량을 위한 데이터셋이나 perception 연구는 어느 정도 있는데, 모바일 로봇의 내비게이션 자체를 목적으로 활용할 수 있는 열화상 데이터는 정말 소수 몇 개만 있었고 그마저도 실제 연구에 사용하기에는 제한적이었습니다.
그래서 처음부터 데이터도 부족하고 경험도 없는 열화상 환경으로 들어가기보다는 우선 RGB 환경에서 데이터를 직접 다뤄보고 내비게이션 파이프라인 전체를 경험해보는 것이 먼저라고 생각했습니다. 이 과정에서 내비게이션이라는 넓은 연구 분야의 흐름도 같이 정리하면서 RGB 환경에서 조금 더 강인하게 동작하는 내비게이션 연구를 진행해보고, 그 과정에서 얻은 경험을 이후 열화상으로 확장하는 방향이 더 현실적이라고 생각했었습니다.
그리고 이 과정에서 논문 하나를 베이스라인으로 잡고, human walking video 형태의 대규모 데이터를 가공해 outdoor 환경에서 GPS goal이 주어졌을 때 목적지까지 잘 이동할 수 있는 내비게이션을 연구해보고자 했습니다.
유튜브에 존재하는 2000시간 이상의 데이터를 직접 가공해보았고, VO 알고리즘을 통한 수도 라벨링부터 노이즈 필터링까지 여러 작업을 진행했었습니다. 그리고 모델 아키텍처를 어떻게 개선할지에 대해서도 계속 고민했습니다.
그런데 연구를 진행할수록 모델 자체보다, 내가 진행하는 연구의 평가 환경이 흔들리고 있는게 아닐까라는 의심이 계속 들었고 이 문제를 먼저 해결해보고자 했습니다.
처음 벤치마킹하려고 했던 연구에서 제공하는 평가 데이터 GT 자체에도 노이즈가 많았고, 메인 성능 비교가 open-loop 평가를 중심으로 이루어지고 있었습니다. 정해진 observation에 대해 모델이 GT와 비슷한 action을 예측하는지는 측정할 수 있었지만, 해당 지표 자체가 실제 로봇이 자신의 action에 따라 다음 observation을 계속 받아가면서 움직이는 closed-loop 환경에서도 의미 있는 차이로 이어지는지는 확신하기 어려웠습니다.
그렇다고 새로운 방법을 만들 때마다 실제 로봇을 들고 밖에 나가 여러 방법론을 수십 번씩 반복해서 평가하는 것도 현실적이지 않았습니다.
물론 여기서 open-loop 평가 자체가 문제라는 것을 이야기하는 것은 아닙니다. 실제로 자율주행 차량 연구에서도 open-loop 평가를 메인 지표로 보여주는 경우가 많고, 해당 평가 지표 자체에 closed-loop 평가적인 요소를 반영하려는 연구들도 많이 존재합니다. 제가 느낀 문제는 현재 제가 사용하고 있던 평가 체계와 그 지표 그리고 해당 데이터에서 모델의 성능 향상이 실제 navigation 성능 향상으로 이어지는지 확신하기 어려웠다는 점에 가까웠던 것 같습니다. 평가 환경에 대한 확신이 없으니 아키텍처를 바꾸거나 데이터를 개선해서 해당 벤치마크에서 숫자가 올라가더라도 이 상승이 정말 의미 있는 결과인지 판단하기 어려웠습니다.
그리고 outdoor를 타깃으로 하는 모바일 로봇 내비게이션에서는 이 정도로 표준화되어 있으면서, 내 실험에 가져와서 바로 재현할 수 있는 closed-loop 평가 환경도 없는 상황이였고, 실제 모바일 로봇 내비게이션 연구들을 보다 보면 저자들이 직접 구성한 환경과 소수의 에피소드에서 real-world 평가를 수행하거나, 각자 다른 조건에서 성능을 검증하는 경우가 대부분이었습니다.
결국 어느 순간부터는 모델의 성능을 개선하는 것만큼이나 안정적으로 navigation policy 평가를 반복할 수 있는 환경을 만드는 것에 시간을 많이 쓰게 됐던 것 같습니다.
그럼 내비게이션의 모든 분야가 다 이런 식으로 평가 체계가 잘 구축되어 있지 않느냐? 라는 생각이 들 수 있는데, 이건 또 아닌 것 같습니다.
Indoor 내비게이션은 Habitat와 같은 시뮬레이션 플랫폼이 비교적 잘 구축되어 있고, Gibson이나 Matterport3D와 같은 3D scene dataset을 활용할 수 있게끔 환경이 잘 갖춰져 있습니다. 그리고 이 위에서 R2R, RxR과 같은 Vision-Language Navigation 벤치마크를 비롯해 다양한 task에서 동일한 환경과 에피소드를 기반으로 방법론을 비교할 수 있는 체계가 잘 만들어져 있는 것 같습니다.
도로 위 자율주행 차량도 마찬가지로 NAVSIM, HUGSIM과 같은 벤치마크 위에서 방법론들을 비교하고 평가할 수 있는 체계가 비교적 잘 만들어져 있다고 느꼈습니다.
그러다 보니 자연스럽게 그럼 왜 outdoor를 타깃으로 하는 모바일 로봇 내비게이션 연구에는 이런 벤치마크가 상대적으로 부족한가?라는 의문이 많이 들었습니다.
제가 생각하기에는 몇 가지 이유가 있는 것 같습니다. 우선 outdoor 모바일 로봇은 실제 환경의 변화가 크고, 도시마다 보도 구조나 장애물, 사람의 밀도, 갈수있는 영역에 대한 정의, 조명, 날씨 등이 전부 다르기 때문에 하나의 시뮬레이션 환경이나 데이터셋으로 문제를 표준화하는 것 자체가 쉽지 않은 것 같습니다. 이에 반해 indoor나 자율주행 차량은 비교적 정형화된 도로위나 실내 공간내에서는 상대적으로 이런 벤치마크 구성이 쉽다고 생각합니다.
그리고 이건 제 개인적인 생각이지만 연구의 선호도나 트렌드도 어느 정도 영향을 미치는 것 같습니다. 결국 내비게이션의 문제를 단순히목적지까지 이동하는 것으로 보지 않고, 이동한 이후에 무언가를 수행하기 위한 과정으로 생각한다면 indoor 상황에서 Vision-Language를 엮는 분야가 자연스럽게 더 많은 관심을 받는 것 같습니다.
실제로 최근 연구들을 보다 보면 너 여기로 가, 이 물체를 찾아가와 같은 indoor 내비게이션 문제를 왜 푸는지를 생각했을 때, 결국 그 위치로 이동해서 물체를 찾거나 잡거나 조작하는 단계까지 연결하기 위한 경우가 많다는 느낌을 받았습니다. 그런 관점에서는 indoor 내비게이션위에서 language까지 활용하는 문제 설정 자체가 향후 로봇팔을 포함한 manipulation까지 이어지기에도 좋기 때문에 관련 연구가 훨씬 다양하게 나오는 것이 아닐까 생각했습니다. 그러니 자연스럽게 해당 벤치마크도 다양하게 나오게 된 것도 영향이 있을 것 같습니다.
물론 라스트마일 배송로봇처럼 단순 배달을 목적으로 하는 경우라면 얘기가 달라지겠지만 이경우도 제 개인적인 생각으로는 정말 목적이 단순히 정해진 장소까지 물건을 배송하는 것이라면 오히려 훨씬 더 전통적이고 안정적인 방법으로 문제를 해결할 수도 있기 때문에 상대적으로 인기가 적은게 아닐까라는 생각이 듭니다.
암튼 제 개인적인 생각으로 outdoor 상황에서 모바일 로봇 내비게이션의 표준화된 벤치마크가 상대적으로 부족한 이유는 크게 이런 환경적인 어려움과 연구 트렌드의 차이 두 가지가 있지 않을까 생각합니다. 그래도 2026년을 기준으로 보면 이 분야에서도 관련 벤치마크와 평가 환경이 조금씩 생기고 있는 추세인 것 같습니다.
다시 올해 상반기 이야기로 돌아오면, 이렇게 개인 연구도 진행을 했고, 동시에 석준님, 기현님과 함께 우편 배달 로봇 프로젝트도 병행하였습니다. 스카웃미니, Xlerobot 하드웨어 위에 직접 모델을 탑재해보면서, 소프트웨어적으로는 경험할 수 없었던 하드웨어적 한계도 맞이해보고, 로봇 팔의 버튼을 잘 누르기 위한 마커 기반 differential wheel 도킹 시스템까지 구축도 해보았습니다. 이후 7월부터는 잠시 스탑하고 IROS Challenge에 집중하고 있는 상태입니다.
이렇게 상반기에 진행했던 것들을 주저리 주저리 작성해보았습니다.
이제 좀 돌이켜보면,,
돌아보면 상반기에는 정말 많은 것을 건드려봤던 것 같습니다. 학습 데이터 구축부터 시작해서 기존 navigation architecture를 개선해보기도 했고, 여러 시뮬레이터 위에서 closed-loop evaluation 환경을 만들어보려고도 했습니다. 그러다 보니 Real2Sim과 3D reconstruction도 자연스럽게 공부하게 되었고, photorealistic하게 보이는 장면을 만드는 것과 navigation policy를 공정하게 평가할 수 있는 시뮬레이션 평가 환경을 구축하는 것은 또 다른 문제라는 것도 깨달았던 것 같습니다.
여기에 XLerobot 프로젝트도 병행하면서 하드웨어도 본격적으로 건드려보고, 이후 IROS Challenge까지 함께 진행하다 보니, 어느 순간에는 내가 지금 정확히 어떤 연구를 하고 있는지 한 문장으로 설명하기 어려울 때도 있었습니다. 첫 시작은 큰틀로 잡았던 planning 연구 였지만 상반기를 돌아보면 사이드 쪽으로 많이 빠지게 된게 있었던 것 같습니다.
그래서 상반기를 한마디로 표현하면 물속에서 달리는 느낌에 가까웠던 것 같습니다. 앞으로 가고는 있는 것 같은데 뭔가 답답한, 그런 느낌이었고 이 사이에서 스스로 고민하는 시간도 많았던 것 같습니다.
그리고 이런 시행착오나 경험들을 겪었다고 전부 단순히 성장했다라는 말로 정리할 수 있을까라는 생각도 하게 됐던 것 같습니다. 혹은 하반기에는 그래도 나아지겠지라고 막연하게 생각하는 것도 별 의미가 없을 것 같다는 생각을 했던 것 같습니다. 그렇게 말하려면 결국 상반기의 시행착오나 경험으로부터 내가 무언가를 남겼다는 전제가 있어야하지 않나 싶습니다. 근데 아직 저 스스로가 뚜렷한 목표가 없기 때문이어서 그런지 이런 과정들이 단순한 방황이었는지, 아니면 앞으로 연구를 해나가기 위해 필요했던 과정이었는지는 하반기가 지나야 알 수 있을 것 같습니다.
다만 하반기에는 상반기에 해봤던 것들을 계속 늘려가기보다는, 그중에서 무엇을 가져가고 무엇을 버릴지를 정하는 것이 필요할 것 같습니다. 그리고 가능하면 하나의 문제를 정해서 데이터부터 모델, 평가까지 끝까지 가져가보려고 합니다. 그렇게 실제로 하나의 줄기로 만들어낼 수 있게되면 그때는 상반기에 여기저기 부딪혀봤던 시간들도 나름의 의미가 있었다고 말할 수 있을 것 같습니다.
내비게이션 연구란.. 팀의 목표는..
제가 생각하기에는 모바일 로봇 내비게이션은 goal의 표현 방식, planning horizon(global,local), 시스템의 modularity, 그리고 map이라는 서로 독립적이면서 의존적인 여러 축의 조합으로 구성될 수 있다고 생각합니다.
먼저 PointGoal, ObjectGoal, ImageGoal, Instruction-guided Goal은 로봇에게 목적지를 어떤 형태의 정보로 전달하는가에 대한 구분이라고 생각합니다.
PointGoal은 좌표와 같이 명시적인 위치가 주어지는 것이고, ObjectGoal은 특정 물체나 카테고리를 찾아가는 것이고, ImageGoal은 목표 위치에서 촬영된 이미지를 통해 목적지를 전달하는 방식입니다. Instruction-guided Goal은 자연어 명령 자체를 이해하면서 목적지를 찾아가야 하기 때문에 goal의 의미론적인 이해가 훨씬 중요해집니다. object goal이나 image goal도 마찬가지고요.
반면 local planning 관점에서 E2E와 modular navigation같은 경우는 관측으로부터 행동을 생성하는 의사결정을 하나의 policy가 통합적으로 학습하는지, 아니면 중간에 해석 가능하고 독립적인 모듈을 두고 단계적으로 의사결정을 수행하는지에 대한 구분이라고 볼 수 있을 것 같은데, 그냥 단순하게 말하면 E2E에서는 중간 과정이 비교적 암묵적으로 표현되는 반면, modular 내비게이션은 perception, planning과 같이 다음 단계에서 직접 사용할 수 있는 명시적인 정보를 각각의 모듈이 만들어낸다는 차이가 있는 것 같습니다. 둘의 장단점은 명확하지만 어떤 것이 좋다 나쁘다는 모르겠습니다.
그리고 Mapless와 map-based는 좀 애매한 구분이라고 생각이 듭니다. Map이라는 것 자체를 어디까지 정의하느냐에 따라 같은 시스템도 다르게 볼 수 있기 때문입니다. 그래서 제 개인적으로는 사전 또는 온라인으로 구축한 persistent map 위에서 localization과 global planning을 수행하는지를 하나의 기준으로 보고자 하긴 합니다.
특히 저희가 비교하는 모델들의 한 번의 추론 자체는 대부분 현재 observation으로부터 가까운 sub-goal까지의 명확한 경로도 아닌 단순 미래 action을 만들어내는 local motion planning에 해당하기 때문에 local policy 자체를 분석할 때에는 map 사용 여부보다는 goal의 형식이나 E2E/modular 구조를 주요 기준으로 사용하는 것이 더 맞고, global map이나 전체 route의 출처는 전체 application 수준에서 별도로 설명하는 것이 맞는 것 같다는 개인적인 생각입니다.
예시로CityWalker를 보면 한 번의 inference 관점에서는 현재 observation과 local goal을 받아 다음 action을 생성하기 때문에 mapless policy라고 볼 수도 있습니다. 하지만 전체 application 관점에서는 global path planning 자체가 map 위에서 이루어지기 때문에 시스템 전체를 mapless라고 부르기는 어려운 것 같습니다.
그래서 어떤 방법론을 단순히 이건 mapless다, 이건 map-based다 라고 이분법적으로 구분하는 것은 애매한 것 같습니다. 결국 map을 어디까지 정의하고, policy 수준을 이야기하는지 application 전체를 이야기하는지에 따라 달라질 수 있다는 생각이 들고 그래서 현재 local policy를 기준으로 한다면 map보다는 memory를 쓰냐 안쓰냐의 여부가 더 정확한것 같습니다.
그럼 이런 방식으로 내비게이션 연구들을 구분한다고 했을 때, 결국 우리가 풀고자 하는 문제는 무엇이고, 어떤 방식으로 풀면 좋을 것인가?라는 질문이 남는 것 같습니다.
조금 단순하게 생각해보면 결국 내비게이션의 핵심은 어떤 형태로든 목적지가 주어지고, 로봇이 그 목적지까지 안전하게 도달하는 것이라고 생각합니다. 다만 실제 연구에서는 이 단순한 문장 안에 굉장히 많은 문제가 들어갈 수 있는 것 같습니다.
우선 목적지가 어떤 형태로 주어지는지에 따라 문제가 달라집니다. 좌표로 목적지가 주어진다면 로봇은 goal 자체를 의미론적으로 이해할 필요는 없지만, 이미지나 물체, 자연어 명령으로 목적지가 주어진다면 먼저 어디로 가야 하는가 자체를 이해하는 과정이 필요해집니다.
그리고 목적지까지 안전하게 도달하기 위해 어떤 환경 정보를 사용하는가에 따라서도 문제가 달라질 수 있습니다. RGB camera만 사용하는지, Depth나 LiDAR를 함께 사용하는지, 열화상 카메라처럼 다른 모달리티를 사용하는지에 따라 로봇이 인식할 수 있는 환경 정보나 환경 강인성이 달라질 수 있습니다.
결국 제가 상반기에 느꼈던 건 내비게이션에서 연구할 수 있는 문제라는 것이 반드시 새로운 planning 알고리즘 하나를 만드는 것만을 의미하는 것은 아닌 것 같습니다.
목적지를 더 잘 이해하는 방법, 주변 환경을 더 잘 인식하는 방법, 어려운 환경에서도 안정적으로 observation을 해석할 수 있도록 센서를 바꾸거나 추가하는 방법, 과거 정보를 효과적으로 기억하는 방법, 혹은 전체 아키텍쳐를 E2E나 modular 방식으로 다르게 구성하는 것 모두 결국 주어진 goal까지 더 잘 도달하게 만드는 것이라는 냅기게이션의 문제 범위 안에 들어갈 수 있다고 생각합니다.
그런 관점에서 보면 중요한 것은 어떤 기술을 사용하는가보다도, 현재 navigation이 실패하는 이유가 무엇이고 그 실패를 해결하기 위해 어떤 정보나 구조가 필요한가를 먼저 정의하는 것인 것 같습니다.
이번 상반기 모빌리티 팀 내부적으로 이야기를 하면서 잡은 큰 방향성은 크게 두 축인 것 같습니다.
하나는 주어진 goal과 현재 observation을 의미론적으로 이해하고 판단하면서 이동해야 하는 문제입니다. 대표적으로 최근 연구가 많이 되고 있는 VLN이나 ObjectGoal 내비게이션과 같은 문제들이 여기에 들어갈 수 있을 것 같습니다. 단순히 목적지의 좌표를 따라가는 것이 아니라 현재 보고 있는 환경과 goal이 무엇을 의미하는지를 이해하면서 어디로 움직여야 할지를 판단해야 하는 문제입니다.
반대로 제가 진행했던 PointGoal Navigation의 경우에는 goal 자체에 대한 의미론적인 이해는 거의 필요하지 않습니다. 목적지의 좌표는 이미 주어져 있기 때문입니다. 대신 이 경우에는 환경 자체가 어렵고 복잡한 상황에서 현재 observation을 기반으로 얼마나 강건하고 사람처럼 움직일 수 있는가가 더 중요한 문제가 될 수 있다고 생각합니다.
어떻게 보면 이 두 축이 자연스럽게 indoor와 outdoor 문제로 연결되는 부분도 있는 것 같습니다. Indoor에서는 물체나 장소, 자연어 instruction과 같이 의미론적인 goal을 이해해야 하는 문제가 많이 연구되고 있고, 반대로 outdoor 모바일 로봇에서는 목적지 자체는 GPS goal 로 명확하게 주어져 있지만 사람, 차량, 보도, 조명이나 날씨 변화와 같이 복잡한 환경에서 안정적이게 더 나아가서는 사람처럼 자연스럽게 움직일 수 있는지가 중요한 경우가 많기 때문입니다.
물론 indoor와 outdoor를 이렇게 완전히 나눌 수 있는 것은 아니지만, 적어도 현재 저희 팀에서 생각하고 있는 연구 방향을 크게 바라보면 이런 두 축으로 정리할 수 있을 것 같습니다. 그 중에 저희 팀은 팀의 장기 목표로 후자인 환경 자체가 어렵고 복잡한 상황에서 강건하고 사람처럼 자연스럽게 움직일 수 있게 하기 위한 문제를 해결하고자 할 것 같습니다. 이제 해당 문제를 어떤 방식으로 풀지는 상반기 진행한 내비게이션 연구를 기반으로 차차 고민해나가야 할 것 같습니다.
뭔가 글을 진짜 생각의 흐름대로 두서 없이 작성한거 같아서 죄송하단 말씀 먼저 드립니다.
읽어주셔서 감사합니다.
