안녕하세요 김정우입니다. 어느샌가 벌써 올해의 절반 이상이 지나있네요.
항상 한주한주는 느리게 지나가는거 같은데 어느샌가 한달, 두달씩 훌쩍 지나가 있는 느낌을 받습니다.
작년은 9월에 RCV에 처음들어오고 나서 엔진에 시동을 거는 느낌이였고, 올해는 엔진을 키고 달리고 있는 것 같습니다. 그리고 정말 시간도 같이 달리고 있는 것 같습니다. 왜 시간이 빨리 지나가는 것처럼 느껴질까 생각을 해봤더니 한주한주가 비슷해서 그런것 같았습니다. 그래서 올해 중순부터는 운동도 다니고 이것저것 다양한 걸 해보려고 하고 있습니다. 문제는 그럴려니 체력이 부족하더라고요. 그래서 잘먹고 운동도 꾸준히 해서, 전반적인 체력을 기르는게 연구 외적인 하반기 가장 큰 목표 같습니다.
올해초의 계획들
MS-VPR 논문
올해 초부터 되짚어보면, 상반기 목표는 하나였습니다. 대략 4월 쯤까지 작년 12월에 시작한 RGB-T VPR을 작성하는 것이였습니다. 그리고 그 과정은 쉽지 않았습니다. VPR의 세상은 생각보다 깊고 심오했으며, 그 세계를 이해하다보니 어느새 3-4월이였습니다. 그리고 깔끔한 벤치마크에서 연구한다는게 얼마나 감사한 일인지 많이 느꼈습니다. 학습/평가용으로 우리가 구축한 데이터셋은 일관된 경향을 처음에는 잘 보이지 않았고, 학습이 너무 쉽거나하는 등 하나하나 치명적인 결함들을 시간을 많이 쏟고나서야 알게되는 과정이 있었습니다.
그렇게 대략 12월 중순부터 6월까지 실험만 돌린것 같습니다. 처음에는 정민님이 아이디어를 주시고 제가 실험을 돌리는 식이였지만, 결국 3-4월 쯤부터 tip 논문 제출이 끝나고 정민님도 같이 실험을 돌리게 되었습니다. 그렇게 몇달 동안 기억도 나지 않을 정도로 다양한 실험을 돌리다가 정민님이 multi spectral 토큰을 사용하는 방식으로 좋은 성능을 달성하셨고, 그걸 기반으로 논문을 최종적으로 작성하였습니다.
저는 이전에 2장 분량의 ICROS 국문 논문(이것도 VPR 연구하던것중 성능 괜찮았던걸 하나 잡아서 작성하였습니다)을 작성해본 경험 밖에 없어서 이번 RA-L에 8장짜지 국외 논문을 작성하는 것은 처음이였습니다. 사실 국문 논문을 작성해본 경험은 분량도 짧기에, 우리는 이러한 방식으로 실험했고, 결과가 좋아~ 그 이상을 표현하기 어렵다고 생각이 들었습니다. 실험 역시 다양한 SOTA와 ablation을 보여주기보다 기본적인 것들과 baseline과 비교를 하였습니다. 그러나 RA-L 논문은 그것보다 훨씬 철저하고 읽는 사람을 설득시킬 수 있는 글을 작성하여야합니다. 이를 위해, 결과를 분석할 수 있는 추가적인 분석을 집어넣고 결과가 우리의 강점을 보여줄 수 있도록 드러내고, 때로는 약점을 살포시 덜 강조하는 그러한 과정을 정민님한테 배울 수 있는 기회였습니다.
처음에 뽑은 실험 결과에 비교방법론 실험, 분석 실험, ablation, 속도 실험 등등 여러가지의 추가적인 실험들과 글을 작성하고 나니 어느새 그럴듯한 8장짜리 논문이 되었습니다. 그렇게 저번달에 거의 반년이 넘은 여정을 마무리하며 RA-L에 해당 논문을 제출하였습니다. 사실 제 연차나 연구실력에 비해 과분한 저널에 제출했다고 생각합니다. 이는 정민님이 실험과 라이팅 거의 대부분을 진행해주셨기 때문이라고 생각합니다. 감사함을 전합니다. 그리고 이번 논문 작업을 통해 배우면서, 다음에는 더 높은 학회나 저널에 도전하고 싶은 근거 없는 자신감이 조금은 생긴 것 같습니다. 이걸 근거 있는 자신감으로 바꾸기 위해서는 하반기 동안 더 노력해야 할 것 같습니다.
해당 논문 작업을 26-1 창의학기제와 병행했는데, 제출한 초안을 좋게 봐주셨는지 창의학기제에서 수상을 하는 쾌거까지 이룰 수 있었습니다. 생각보다 행사가 규모가 있었고, 이러한 공적인 상황에서 발표를 하게 되었습니다. 매주 하는 연구실 논문 세미나보다 조금 더 쉽게 풀어서 발표하는 느낌이지만, 큰 스크린과 많은 청중들 그리고 약간의 부담감이 있는 상황에서 발표할 수 있는 기회는 쉽게 얻지 못하는 좋은 경험이였습니다. 막 돌아다니고 몸을 가만히 못두면서 발표를 하는 스타일인데 고정된 마이크로 발표를 하다보니 중간중간 목소리의 크기가 일정하지 못했던게 아쉬움이 남습니다. 아무튼 최종적으로 우수상을 수상하였습니다.
PR-L 논문 리뷰
이렇게 논문은 써봤고, 이제는 제대로 읽어볼 차례입니다. 이번달에 감사하게도 PR-L 논문 리뷰를 할 수 있는 기회가 주어졌습니다. 주제는 보행자 검출이였고, 이를 위해 layout기반으로 데이터를 생성하는 방법이였습니다. 처음 한번 읽었을 때는, 논문의 전반적인 틀만 머리속에 들어왔고” 나쁘지 않은데?”라는 생각이였습니다. 그런데 다시 읽어보고, 인용한 논문도 찾아보고 할 수록 미흡하고 저자들이 얘기하지 않은 내용들이 속속 보이기 시작했습니다. 그래서 중간부터는 약간 분노하면서 논문을 읽었던거 같습니다. 논문의 아이디어가 나쁘냐? 하면 그렇지는 않았습니다. 아이디어는 괜찮고, 파이프라인도 실용적이고 성능도 크지는 않지만 전반적으로 상승시켰습니다. 그런데 논리적으로 연결되지 않고, 실험을 엄밀하게 보이지 않았고, 실험 리포팅을 편하게 하기 위한(이전 SOTA 논문의 표를 그대로 가져오기 위한) 비일관적 세팅들이 좋게 보이지 않았습니다. 리뷰어가 이쪽을 잘모르겠지? 하고 대충 실험을 보인거 같아 분노가 올라왔던 것 같습니다.
그래서 리뷰를 하는 입장이 되어보니까. 내가 쓰는 실험과 글들이 어떻게 보일지 다시 돌아보게 되는 계기가 되었습니다. 결국 어느 누가 보더라도 설득될 수 있는 실험과 글을 보이는게 중요하다고 생각이 들었습니다. 과도해 보여서 논문에 실리지는 않더라도 준비해놔서 리뷰탈에 쓸 수 있도록 준비할 필요성을 느꼈습니다.
현재 진행중
Earth Rover Challenge 2026
이제는 ERC 2026에 집중하고 있습니다. 높이 30cm가 안되는 작은 로봇으로 실외 및 실내에서 목표까지 주행하는 챌린지입니다. 이 챌린지의 큰 제약들은 다음과 같습니다.
- 자체가 너무 낮다. 카메라 높이는 지면에서 15cm 정도 밖에 안됩니다.
- RGB 이미지 및 기본적인 센서(IMU, odometry, gps) 밖에 없다.
- 센서의 퀄리티가 조악하다.
로 정리해볼 수 있습니다. 사실 1번 2번은 다 알고 챌린지를 시작한거라 별 생각이 없이 당연히 풀어야하는 문제로 인식했습니다. 그러나 3번이 사실 큰 문제였습니다. 비전을 하던 저는 센서는 당연히 잘되는거지~라고 생각하고 있었는데, 막상 실제로 로봇을 돌리면 안되는 이유 중 8할은 센서 문제였습니다. 가령 지금 30도 방향을 보고 있는데 150도를 보고 있다고 인식한다던지, 아니면 지금 위치에서 한 10m 떨어져있다고 gps가 인식한다던지. 물론 이건 센서 calibration으로 해결될거 같지만, 생각보다 퀄리티가 너무 낮아서 이걸로 안될 것 같은게 지금 걱정이긴합니다.
센서에 대한 얘기는 여기까지하고 챌린지의 목표인 장거리 주행에 대한 이야기입니다. 집중하고 있는 야외 상황에 대해서만 얘기해보겠습니다. 대략 1km를 주행해야하는데 6-8개의 waypoint를 찍고 돌아와야하는 task입니다. 아래 사진과 같은 전세계 다양한 곳에서 1번부터 마지막 번호까지 순서대로 주행해야 점수를 얻을 수 있습니다.
결국 목표는 gps goal만 주어집니다. 이때 어떻게 하면 목표까지 잘 주행할까~를 고민해야합니다. 먼저 저희는 이전 연도 baseline 논문인 GeNIE부터 적용하고자 했습니다. 이 논문은 먼저 SAM2 기반의 SAM-TP라는 인지 모듈을 학습시킵니다. SAM-TP는 현재 위치에서 도달 가능한 영역을 segment하는 모델입니다. 결국 사람이 annotation해준 “저긴 갈 수 있겠는데?”를 학습하여 보여줍니다. 그리고 영역을 바탕으로 어디로 갈 수 있을지 수학적으로 planning하는 모델입니다.
GeNIE의 장점은 강건성입니다. 이동도 연결 딜레이에 강인한 방식을 택했고, planning도 수학적인 방식으로 진행하기에 인지가 잘못되지 않는 한 위험한 경로를 고르지 않습니다. 다만 가장 큰 문제는 시야가 전방 3m정도 밖에 되지 않습니다. 그렇기에 로봇은 전방 3m와 gps의 대략적인 위치만 가지고 주행을 해야합니다. 사람한테 땅만 볼수 있게하고 대략적인 방향만 알려준다면 잘 찾아갈까요? 저는 사실 사람도 어려울거라고 생각합니다. 결국 장거리적 정보가 필요합니다. 일반적으로 이 문제는 위성사진을 제공하거나, mapping을 하거나, 아니면 이미지를 VLM한테 먹여 장거리적 정보를 끌어내어 planning을 하고자합니다. 그래서 이 문제를 잘 푸는 것이 챌린지의 핵심이 될 것 같습니다.
앞으로의 목표
navigation이라는 분야는 미성숙하다고 생각합니다. 흔히 배달로봇이라고 돌아다는 로봇들을 유튜브와 같은 걸로 보면, 아직 아쉬운 점이 많습니다. 사람은 보행할 때, 우측통행을 하거나, 신호등 앞에서 멈춰서 신호를 기다리거나, 차로로 지나간다면 최대한 끝쪽으로 붙어서 가곤 합니다. 이러한 것은 단순히 지금 충돌하지 않기 위한 게 아니라 사회적 규범에 의한 경로 선택입니다. 이처럼 social한 관점을 E2E가 아닌 중간단계로 풀어서, 안전한 planning과 결합할 수 있는 방안으로 하반기 및 내년에 연구하고자 합니다.
맺음말
26년 상반기 동안 정민님 석준님 우현님이랑 같이하면서 많이 배우면서 성장했다고 느꼈습니다. 이제 하반기부터는 혼자서도 한 몫을 할 수 있는 연구자로 성장하는 걸 목표로 하고자 합니다. 물론 이를 위해서는 시야도 넓어져야하고, 더 꼼꼼해져야하고, 더 비판적인 시각을 가져야한다고 생각합니다. 그리고 모빌리티 팀에 2명이 더 들어오게 됐는데 앞으로는 배우는 역할에서 알려주는 역할도 맡게 되었습니다. 잘 가르쳐줄 수 있을까?라는 마음이 드는 한편, 제가 잘 배운만큼 잘 가르쳐야한다는 책임감도 듭니다. 또한 앞으로 같이 오래 연구를 같이할 동료의 마음에서도 같이 좋은 연구자가 되었으면 하고 그걸 위해 노력해야겠습니다.
26년 하반기는 모빌리티 팀과 저의 입장에서 더욱 변화무쌍하고 바쁠 것 같습니다. 그리고 또 계획한 대로 흘러가지 않을 가능성도 충분히 있다고 봅니다. 그러나 어떤 상황에서도 방향을 잘 잡고 꾸준히만 한다면, 성장하는 것은 분명한 것 같습니다. 상반기와 마찬가지로 하반기도 알차게 보내보겠습니다. 긴 글 읽어주셔서 감사합니다.
