서문
안녕하세요. 올해를 돌아보면서 천천히 글로 써볼 생각입니다. 너무 빠르게 지나간 한해 같습니다. 올해 7월부터는 눈을 감았다 뜨면 한달 씩 지나가 있던 것 같습니다. 바쁘게 지나간 올해 하반기를 제가 느낀점 위주로 한번 정리해보겠습니다.
연구실을 들어오며
먼저 저는 올해 여름방학에 URP과정을 통해, 연구실에 처음 발을 들였습니다. URP에 참여하고자 마음 먹은 것에는 여러 이유가 있었습니다. 먼저 저는 대체될 수 없는 전문가가 되고 싶었습니다. 특정 분야를 정한 것도 아니였지만, 제가 어떤 분야의 대체 불가능한 전문가가 되고 싶은 마음이 컸습니다. 그렇기에 얕고 넓은 지식이 필요한 개발보다, 연구자의 길을 경험해보고 싶었습니다. 그리고 다음 이유는 컴퓨터 비전에 막연한 관심이 있었기 때문입니다. 이러한 복합적인 이유들로 저는 올해 여름방학을 URP과정으로 불태워보기로 결심했었습니다.
그렇게 7주간의 여름방학이 지나고, 저는 다시 한번 선택의 기로에 섰습니다. 연구실에 진학할지 말지에 대한 고민을 해야할 떄가 왔던 것입니다. 하지만, 사실 저는 마음이 이미 들어오기로 굳었었고 그때는 어떤 팀에 가는게 좋을까에 고민만 컸던 것 같습니다. 좌충우돌 그렇게 저는 연구실에 들어오게 되었습니다.
그때 교수님이 하신 말이 기억납니다. 지금의 마음을 일기로 적어놔서, 나중에 다시 읽어보면서 지금의 열정을 기억하라고 하셨었습니다. 그런데 사실 생각해보면 그때의 저는 열정이 넘치지 않았던 것 같습니다. 연구실에 들어오면, 어떻게든 잘 헤쳐나가겠지 라는 생각이 있었던 것 같습니다. 그래서 그런지 연구실에 들어왔지만, 하고 싶은건 없었습니다. 그저 지금 앞에 놓인 상황들을 잘 해결하고 이를 통해 실력이 길러지길 바랬었습니다. 물론 당연히 이 과정을 통해 많은 걸 배웠고, 성장했습니다. 그러나 불타는 열정이 있었던 것 같지는 않습니다.
그리고 이때쯤 정민님한테 여러 얘기를 들었었는데, 그중 인상 깊었던 것이 좋은 학회에 논문을 붙이는 것이 목표가 되어선 안된다는 것이었습니다. 이 얘기를 듣고 나서, 졸업할 때 쯤 무엇을 완성하길 바라는지 생각을 조금은 하게 되었습니다. 아직 지식이 많이 않아 시야가 넓지는 않지만, 그럼에도 이 넓은 모틸리티의 세계에서 어떤 점을 발전시킬 수 있을지 골똘히 머리를 굴렸었습니다. 그래서 그때 제가 생각했던 결론은 아직 이동체의 길찾기 능력은 사람에 훨씬 못 미친다는 생각이었습니다. 지금도 바로 수년전 여행 갔던 여행지를 떠올릴 수 있는 사람과 달리, 이동체의 알고리즘적 지도 저장은 너무 사람과 괴리감이 있다 생각하였고, 이를 사람처럼 생각할 수 있도록 발전시켜보고 싶었습니다. 물론 올해에는 생각 정도에서 끝났지만, 내년에는 조금 더 구체적인 계획으로 발전시켜 더 열정을 불태울 수 있는 한해가 되었으면 좋겠습니다.
연구실에서 했던 일과 하고 있는 일
얘기가 좀 샜는데, 올해 하반기에 해본 것을 한번 얘기해보겠습니다. 크게 3가지로 나눠볼 수 있겠습니다. 자율주행챌린지, depth estimation, RGB-T VPR입니다.
먼저 자율주행챌린지입니다. 이전에 적은 x-diary에도 써 있듯, 배운 것도 정말 많고 단점들도 돌아볼 수 있었던 챌린지였습니다. 관심 있으시면, 제가 어떤 과정을 거쳤는지 지난 x-diary를 읽어주시면 감사하겠습니다.
그리고는 depth estimation입니다. 문제상황은 MOGE2라는 무거운 foundation model로 뽑은 결과값이랑 굉장히 sparse한 lidar GT가 있을때, MOGE2의 결과를 어떻게하면 pseudo GT로 쓸 수 있을까에 대한 연구였습니다. 저에게는 상당히 머리 아팠던 일이었습니다. 왜냐하면 depth estimation은 lidar을 다루기에, 3d를 이리저리 다루었어야 했습니다. 그렇기에 URP 이후 잊어버린 카메라 좌표계도 다시 공부했어야 했고, 또 새로운 데이터셋으로 학습을 시킨다는 것 자체가 어려웠습니다. 기존 baseline코드들은 기존 데이터셋에 맞춰 augmentation 되어 있고, 여러 세팅들이 맞춰져 있어서, 이걸 어떻게 바꿔야하지??하는 고민들이 많았었습니다.
마지막은 지금하고 있는 RGB-T VPR입니다. Thermal된 이미지 query가 있을때, 어떻게하면 RGB로 이루어진 database와 VPR(visual place recognition)을 잘 할 수 있을까에 대한 연구입니다. 조금 더 자세히 적어보면, 저는 RGB와 Thermal에서의 latent space의 alignment를 맞추는 방법을 연구중에 있습니다. 이를 위해 여러 아이디어를 짜내야했는데, 저는 spatial하게 patch단위로 loss도 구해보고, attention map을 써보는 굉장히 자잘자잘한 방법을 시도하여 성능을 올렸습니다. 그러나 최근에 정민님이 MAE(masked auto encoder)기반의 CROCO를 이용하여, RGB와 Thermal의 관계를 학습해보는게 어떠냐는 아이디어를 주셨고, 이를 통해 실험을 해보기로 하였습니다. 들으면 들을 수록 너무 좋은 아이디어로 느끼면서, 사실 동시에 지식의 격차를 정말 크게 느꼈습니다. 정민님이 쏟아내는 아이디어의 핵심을 바로 이해할 수 없고, 개념을 이해하기에 급급한 상태였습니다. MAE, CROCO 등등 다 처음 들어보는 논문과 개념이였고, 그렇기에 저 혼자였다면 절대 생각해낼 수 없었겠다 라는 생각이 들었습니다. 이 과정에서 저는 많은 지식을 가지고 있어야 생각도 더 넓어지고 아이디어도 많아지겠구나 라는 생각도 크게 들었습니다. 아무튼 현재 저는 CROCO 기반의 latent space alignment를 진행중입니다.
내년의 목표와 맺음말
올해의 일들을 너무 두서 없이 쓴 것 같아. 이제 내년에 대한 목표로 넘어가보겠습니다.
올해를 겪으면서 느낀 점은 강점은 큰 노력없이 유지되지만, 단점은 뼈를 깍는 노력없이는 고쳐지지 않는다는 것이였습니다.
연구실에 속해서 여러가지 일을 하면서, 여러가지 제 단점들을 마주하게 될 때가 많았습니다. 단순한 코딩 습관에서부터 생활 습관까지 여러가지가 계속 스스로의 눈에 계속 걸렸습니다. 그래서 내년에는 이러한 단점들을 깍아내어, 고통스럽지만 성장할 수 있는 한해가 되는것이 목표입니다. 그리고 또 다른 큰 목표는 위에 말했듯이, 근시안적인 결과가 아니라 큰 갈래를 정해서 몰두할 수 있는 한해가 되는 것입니다. 지금 쓰는 글이 내년의 저에게 이정표가 되었으면 좋겠습니다. 감사합니다.
