<2023년도 상반기를 정리한다>

안녕하세요. 로보틱스 A팀 김도경입니다.

벌써 URP를 통해 연구실에 처음 들어온지 10개월, 석사과정을 시작한지 한 학기가 지났네요. 시간이 정말 빠르게 지나간 것 같습니다. 연구실에서 생활하면서 즐겁기도 했고 힘들기도 했고 열정이 넘치기도 했고 의지가 꺾이기도 했고 다양한 감정들을 경험했던 것 같습니다. 이제 2023년의 상반기를 마무리하는 시점에서 이번 글을 통해 지난 겨울 계획했던 목표, 그리고 그 동안의 시간들을 되돌아보고 앞으로 계획에 대해 고민해보고자 합니다. 그럼 시작해보겠습니다!

상반기를 되돌아보며

우선 지난 겨울 방학 때 계획했던 목표들에 대해 점검해보도록 하겠습니다. 

먼저 논문 기반 코드 구현을 할 수 있는 능력을 키워보자는 목표를 설정했었습니다. 사실 이 목표는 단기간 완성되기는 어렵다고 생각이 되며 시간과 노력이 쌓이고 쌓여 궁극적인 실력의 목표로 삼았던 것입니다. 논문을 기반으로 코드를 구현한다는 것에 대해 우선적으로 코드에 대한 이해도가 높아야 빠르게 코드를 이해하고 구현할 수 있다고 판단했고 논문을 볼 때 코드를 함께 확인하면서 전체 pipeline은 어떤 흐름으로 흘러가는지, 구성은 어떻게 되어있는지, 또 여러가지 fusion할 때는 어떤 방식으로 fusion하는지 등에 대해 확인했습니다. 아직 논문만을 보고 전체적인 코드를 구현하는데는 어려움이 있지만, 이제 코드를 훑어보고 원복하는데는 빠르게 해낼 수 있겠다는 자신감이 생겼고 모델의 어떤 부분을 어떻게 수정하면 좋을지에 대한 막막함도 많이 줄어들었습니다. 

그리고 논문의 구조와 서술 방식을 이해하자는 목표를 세웠었는데 x-review를 통해 논문을 자주 접하다보니 금방 이해할 수 있었습니다. 특히 특정 도메인에 대한 지식을 쌓다보니 논문을 봤을 때 무슨 이야기를 하고 싶은 것인지 더 빠르게 이해할 수 있었던 것 같습니다. 지금까지 작성한 x-review를 보니 총 21편을 작성했네요. 최대한 매주 작성하려고 노력했는데 이제와서 보면 그래도 많은 논문들을 리뷰했던 것 같아 뿌듯합니다. 여러 논문들을 읽으면서 저자들마다 서술하는 방식이 다양했는데, 제가 판단한 기준으로는 두괄식으로 표현하는 방식이 가장 읽기가 좋았고 중간 중간 저자의 생각을 함께 표현해주었을 때 주장을 납득하는데 도움이 되었던 것 같습니다. 저도 앞으로 논문을 쓰게 될텐데 그때 제가 느낀 앞의 두 가지 방식을 상기하며 작성해야겠습니다. 

또 여러 분야의 논문을 접하며 시야를 넓혀보자고 했었는데 사실 관심 분야에 더 많은 집중을 하게되었던 것이 사실입니다. 생각해보면 전에는 다른 분야의 논문을 보며 그대로 이해하려고만 노력했기 때문에 더 어렵고 관심을 갖고 보기 어려웠는데, 최근 들어 내가 하고 있는 task에 어떻게 적용하면 좋을지에 주안점을 맞춰서 보다보니 궁금한 내용들도 생기고 더 관심있게 볼 수 있었던 것 같습니다. 그리고 다른 논문들을 볼 때 좀 더 비판적인 시각으로 볼 수 있게 노력해야할 것 같습니다.

상반기에 수행했던 것들에 대해 아래와 같이 정리해보았습니다.

• 제안서 작업

이번 상반기에는 오랜 기간동안 제안서 작업을 해왔습니다. 교수님께서 비슷한 연구 주제들로 잘 묶어주셔서 매번 완전히 다른 내용을 작성해야하지는 않았지만 제안서는 쓸 때마다 한 문장 쓰기가 힘들다는 것을 느낍니다… 전체적인 큰 그림을 그리면서 한 줄에도 많은 의미를 담아 전달할 수 있도록 표현하는 것이 정말 어려운 것 같습니다. 근택님과 예비군에서 이야기 했던 것 중에 제안서 작업을 하는 것이 나무가 아닌 숲을 볼 수 있는 능력을 키우는 과정이 될 수 있다며, 나중에 업계에서 일하면서 분명 도움이 될 것이라 생각합니다. 상반기 제안서 작업이 잘 마무리되어 다행이라 생각하고 제안서 작업하신 연구원분들 모두 고생하셨습니다.

• 딥러닝 시스템 조교

이번에 딥러닝 시스템 수업에서 처음 조교를 맡게 되었습니다. 처음엔 긴장도 되었지만 시간이 지나면서 수강생들과 내적 친밀감이 생기다보니 재밌게 조교활동을 할 수 있었던 것 같습니다. 학기 중에 조교를 하는 것이 생각보다 많은 시간과 노력을 필요로 했던 것 같습니다. 조교활동을 하면서 수강생에게 도움을 주어야하는 입장으로써 책임감을 가지고 준비했었습니다. 초반에 keras코드를 pytorch로 포팅하고 해설 영상을 촬영하고 임베디드 보드에서 ros 코드 실습을 하면서 힘들기도 했지만 수업 때 질문이 들어왔을 때 잘 대처할 수 있어서 결과적으로 뿌듯했습니다. 그리고 위기 상황에서도 어떻게 대처할 수 있는지를 배울 수 있었습니다. 이번 학기 딥러닝 시스템 수업 조교로 활동하며 고생하신 총괄조교 승현님과 태주님, 정민님 모두 고생하셨고 감사합니다.

• 3d follow up(+환경설정)

관심 있는 분야였던 3d object detection이 수행해야하는 과제와 엮이면서 follow up하게 되었습니다. 2d와는 다른 점이 많이 있었고 더 어렵게 느껴졌습니다. 3d object detection은 outdoor인지 indoor인지 환경에 따라 다르게 다루고 있습니다. 이제 indoor환경에 대해서는 최신 방법론들까지 확인하게 되었고 anchor free기반의 3d object detection 모델 성능 고도화를 앞으로 고민해나가려고 합니다. 초반에 3d object detection library인 mmdetection3d의 환경설정이 까다로워 애를 먹었었습니다. 최근에도 코드를 돌릴 때 버전에 따른 환경설정 문제가 발생하곤해서 계획보다 일정이 미뤄지곤 했는데 환경설정을 하는 것도 연구를 하는데 있어 필요한 역량이기 때문에 의미있는 경험을 했다고 생각합니다.

• 학교 수업

석사 1학기 수업으로 3과목을 수강했습니다. 대학원 수업에 대해 크게 걱정하지 말라고 주변 선배분들이 말씀하셨는데 직접 수강해보니 학부때보다는 확실히 수업에 부담이 많이 줄었습니다. 딥러닝 개론 및 응용 수업은 중간중간 퀴즈시험이 있다고 해서 부담을 느끼긴 했지만 막상 시험을 보니 rcv연구실 연구원분들이면 크게 걱정하지 않아도 될 정도의 시험이었습니다. 무인이동체 PBL수업에서는 여러 교수님들께서 돌아가면서 진행하시면서 다양한 분야를 접해볼 수 있었습니다. 마지막의 2d LiDAR를 탑재한 주행로봇을 직접 시운전해서 LiDAR point를 수집하고 matlab의 tool을 통해 slam map을 생성하는 task를 했었는데 상당히 재미있게 수업에 참여할 수 있었습니다. 앞으로 남은 수업도 좋은 결과 받을 수 있도록 열심히 해야겠습니다.

후반기의 계획

올해 남은 후반기에 대한 계획은 아래와 같습니다.

• urp 준비(ssd, calibration)

urp를 한지 시간이 좀 지나서 SSD도 다시 보고 이번 2023하계urp멘토를 하기 위한 준비를 틈틈히 할 예정입니다. 이번에 과제로인해 데이터셋을 취득해야하는데 이번 기회에 calibration에 대해 공부를 잘 해보고 싶어서 석준님과 calibration주차 조교를 하고싶다고 했고 사전에 세미나 준비와 여러 질문들에 대처할 준비를 잘해서 문제없이 calibration주차 마무리하고 멘티들이 잘 이해하고 넘어갈 수 있도록 노력하겠습니다.

• 가동원전 과제 수행

올해 가동원전 과제에서 데이터셋을 취득하고 3차원 물체 검출 모델 고도화를 수행하여야합니다. 그래서 예정으로는 rgbd와 thermal camera로 구성된 센서팩으로 이상상황 toy 데이터셋을 취득할 예정입니다. 데이터셋을 취득해 본 경험이 없기 때문에 교수님과 태주님이 조언에 따라 철저하게 데이터셋 취득 구상을 설계하여 마무리 하는 것이 목표입니다. 준비해야할 것들이 많이 있는데 하나씩 정리하면서 차근차근 해결해나가보도록 하겠습니다.

• 문제 해결을 위한 분석 및 실험 능력

위에 상반기 회고에도 언급했듯이 논문을 볼 때 비판적으로 보고 내가 해결하고자하는 문제에 어떻게 적용해야할지 고민하는 흔적이 부족했던 것 같아 아쉬움이 남습니다. 이로 인해 고도화를 하기 위해 아이디어를 고민할 때 더 막막하고 어려움이 있다고 생각했습니다. 올해는 논문을 볼 때 해결하고자 하는 문제와 적용 가능 방안에 대해 포커스를 맞출 수 있도록 하겠습니다.

• 논문

우선 이상상황에서 rgbd, thermal 데이터셋을 취득하면 depth completion하는 방향으로 아이디어를 적용하여 논문을 작성해보고 싶습니다. 그리고 지금 3d object detection 성능 고도화를 계속 고민하고 있는데 rgb와 point cloud를 fusion하는 방법론에 대해 크게 두 modality를 fusion하는 방식과 각 modality의 표현력을 강화시키는 두 방향으로 고도화 전략을 생각하고 있습니다. 기존의 방법론들을 다시 잘 정리하여 실제 실험에 적용할만한 우선순위를 정하고 여름방학 내 여러 실험을 통해 좋은 결과를 보이면 올해 안에 꼭! 논문을 써보고 싶습니다. 올해가 마무리 되었을 때 1저자로 쓴 논문이 있었으면 좋겠습니다.

• 운동

원래 땀 흘리는 운동을 꾸준히 했었는데 요즘은 규칙적인 운동이 어려워 몸이 많이 망가졌다는 것을 느낍니다… 작년에 발목을 다친 이후로 물리치료를 제대로 안했더니 격하게 운동을 하기가 어려워 움츠러든 것도 있지만 보호대를 차고 운동하니 할 만한 것도 같습니다. 그나마 식후에 자리에 바로 앉지않고 걷기를 꾸준히 하고 있어서 그나마 속은 좀 괜찮아진 것 같네요. 주말에 풋살도 하고 평일에 퇴근 후에도 산책이나 런닝을 자주하면서 스트레스 해소도 하고 건강도 챙겨야겠다는 생각이 듭니다. 연구원 분들도 꾸준히 운동하면서 건강 유지하셨으면 좋겠습니다.

한 학기를 돌아보니 시간이 정말 빠르게 흐른 것 같고 의미있는 결과물이 없는 것 같아 아쉬움이 많이 남는 것 같습니다. 남은 2023년은 열심히 달려 의미있는 결과물을 도출하고 싶은 것이 제 목표인 것 같네요. 날씨가 많이 더워서 다들 지칠텐데 다들 건강 유의하면서 연구에 집중할 수 있으면 좋겠습니다:) 교수님과 RCV연구원들 모두 함께 할 수 있어 감사하고 앞으로도 잘 부탁드립니당ㅎㅎ