안녕하세요. 이번 글은 작년 한 해 제 연구실 생활을 되돌아보고, 돌아오는 2024년에는 어떠한 연구 계획을 가지고 있는지 담아보도록 하겠습니다. 물론 저 스스로 해마다 성장하고 있는지, 마음가짐은 어떻게 단단해지고 있는지 또한 함께 엮어 전달해보겠습니다.
석사 입학을 목전에 두고 있는 현 시점에서 과거를 되돌아보니, 벌써 RCV에서 학부연구생으로 지낸지 2년이라는 긴 시간이 흘렀습니다. 지난 2년은 인생에서 가장 빠르게 흘러간 시간이었던 동시에 개인적으로 다양한 방면에서 제일 많은 성장을 이룩할 수 있었던 시간이었습니다.
1. 2023년 회고
연구실에 들어온 이후 반기마다 회고록을 작성하는데, 매 번 저의 이전 회고를 다시 한 번 살펴보며 글을 시작하는 것 같습니다. 마찬가지로 2022년 말에 작성하였던 2023년도의 다짐과, 2023년 상반기를 마치며 정리했던 글을 먼저 읽어보았습니다.
이전에 작성한 글들을 정리하자면, 연구 관점에서 2023년 한 해 저의 목표는 크게 두 가지 였습니다.
- 주저자로서 논문 작성
- 세부 연구 주제 확정
결론부터 이야기하자면 두 목표 모두 완전한 달성에 실패하였습니다. 하지만, 이제는 두 목표를 달성하기 위한 직전 단계까지 올라왔다고 생각합니다.
이전 회고록에서도 작성했듯, 성장하고 있는 저를 입증하기 위한 가시적 성과를 얻는 것이 중요하다고 생각합니다. 그러한 맥락에서 작년에 제가 참여한 논문 작업으로는, 2023년도 초중반 VVS(ICCV, AAAI)와 하반기 PECR(IEEE Access)이 있습니다. 위와 같은 과정 속 저희 연구실의 선배 연구원분들과 수많은 이야기를 나누며 제 현 위치를 다시 한 번 생각해보았습니다. 일반적으로 논문 작업에 참여하는 연구원들을 아래 세 가지 단계로 나눠볼 수 있을 것 같습니다.
첫 번째 단계는 성장하는 관점에서 선배 연구원들을 따라 일부 실험을 맡거나, Table, Figure 작업, citation 정리 등을 수행하며 저자로서 참여하되, 논문 작업이란 어떻게 구성되는지 알아가는 단계라고 생각합니다. 이를 마쳤다면 두 번째 단계는 논문 작업의 전반적 파이프라인을 꿰고있기에 방법론을 제안하고, 메인 실험을 도맡아 하거나 writing에도 관여하며 주저자와 계속해서 아이디어를 교류하는 단계라고 생각합니다. 마지막으로 세 번째 단계는 VVS에서 조원 연구원이 보여주었듯 혼자 논문을 쓸 수 있는 단계라고 생각합니다. 모든 방법론과 실험을 주도적으로 설계할 줄 알고, 이에 대한 논리적 글을 작성할 수 있으며, 동시에 시간을 효율적으로 고려하여 팀원들에게 배분할 일까지 조율할 줄 아는 능력이 갖춰진 단계라고 생각합니다.
저는 꽤 오랜 시간을 투자했던 VVS 작업을 통해 첫 번째 단계를 잘 마쳤다고 생각하며, 2023년도 말 약 2~3달 간 진행하였던 PECR 작업을 통해 두 번째 단계에도 도달하였다고 생각합니다. 제가 이전부터 하고싶었던 task인 Video Temporal Action Localization과 관련하여 직접 기존 연구의 문제를 분석하고 최적의 예측을 만들어내기 위해 부족한 점은 무엇인지, 이를 개선하려면 무엇이 필요한지와 요즘 연구 트렌드는 어떠한지를 파악해가며 방법론들을 구축해나아갔습니다. 제가 구상한 방법론 실험이 대부분 실패하며 거의 2달 가량 소모되었지만, 이후 임근택 연구원과 계속해서 discussion하며 제가 놓치고 있던 논리적 오류를 보완할 수 있었고 마침내 논리적으로나 성능면에서 뒤쳐지지 않는 방법론을 만들어낼 수 있었습니다.
PECR 작업 간 문제 분석을 통해 기본적인 방법론을 구상하였고, 방법론의 메인 실험을 도맡아 진행하였으며 여러 부분의 writing에도 관여하였습니다. 또한 그림도 그려보았고 아까 언급한 첫 단계에서 배웠던 기본적인 table 작업 및 잡일들도 도맡아 하였습니다. PECR 작업 이전의 제가 혼자 모든 단계를 구상하여 논문 작업을 수행할 수 있었냐에 대한 솔직한 답변으로는, 최소 주어진 시간 안에는 불가능했을 것 같습니다. 하지만 이번 경험이 다음 단계로 넘어가기 위해 필연적으로, 또 순차적으로 겪었어야만 하는 단계로 인지하였고, 이를 토대로 다음에는 이전부터 이야기하던 진짜 ‘독립적인 연구자’가 될 수 있겠다는 생각이 들었습니다.
2. 2024년 연구 계획
앞서 이야기한 세 가지 단계 중 저는 첫 번째, 두 번째 단계를 겪어보았고, 이제는 저 혼자서도 논문을 작성해보는 경험만을 남겨두고 있다고 생각합니다. 이에 따라 우선 저의 계획은 1월 중순 ~ 1월 말까지 다음으로 연구할 주제를 찾으려고 합니다. 연구 주제, 즉 task를 정하기 위해 다양한 서베이를 진행하고 베이스라인을 잡을 예정이며, 지금 생각하고 있는 task는 text-video 관련 retrieval, temporal grounding, moment localization 등이 있습니다. 저의 2023년도 두 번째 목표인 세부 연구 주제 확정하기와 관련해서는, 우선 지금 생각했을 땐 좀 더 구체적인 서베이 이후 위 3가지 task 중 하나로 좁혀질 것으로 생각됩니다.
기본적으로 multi-modal 분야(video-text)에 관심을 갖게 된 이유는, 비디오 이해 분야의 최신 연구 트렌드를 살펴보았을 때 2023년 이후부터는 오롯이 video만을 활용하는 task보다는 text 정보를 함께 사용하는 multi-modal 연구가 중심이 된 것이 사실이며, 추후 취업을 고려하였을 때에도 text 정보를 다룰 줄 아는 것이 큰 장점이 될 것이라 생각했기 때문입니다. 이번 PECR 논문 또한 CLIP의 Vision-Language multi-modal knowledge를 WTAL에 적용하는 것이 기본 아이디어였기 때문에, 코드 레벨로도 이를 다루는 것에 꽤 익숙해져있는 상태입니다. 물론 앞서 언급한 모든 task가 CLIP을 활용하는 것은 아니기에 우선 학계에서 text를 어떻게 다루는지에 대한 서베이가 선행되어야 할 것입니다.
결과적으로 2024년에는, 앞서 말씀드린 연구 주제를 바탕으로 주저자로서 SCI급 논문 두 편을 작성하는 것이 목표입니다. 중간중간 수업 조교나 제안서 작업 등이 있기도 하고, 이번 PECR 논문 작업이 계속해서 지연되는 것을 보며 물리적으로 쉽지 않을 것이라는 것은 알고 있지만, 우선 목표를 위와 같이 잡고 열심히 해 볼 생각입니다. 아직 혼자서 논문 작업 전반을 조율할 능력은 없다고 생각하지만, 남은 단계가 그것 뿐이니 서툴겠지만 꾸역꾸역 경험해보며 실력을 늘리는 것이 정말 중요할 것이라고 생각합니다.
3. 한 해를 정리하며
2023년도에는 나름 RCV의 연구원으로서 많은 일들을 수행해냈습니다. 각종 논문 작업과 과제, ITRC 제안서 작업에도 참여하였고, 수업 조교나 URP 총괄 조교, AI 챌린지 총괄 조교로서 생각했던 것보다 많은 시간과 체력을 투자하였었습니다. 중간중간 정신력도 많이 떨어지고 체력적으로도 힘든 상황이 많이 왔었는데, 그럴 때마다 힘이 되어주었던 선, 후배 연구원님들께 감사하게 생각하고 있습니다. 앞으로는 더 중요하고 큰 역할을 맡으면서 개인 연구를 잘 진행해야 하는데, 서로가 서로에게 힘이 되어주며 즐거우면서도 힘든 일과를 잘 헤쳐나갈 수 있었으면 좋겠습니다.
23년도 상반기에는 회고 글을 다시 읽어보니 많은 흔들림이 있었던 것 같은데, 하반기에는 연구적 측면, 개인적 측면에서 여러 성취를 이뤄내었고 제가 올바르게 성장하였다는 생각이 들어 돌아오는 2024년을 기쁘게 맞이해보고자 합니다.
감사합니다.
