논문
- Simultaneous Video Retrieval and Alignment (IEEE Access)
- VVS: Video-to-Video Retrieval with Irrelevant Frame Suppression (AAAI)
- Probabilistic Embedding with CLIP Representation for Weakly Supervised Temporal Action Localization (IEEE Access 제출 완료)
특허
- 방해자 프레임 억제를 적용한 비디오 특징 추출 방법 및 그 장치 (10-2023-0177999 / 2023-12-08)
연구과제 작업
- ITRC 과제 제안서 작업 (3월 ~ 5월)
- ETRI 머신 비전 다중 임무 (5월 ~ 12월)
- 비디오 검색 공인인증, 한화 킥오프, 혁신 바우처 과제 관리
회고록
작년에 석사과정 입학을 앞두고 다짐하는 글을 쓴 게 어제 같은데, 벌써 1년이 지나고 다시 글을 작성하는 날이 왔네요. 작년에는 매일매일 능동적으로 고민하는 삶을 살겠다고 다짐했었는데 저는 이러한 다짐을 정말 잘 지켰을까 오늘 한번 돌아보려고 합니다.
우선 석사 봄 학기를 시작하면서 ITRC 과제 제안서 작업에 투입되었습니다. “미래의 자율 주행 자동차는 어떤 모습으로 나타날까”라는 관점으로 계획했던 과제였던 거 같네요. 저는 자동차에 관심이 없었고 당시에는 비디오 연구에만 몰두하고 있었기 때문에 현재 연구하는 기술들이 어떻게 사용될 수 있을까에 대한 고민이 전혀 없었습니다.
처음에는 차량용 엔터테인먼트를 어떻게 고도화 시킬 수 있을까라는 관점으로 준비하게 되었습니다. 당시 CES에서 공개된 Sony가 그리는 미래의 자동차는 움직이는 나만의 게임방이었습니다. 교수님은 게임뿐 아니라 다양한 엔터테인먼트를 차량에서 해볼 수 있지 않을까라는 고민을 저희에게 던져 주었습니다.
당시 비디오 팀에서 냈던 아이디어는 익숙한 게 영상이다 보니, 넷플릭스와 같은 OTT 서비스를 좀 더 사용자 경험에 최적화시켜 서비스하는 방향이었습니다. 저도 뭐 다양한 아이디어를 냈었던 거 같네요. 그러다가 교수님이 혁신 도약형 과제에 대한 고민을 나랑 조원 연구웬에게 맡기셨습니다. 그때 당시 혁신 도약형 과제를 위해 지식 그래프 기반의 사용자 경험 데이터 관련 기술을 자세하게 풀어냈던 거 같습니다. 해당 연구 방향은 평소에 하던 연구 주제가 아니기 때문에 조사하는 과정에서 꽤나 힘들었지만 나름 재밌었던 경험이었습니다.
지나고 보면 단순히 제안서 작업이었는데, 이 과정에서 느낀 게 적지 않았던 거 같습니다. 내가 하려고 하는 연구를 인더스트리 관점에서 생각해 보는 것은 분명히 값진 고민이기 때문이죠. 기계적으로 논문만 읽다가 아카데미와 인더스트리 간의 연결점을 찾는 고민들을 지난봄에 중점적으로 하다 보니 의식하지 못한 영역에 대해서 조금 더 고민할 수 있게 됐습니다.
제안서 작업을 마무리하고 에트리 킥오프 회의를 준비했던 거 같습니다. 올해는 선배 없이 내가 후배를 이끌면서 과제를 진행해야 했습니다. 단순히 저 혼자 과제를 맡아서 하면 몸은 고생하지만 마음은 편하긴 합니다. 하지만 후배에게 적당히 해낼 수 있는 일들을 부여하면서 관리 감독하는 것은 꽤나 골치가 아픈 일이었습니다. 무턱대고 할 수 없을 법한 어려운 일을 시키면 촉박한 마감 기한 내에서 문제가 생길 수 있고, 너무 간단한 걸 시키면 후배가 제대로 성장할 수 없기 때문입니다. 이번 과제를 하면서 저는 그 사이의 줄다리기를 제대로 하지 못했던 거 같고 대다수의 일을 떠맡아서 했던 거 같습니다. 저 혼자만 성장하는 것은 단기적으로 좋을 수 있지만 멀리 나아가기 위해서는 다수의 성장을 도모하는 것이 필요하다는 것을 알고 있었습니다. 하지만 올해 연도 연구 과제를 진행하면서 이를 몸소 체험했던 거 같네요.
연구 과제는 과제대로 진행하면서 저는 개인 연구도 나름 성과를 내보려고 열심히 했었습니다. 아이디어 자체는 Video Scene Segmentation + Scene Graph Generation이었습니다. 아마 연초에도 해당 주제에 관련해서 세미나를 한번 진행했던 거 같네요. 9월 내로 좋은 결과가 있었으면 CVPR을 준비해 보려고 했는데, 좋은 결과를 내기가 참 어려웠습니다. 또 그때 개인 연구는 연구대로 진행하면서 후배의 논문 연구도 같이 봐주고 있었습니다. 10월 정도쯤에는 CVPR을 일단 블락시키고 후배의 연구에 같이 참여했습니다.
참고로 개인 연구는 이제 슬슬 다시 해야 되는데 제가 하려고 했던 컨셉의 논문이 이미 ACMMM에 개제가 되었습니다. 물론 아이디어가 제가 하려고 했던 것과 완전히 같지는 않지만 fine-grained scene understanding을 처음으로 연구했다는 타이틀은 물 건너 갔네요.
다시 돌아와서 이번에 후배랑 같이 작업한 논문의 경우 CLIP과 Probabilistic Embedding을 활용하여 WTAL problem을 해결 해보자라는 컨셉으로 진행했습니다. 베이스라인을 너무 낮게 잡았던 탓인지 당시에는 우리가 어떻게 다른 벤치마크 방법들을 이길 수 있을까 좌절도 많이 했지만, 계속 두드리다 보니 그 간격이 좁혀져 있던 것을 알게 되었습니다. 돌이켜보면 연구가 직선적으로 수행되지는 않았습니다. 굉장히 그럴듯한 가설을 세우고 실험을 돌려도 원하는 경향성이 나오지 않을 때도 많았고, 단순한 변화만 주었는데 성능이 많이 올라가는 경험도 종종 있었습니다. 이런 것들을 계속해서 반복하다 보면 논문 한편이 나오는 거 같네요. 사실 개인적으로는 조금 혼란스럽기도 합니다. 내가 하고 있는 것이 결과를 관측하고 이에 대한 원인을 그럴듯하게 만드는 거 같아서 조금 아쉬운 부분도 있네요.
무튼 방법론이 얼추 정리가 되고 이제 라이팅을 시작하는데 글 쓰는게 여간 쉽지가 않았습니다. 저의 주장을 논리적으로 설득하는 글을 쓰는 것은 X-Review 글 쓰는것과 많이 달랐습니다. 일단 ChatGPT + 파파고 + Quillbot Premium (thanks to 이광진, 황유진) 조합으로 국문을 영문으로 바꾸는 거에 대해서는 어렵지 않았습니다. 중요한 건 영문이든 국문인든 논리적으로 타당해야 한다는 것 입니다. 글을 쓰는 과정에서는 구조를 잡고 내가 잡은 구조 내에서 어떠한 주장들이 들어가야 하는지를 먼저 고민하고 작성해야 한다는 것을 이번 논문 과정에서 많이 배운 거 같습니다.
다음으로 그림 그리는 것도 쉽지가 않았습니다. 연구실 들어와서 그림 그리는거 만큼은 실력이 잘 늘지 않았습니다. 저에게는 미적 감각을 발휘하여 무에서 유를 창조하는 것이 굉장히 어려웠습니다. 따라서 저는 동일 task를 수행한 다수의 논문을 참조하여 그림을 그려나갔습니다. 그림을 베낀건 아니고 전체적인 구조나 느낌을 따라하려고 노력했습니다. 그래도 시간을 계속해서 투자하고 나니 논문에 넣을만한 그림의 형태가 나오긴 했습니다. 아직 ppt 관련해서 능숙하지 않지만 그럼에도 이번 논문 작업을 통해 어느 정도 자신감을 얻은 것 같기는 합니다.
논문 제출은 1월 5일 금요일에 잘 마무리 되었습니다. 후배가 논문으로 시작했던 주제이지만 저도 작년부터 원래 연구 과제 수행을 하면서 익숙했던 주제라 같이 공동 연구 하는데 있어 큰 문제 없이 재밌게 잘 마무리 한 것 같습니다.
정리해서 저는 올해 능동적으로 잘 살아 왔는가라는 질문에 “그렇다” 라고 얘기할 수 있을 거 같습니다.
올해 연도 지내면서 많은 선택의 기로가 있었습니다. 그러한 과정에서 다른 사람들의 도움을 아예 받지 않은 것은 아니지만, 그럼에도 내가 고민하고 내가 결정을 내렸던 순간들이 많았습니다. 이러한 시간들을 보내면서 저는 올해를 이제 스스로 연구를 해볼 수 있을 거 같다는 자신감을 어느 정도 얻은 거 같습니다. 물론 아직 부족한 부분이 많지만 적어도 충분한(?) 시간만 주어진다면 논문 한편 정도는 스스로 써볼 수 있을 거 같다는 느낌이 듭니다.
시간이 너무 빠르게 흘러가서 이대로 있다가는 졸업도 금방 다가올 거 같습니다. 현재 저에게는 중요한 고민이 남아있습니다. 회사로 갈지 박사를 진학할지 선택해야 합니다. 다가오는 AAAI 학회를 다녀오고 이 고민의 답을 내리려고 합니다. 2024년도 3월부터는 내가 내린 결정에 따라 차근차근 준비해 나가도록 하겠습니다.
이번 겨울 방학 때는 면허도 좀 따고 논문 공부도 다시 진득하게 해보려고 합니다. RCV 연구원들도 올 한해 목표한바 잘 이루어내고 많은 성장 이루어내길 바랍니다.
