최근에 석사 학위 디펜스가 끝났습니다.
군대 전역하고 2020년 겨울부터 지금까지 달려오면서, 교수님과 연구실 선배들 그리고 동료, 후배 연구원들 덕분에 많이 배웠고 많이 성장하여 디펜스를 잘 마무리할 수 있었던 것 같습니다.
2월에는 졸업을 할 예정이고, 정확히 제가 어디로 가게 될지는 아직 정해진 것이 없지만 RCV 연구실에서 이렇게 지난날을 돌아보는 회고록을 작성하는 것은 마지막이 될 거 같습니다.
정말 다사다난 했는데 저의 기억이 희미해지기 전에 저의 지난 연구실 생활을 전체적으로 돌아볼 수 있는 기록을 작성해 볼까 합니다.
그럼 시작하겠습니다.
우당탕탕 학부 연구생 시작
대학교에 입학하고 신입생 시절에 저는 프로그래밍에 흥미를 느끼지 못했습니다. 오히려 프로그래밍보다는 수학 관련된 전공과목을 재밌게 들었던 거 같습니다. 특히 선형대수학을 정말 재밌게 배웠는데, 군 복무를 하다가 알게 된 건 인공지능에도 선형대수, 미적분, 확률에서 배운 개념들이 중요하게 작용한다는 것 입니다.
제가 재밌게 배웠던 수학 내용과 결합하여 어려운 문제를 잘 풀고 있는 인공지능이 막연하게 멋있어 보였습니다. 그렇게 관심을 가지게 되었는데 인터넷에 찾아보기로 인공지능을 직업으로 삼기 위해서는 대학원에 가야 한다 하더라고요.
그렇게 군복무를 건강하게 마치고 복학을 한 다음 저는 대학원을 가기 위해서 학부연구생을 먼저 경험해 보기로 했습니다. 학부연구생을 해보고 나서는 생각보다 재밌다는 것을 느꼈고 우선 이 생활을 계속 해보고 싶다는 생각이 들었습니다.
그렇게 저의 연구실 생활은 20년 겨울방학 때 URP 과정을 마치고 21년 3월부터 본격적으로 시작되었습니다.
당시 연구실에는 연구 개발 과제를 바탕으로 여러 팀이 있었습니다.
저도 그중 하나의 팀으로 배정되었는데 사실 저의 의사와는 상관없이 비디오 팀에 할당되었습니다. 사실 이 부분에 큰 불만은 없었고 오히려 어려운 문제를 풀고 싶었기 때문에 비디오 이해라는 주제는 저에게 매력적으로 다가왔습니다. 인공 신경망을 이용하여 비디오 데이터를 이해하는 것은 이미지 데이터에 비해 많은 어려움이 있습니다.
그래서 상대적으로 이미지 데이터에 비해 연구가 덜 되었고, 아직 풀어야 할 문제들이 많이 남은 비디오 이해를 저의 연구 주제로 삼아야겠다 결정했던 거 같습니다. 사실 지금 생각해 보면 정말 우연하게 팀이 배정되고 주제가 정해진 셈인데 지금의 저는 비디오 이해라는 주제로 석사학위 디펜스까지 마치게 되었습니다.
연구실 초창기에는 논문 리뷰와 세미나 준비를 정말 열심히 했던 거 같습니다. 논문 리뷰라는 걸 처음 써봤는데 저의 부족한 이해와 필력이었지만 그래도 선배들이 리뷰 잘 쓰네라고 무심하게 했던 말들이 성취감을 불러일으켰고 결국 열심히 쓰게 된 계기가 됐던 거 같습니다.
동시에 전공 공부도 정말 열심히 했습니다. 저의 연구와 관련이 있는 전공과목에 대해서는 정말 열심히 했습니다. 단순히 A+를 받기 위한 수준의 공부가 아니었습니다. 강의에서 배우는 내용을 넘어서 더욱 깊이 있는 이해를 하기 위해 스스로 더 많은 내용을 찾아보면서 공부했었습니다. 지금 생각해 보면 왜 그랬나 싶긴 하지만 이런 시간들이 당시 저에게는 성장을 더욱 앞당길 수 있게 해 준 힘이 아니었나 생각이 드네요. 이 때 처음으로 1등 성적 장학금도 타게 되었습니다.
21년 1학기 성적
그리고 연구실에서 진행했던 연구 개발 과제를 참여하게 되었는데, R&D 과제 참여 경험이 저를 성장시키는데 가장 많은 기여를 한 것 같습니다. 아직도 기억하는 게 있습니다. 제가 가장 처음에 했던 건 MPEG의 비디오 검색 표준인 CDVA의 랜덤 이슈를 해결하는 것이었습니다. C++로 프로그래밍이 되어 있었고, 연구실 사수가 시켰는데 저는 일주일을 붙잡고 결국 Class 내부 생성자 함수에서 초기화를 제대로 하지 않아서 발생했던 이슈임을 찾아냈었습니다.
사실 논문 리뷰, 세미나, 전공 공부 같은 건 저에게 있어 정답이 있는 문제였습니다.
하지만 난생처음 보는 코드의 원인 모르는 랜덤 이슈를 해결하는 것은 저에게 있어 정답이 없는 문제였습니다.
삽질을 많이 했지만 이 작은 과업을 책임지고 해결하는 과정과 결과는 앞으로도 새로운 문제가 나에게 발생해도 어떻게든 해결할 수 있겠구나 라는 자신감을 가져다주었습니다.
이 작은 성취감을 통해 자신감을 얻은 저는 사수가 시키는 과업들을 헤쳐나가기 시작했습니다. 연구실에 합류하고 거의 3개월 만에 적응을 마치고 본격적으로 연구 개발 과제에 필요한 실험들을 주도적으로 하게 되었습니다.
이 과정에서 밤도 많이 새우고, 삽질도 많이 했는데 다시 생각해 봐도 이런 고통스러운 시간들이 없었으면 이렇게까지 성장하지 못했을 거 같습니다. 여담으로 그때는 연구실에 탁구대 (532호 였나..?) 가 있었는데 사수랑 밤새 실험 돌리고 탁구치고 실험 돌리고 탁구 치고 했던 기억이 갑자기 생각나네요 ㅋㅋ
그렇게 저는 21년 상반기를 연구실 적응도 하면서 전공 기초 및 딥러닝 기초를 쌓는데 부단히 노력하며 시간을 보냈던 거 같습니다. 지금 돌아보면 무엇이 저를 그렇게 간절하게 만들었는지는 모르겠지만, 그때 가장 열심히 살았던 거 같습니다.
여름 방학 때는 새로 합류하는 URP를 위해 조교를 담당하게 되었는데, 무슨 깡인지는 모르겠으나 제가 그 사람들을 대상으로 인공지능 기초에 대한 내용으로 세미나를 했었습니다. 지금 돌아보면 정말 부족한 이해를 바탕으로 사람들 앞에서 아는척하면서 떠들었던 거 같은데, 그럼에도 이런 시간들을 통해 누군가를 가르쳐준다는 경험은 저의 발전에 있어서 굉장히 소중하다는 것을 깨달았습니다.
그리고 2학기가 다시 시작되면서 마찬가지로 전공 공부를 굉장히 열심히 하면서 연구 개발 과제에서도 점점 저의 기여도를 늘리고 있었습니다. 그러다가 10월 중순쯤 1달 정도 남은 시점에서 CVPR 2022에 갑자기 도전하게 되었습니다. 잘 모르는 제가 보아도 contribution이 좀 부족해 보였지만 그냥 써보자!! 이렇게 결론이 났고 저는 그때부터 집에 제시간에 간 적이 없었던 거 같습니다.
저는 학부 3학년임에도 불구하고 논문에 들어가는 main contribution에 대해서 실험을 진행했습니다. 정확히는 사수가 시키는 흐름에 따라 코드를 구현하고 실험을 하는 것인데, 진짜 진짜 진짜 다양한 변인들이 많아서 사실 그때 너무 스트레스가 심했습니다. 1달 동안 구르고 갈린 덕분에 논문의 형태를 갖추어서 제출은 할 수 있었습니다. 하지만 논문의 결과는 아쉽게 reject이 나왔는데, 저에게 있어 결과와는 별개로 코드 구현, 시간 관리, 실험 관리 등 다양한 부분에서 정말 많은 경험치를 얻게 된 것 같습니다. 논문 제출 프로세스에 대해서도 정말 빠른 시기에 경험할 수 있어서 힘들었지만 값진 시간이었던 거 같습니다.
CVPR 2022 Reject (2022.03.02)
논문 제출을 마치고 나서는 저도 좀 지쳤던 기억이 납니다. 평일에는 10-10을 하면서 연구실을 다녔고 기숙사에 가서는 전공 수업 공부를 하고, 주말에는 연구실 나와서 밀린 일 (실험, 논문 리뷰) 들을 하는 일과를 거의 1년 동안 했었기 때문입니다.
그래서 방학 때는 좀 쉬엄쉬엄 하면서 논문을 진득하게 읽고 싶었는데, 또 선배가 논문이나 쓰자 이러면서 저에게 실험을 또 부탁했었습니다.
진짜 그때 너~~~~~~~~~무 하기 싫었는데 결국에는 생각을 고쳐 남는 건 논문뿐이다라는 생각으로 같이 열심히 작업했던 기억이 납니다.
전체적인 줄기 자체는 선배가 다 설계해 놓은 상태인데, 논문에 들어갈 알고리즘이 아직 구현이 안 됐습니다. 그리고 제가 그 부분을 담당했고요. 그렇게 탄생한 것이 TNIP 라는 논문입니다. 2D NIP의 아이디어를 그대로 temporal axis에 적용시킨 알고리즘인데, 생각보다 스토리도 괜찮고 성능도 괜찮게 나와서 아마 그때 제가 실험을 잘 뽑았을 때 저랑 선배 연구원이 어ㅓ어ㅓㅓㅓㅓㅓ? 이런 리액션을 했던 기억이 납니다.
TNIP (2022, IEEE Access)
논문 라이팅은 거의 관여하지 않았지만, 논문에 들어갈 핵심 알고리즘을 완성시켰다는 사실은 엄청난 고양감을 느끼기에 충분했습니다. 그렇게 연구실 생활 시작 1년 만에 SCI 논문 게재 경험을 얻으면서 저는 처음으로 논문 실적이 생겼고 이를 통해 연구를 하는 것과 논문을 쓰는 일에 대해서 보람을 느끼게 된 계기가 되었습니다.
그렇게 학부 4학년 1학기를 시작했을 때의 저의 마음가짐은 “내겐 두려울 것이 없다ㅋ”라는 마인드가 있던 것 같았습니다. 연구실 생활도 1년 차가 되어가면서 적응이 되었고, 겨울방학에 선배 연구원과 같이 작성했던 논문도 좋은 결과를 얻었기 때문에 그랬던 것 같습니다.
연구 개발 과제에서 저는 이제 주도적으로 실험을 계획하고 내용을 만들어 갔습니다. 학과 공부는 그대로 열심히 했지만 두 가지 문제가 있었습니다. 졸업 프로젝트에서 팀장을 맡게 되었는데.. 여기서 크고 작은 다툼이 있었습니다. 소통을 할 때 있어 어떤 부분을 조심해야 하는지 깨닫게 됐던 시간이었습니다. 전공 수업 중에는 제가 욕심을 부려 대학원 수업을 들었는데, 수학을 잘한다고 착각하던 저를 반성하게 만들고 벽 느끼게 했던 수업 (Convex Optimization)을 듣게 됐습니다.
저의 정규학기 수업에서 약간의 이슈가 있었고 이를 그래도 나름 수습하기 위해 4학년 1학기는 정신없이 지냈던 거 같습니다.
그렇게 4학년 1학기 종강을 하고 저도 이제 해보고 싶은 연구 주제가 생겼습니다. Weakly Supervised Temporal Action Localization입니다. 그런데 상황이 잘 받쳐주지 않아 이 주제로 논문을 작성하는 건 제가 석사 과정을 시작하고 나서 본격적으로 하게 되었습니다.
여름에는 선배가 AAAI 2023에 도전해보고 싶다고 하여 선배가 하던 개인 연구를 도와 실험을 같이 해주었습니다. 사실 당시 논문의 기술적 novelty가 좀 떨어지는 것이 제가 봐도 보였는데, 일단 제출까지는 어떻게 또 하게 됐습니다. Phase1 리뷰가 나왔을 때 borderline 2개를 받았는데 여기서 weak accept 하나는 무조건 받아야 다음 phase로 넘어갈 수 있었고 결국 저희는 또다시 탑티어 컨퍼런스에서 좌절을 느끼게 되었습니다. (2022년 9월 25일)
AAAI 2023 Phase1 Reject (2022.09.25)
선배의 개인 연구 주제라 AAAI 2023을 제출하고 나서는 저도 더 이상 관여하지 않았는데 또 그사이 선배가 다른 contribution을 만들어 왔더라고요. 기억상 CVPR 2023이 한 달 정도 남았는데 저도 저의 개인연구로 본격적인 연구를 시작하기 앞서 마지막으로 같이 도와줘서 마무리하기 위해 실험을 같이 도와주고 있었습니다.
VVS의 DDM 탄생 배경
위의 실험 내용이 CVPR 2023 3주 전에 나온 결과인데, 생각보다 경향성이 좋게 나와 원래는 저널에 내려고 했던 계획을 수정하고 다시 갑자기 CVPR에 도전하게 되었습니다. 확실히 AAAI 2023에 제출했던 버전에 비해서 훨씬 더 method가 보완됐고 performance 측면에서도 이전의 연구와 의미 있는 차이를 보여주고 있어 나름 기대를 했던 거 같습니다.
처음 리뷰도 정말 좋게 나왔습니다. Weak Accept (2개) Borderline (1개)가 나왔고 저희는 처음 보는 긍정적인 점수에 굉장히 흥분을 했습니다. Rebuttal 내용도 엄청 critical 한 내용은 없어서 잘 준비하여 답변을 보내고 decision을 기다렸습니다.
결과는 충격적인 Reject이었습니다.
척척 석사의 길 시작
시기적으로 CVPR 2023 논문 리뷰 결과가 석사 학기 시작하면서 나왔는데 이때 정말 힘들었습니다. 1저자 선배도 정말 힘들었겠지만, 저도 정말 못지않은 시간과 노력을 쏟았는데 인정을 받지 못한 거 같아 너무 속상했던 기억이 있네요. 우선 논문은 지적당한 부분을 적극 반영하여 보완하였고 ICCV 2023에 제출하였습니다.
리뷰를 기다리는 동안 저는 연구실에서 총괄 책임으로 담당했던 ITRC 제안서 작업에 투입 됐습니다.
“미래의 자율 주행 자동차는 어떤 모습으로 나타날까?”
라는 관점으로 계획했던 과제였습니다. 저는 자동차에 관심이 없었고 당시에는 비디오 연구에만 몰두하고 있었기 때문에 현재 연구하는 기술들이 어떻게 사용될 수 있을까에 대한 고민이 전혀 없었습니다.
단순히 제안서 작업이었는데, 이 과정에서 느낀 게 적지 않았던 거 같습니다. 내가 하려고 하는 연구를 인더스트리 관점에서 생각해 보는 것은 분명히 값진 고민이기 때문이죠. 기계적으로 논문만 읽다가 아카데미와 인더스트리 간의 연결점을 찾는 고민들을 하다 보니 의식하지 못한 영역에 대해서 조금 더 고민할 수 있게 됐습니다.
결국 제안서에 따라 해결하려는 문제에 대해 As-Is To-Be를 잘 정리해야 하는데, 평소에 훈련이 잘 되어 있지 않으면 정말 어렵습니다. 저 또한 제안서 작업에 본격적으로 투입된 것은 처음이라 미숙한 부분이 있었지만 당시 혁신 도약형 과제를 위해 지식 그래프 기반의 사용자 경험 데이터 관련 기술을 자세하게 풀어냈던 거 같습니다. 해당 연구 방향은 평소에 하던 연구 주제가 아니기 때문에 조사하는 과정에서 꽤나 힘들었지만 나름 재밌었고 가치 있는 경험이었습니다.
제안서 작업을 마무리하고 연구 개발과제 킥오프 회의를 준비했던 거 같습니다. 당시에는 선배 없이 제가 후배를 이끌면서 과제를 진행해야 했습니다. 단순히 저 혼자 과제를 맡아서 하면 몸은 고생하지만 마음은 편하긴 합니다. 하지만 후배에게 적당히 해낼 수 있는 일들을 부여하면서 관리 감독하는 것은 꽤나 골치가 아픈 일이었습니다.
무턱대고 할 수 없을 법한 어려운 일을 시키면 촉박한 마감 기한 내에서 문제가 생길 수 있고, 너무 간단한 걸 시키면 후배가 제대로 성장할 수 없기 때문입니다.
과제를 하면서 저는 그 사이의 줄다리기를 제대로 하지 못했던 거 같고 대다수의 일을 떠맡아서 했던 거 같습니다. 저 혼자만 성장하는 것은 단기적으로 좋을 수 있지만 멀리 나아가기 위해서는 다수의 성장을 도모하는 것이 필요하다는 것을 몸소 체험했던 거 같네요.
그 사이 ICCV 2023에 제출한 논문은 다시 한번 Reject을 받았습니다.
ICCV 2023 Reject (2023.07.14)
이때의 리뷰는 사실 정말 억울한 부분이 많았습니다. CVPR 때는 그래도 수긍이 가능했지만, ICCV 리뷰는 정말 reasonable 하지 못하다는 느낌을 받았습니다.
이때 당시 저희 팀에서는 “탑티어 포기하고 저널에 제출하자”라는 의견이 나왔습니다. 저널은 revision의 과정을 거쳐 논문을 수정하고 최종적으로는 accept을 받을 확률이 컨퍼런스에 비해 높기 때문입니다.
고민을 정말 많이 했지만 그럼에도 탑티어에 대한 희망을 저희는 놓지 못했고 무한 수정을 거쳐 AAAI 2024에 제출하게 됐습니다. ICCV의 억까 리뷰도 반영하여 준비한 논문은 이제 떨어트릴 이유가 없다는 생각으로 제출했던 것이죠.
이번에는 phase1을 통과하고 리뷰를 받았는데 Weak Accept (2개), Accept (1개), Rejct (1개)를 받았습니다.
Reject을 주었던 리뷰어는 논문 내용도 제대로 안 읽고 대충 준 느낌이 매우 강했습니다. 다른 리뷰의 경우는 매우 긍정적인 상황이라 집중 공략하면서 Rebuttal을 준비했고 결과적으로 저희는 AAAI 2024에 게재를 허가받게 되었습니다.
AAAI 2024 accept! (2023.12.09)
거의 1년 6개월 동안 3번의 rolling을 거쳐 최종적으로 탑티어 논문 실적을 가지게 되었습니다. 정말 오래 걸렸지만 저희 팀 모두 포기하지 않고 노력한 덕분에 좋은 결과 있었던 거 같네요. 교수님 결혼하실 때 동시에 소식이 나왔는데 그 때 정말 기뻤던 기억이 납니다.
VVS : Video-to-Video Suppression Network
같이 작업한 1저자 선배는 이미 다른 학교로 진학을 해버려서 아쉽지만 학회에는 같이 참석하지 못하였고 제가 주도적으로 포스터 발표를 준비하게 됐습니다. 포스터 발표를 진행하고 다양한 연구자들과 소통을 할 수 있는 기회가 있었는데, 그 경험이 저에게는 너무나도 소중한 경험이었고 행복했던 시간이었습니다.
이렇게 2번의 SCI 논문 게재 경험과 1번의 탑티어 논문 게재 경험은 저로 하여금 박사 진학을 고민하게 만드는 중요한 계기가 되었습니다.
논문도 잘 마무리하였고 병렬적으로 같이 하고 있던 연구 개발 과제도 동시에 잘 마무리하였습니다. 연구 개발 과제의 경우 한국전자통신연구원과 3년 동안 비디오 검색이라는 주제로 수행하였습니다. 같이 작업을 오래 해온 한국전자통신실무 연구원님이 저에 대해서 좋게 말씀해주시면서 마지막 인사를 나누는데… 뭔가 가슴이 좀 뭉클했던 기억이 납니다.. ㅋㅋ
한국전자통신연구원과 같이 했던 개발 과제는 저의 연구 관심사와 얼라인을 잘 맞춰서 수행하다 보니 자연스럽게 논문 실적도 따라오게 됐던 것 같습니다.
졸업이 다가온다
석사 과정도 1년이 지나면서 동시에 졸업까지 1년 남게 되었네요.
당시에는 한국전자통신연구원과 같이 하던 연구 개발과제도 잘 마무리되었고 그에 대한 후속 연구로 Weakly Supervised Temporal Action Localization에 대한 논문을 후배와 같이 작성을 하고 있었습니다.
마음속에서는 박사를 할까, 취업을 할까 고민이 계속 있던 상태로 논문작업을 하고 있었습니다.
당시 타임라인에 제일 적합했던 학회인 ACM Multimedia 2024를 준비하고 있었고 논문작업은 순조롭게 진행되고 있었습니다. 이번에는 좀 더 주도적으로 라이팅도 담당하고 실험도 설계하면서 작업을 하게 되었습니다.
그렇게 24년 4월 12일에 논문을 제출하고 나서 마음속에 있는 고민에 대해 결론을 내리고 싶었는데 쉽사리 결론이 나지 않았습니다. 이때 만약 1저자로 작업한 이번 논문이 accept이 된다면 박사 진학을 해도 되지 않을까 생각을 했던 거 같습니다. 적어도 박사 과정을 결심하기 위한 최소한의 요구 조건이라 생각했던 거 같습니다.
논문을 제출하고 저는 폭풍 제안서 작업에 들어갔습니다. 사실 논문 작업하면서 같이 작업한 제안서도 있고 논문 마치고 나서 작업한 제안서도 있었습니다. R&D 예산 삭감으로 인해 저희 연구실에서도 최대한 많은 과제를 수주하기 위해 교수님께서 정말 많은 노력을 기울이셨습니다.
첫 번째 OTT 제안서는 저희 연구실 주관으로 총 5명의 교수님과 진행했던 제안서 작업인데, 연구 주제가 저희 팀 연구 분야랑 너무 잘 맞아서 다 같이 열심히 작업했던 기억이 납니다. 작년 ITRC 제안서 작업할 때도 저희 연구실이 주관으로 진행하면서 저도 연구 내용과 관련해서 적지 않은 부분을 관여했지만, 이번 OTT 제안서 작업에서는 정말 모든 교수님의 연구 내용을 모두 파악하고 취합하는 경험을 할 수 있었습니다.
제안서가 15페이지로 분량 제한이 있다 보니, 각 교수님 별 핵심 연구 내용을 정리하여 취합하는 작업이 필요했고 제가 그 부분을 담당하여 제안서 내용을 채워나갔습니다. 교수님마다 depth가 조금씩 달라서 제가 임의로 맞췄던 부분도 있었고, 교수님끼리의 연구 내용을 합쳤던 부분도 있었습니다. 이렇게 취합본이 완성되고 각 교수님마다 검토하셨을 때 수정사항에 대해 큰 이견이 없어서 나름 또 뿌듯했던 기억도 있네요.
멀티 모달 RAG 제안서는 6월 18일 정도에 시작해서 28일에 마무리된 작업입니다.
와이즈넛이라는 회사 주관으로 구성된 컨소에 합류하게 되어 급하게 투입됐는데, 저희는 멀티 모달 임베딩을 어떻게 잘할 수 있을까에 대한 부분을 맡게 되었습니다. 사실 서베이 할 수 있는 시간이 많지는 않았고 저랑 후배 연구원 둘이서만 작업을 하다 보니 연구 내용 잡는 게 쉽지는 않았습니다. 제 생각에는 둘 다 OTT 제안서 작업 경험이 없었다면 둘이서는 기한 내에 완성 못했을 거 같다는 생각이 듭니다.
해당 제안서는 제가 교수님 대신하여 IITP 발표 평가에 참석하여 질문 대답도 하나 하고 결과적으로 과제 선정이라는 쾌거를 달성하여 저에게도 의미가 있는 과제라고 생각합니다.
그렇게 제안서 작업을 열심히 하는 동안 ACM MM 2024에 제출한 논문 리뷰 결과도 나왔습니다.
ACM Multimedia 2024 accept (2024.07.16)
운이 좋게도 한 번에 accept 되어 졸업 직전에 또 의미 있는 논문 실적을 하나 더 추가할 수 있게 되었습니다.
지금까지 참여했던 논문 작업은 모두 2저자로 참여했었는데 이번에는 1저자로 accept을 하게 되어 정말 기뻤던 기억이 납니다. 전날 너무 긴장해서 잠도 제대로 자지 못했는데 논문 게재 허락 메일 받고 피곤함이 싹 가시더라고요.
그렇게 저는 박사 진학에 해보겠다고 마음속으로 결심하고 교수님께 말씀드렸습니다.
결론적으로 박사 진학을 할 때 저는 다른 상위 대학으로 진학을 먼저 해보겠다 말씀을 드렸습니다.
4년 동안 너무 많은 것을 배웠고 많은 성장을 이루어낸 덕분에 더 높은 곳을 바라보게 되었고 새로운 도전을 해보고 싶은 마음이 컸던 것 같습니다. 또한 저희 연구실 구조적으로 생각해 보았을 때 저의 연구 scope에 대해 저 혼자 길을 개척해 나가야 하는 상황이라 이 부분도 부담이 조금 있었습니다.
그렇게 7월부터는 박사 컨택을 위한 준비를 시작하게 되었습니다. 영어 성적을 준비하면서 제가 관심 있는 교수님 연구실에 연락을 돌렸고 차례차례 답장을 받을 수 있었습니다.
그렇게 7월부터 10월까지는 저의 개인 연구를 거의 진행하지 못하고 컨택에만 거의 신경을 썼던 것 같습니다. 그 과정 동안 3번의 면접을 보았는데, 결론적으로는 면접 과정에서 인상 깊은 모습을 보여주지 못해 내년 상반기 박사 과정 진학을 위한 컨택에 별다른 진전이 없었습니다.
이때 정말 힘든 시기를 보냈는데, 먼저 연구에 대한 자신감이 떨어졌고 내가 너무 부족하구나를 절실하게 느꼈던 것 같습니다. 개인 연구에는 집중을 할 수 없었고, 자신감도 떨어지며 텐션도 막 그렇게 좋지 않았던 기억이 납니다.
그렇게 아 박사를 해야 되나… 다시 한번 고민을 하게 되면서 10월 26일 ACM MM 2024 포스터 발표를 위해 호주로 떠나게 되었습니다. 이번에 BK 지원을 받고 가서 재정적으로는 매우 넉넉했고 숙소도 매우 상태가 좋았습니다. 날씨도 너무 좋았고 멜버른이라는 도시 자체가 너무나도 멋진 도시라서 기분이 좀 들뜨긴 했습니다.
MM 학회는 개인적으로 좀 아쉬웠던 부분이 있었습니다. 저자들이 포스터만 걸어두고 오지를 않았습니다. 개인적으로 관심 있는 연구들을 다 정리해서 날짜마다 방문할 포스터를 미리 다 정했었는데 거의 대부분은 저자를 만나고 오지 못했습니다. 카더라 통신으로는 중국 저자들이 해외에 나오는 것에 제한사항이 있어 그렇다고 하는데… 자세한 사정을 잘 모르겠네요.
포스터 발표 자체는 지난번에 AAAI 때 경험을 해봐서 그 때 만큼 떨지는 않았던 거 같네요. AAAI 때는 한국인 분들도 많이 와주셔서 좋았는데, 이번에는 외국인들이 거의 대부분이긴 했습니다.
저는 박사 컨택 과정에서 안 좋은 모습을 보여서 저의 연구에 자신감이 많이 떨어진 상태였는데, 많은 사람들이 저의 연구에 관심을 가져주고 질문도 많이 해주고 좋은 얘기도 많이 해주어서 다시금 자신감을 얻고 이번 기회를 발판 삼아 더욱 성장하고 연구에 매진해야겠다 다짐을 하게 됐던 것 같습니다.
학회를 보내주신 교수님과 같이 작업하느라 고생한 김현우 연구원에게 깊은 감사의 말씀 전합니다.
PVLR : Probabilistic Vision-Language Representation for WTAL
이번 학회에서도 다양한 사람들과 소통할 수 있는 기회가 많았습니다. 지난 AAAI 때 뵀던 분도 이번 학회에서 다시 만나서 관련 연구로 많은 얘기를 나눌 수 있었고 실제로 학회 포스터 발표를 마치고 저녁 식사도 같이할 수 있었습니다. 또 저희 연구실에서 관심을 가지는 Video Grounding으로 정준선 교수님 연구실에서 박사 과정을 하고 계시는 연구원까지 같이 해서 총 세명 이렇게 식사를 하였는데 정말 너무 즐거웠고 소중한 시간을 보낼 수 있었습니다.
급하게 찾아간 식당이었는데, 음식 정말 맛있었고 술도 너무 맛있어서 시간이 금방 지나갔던 것 같습니다.
호주를 다녀와서는 졸업 논문을 작성을 위해 시간을 쏟았습니다. 대충 쓸까 하다가도 유종의 미를 잘 거두고 싶어서 Introduction 작성에만 거의 2주를 썼던 거 같습니다. Method 같은 경우도 원래의 논문 wording을 그대로 사용하는 것이 아니라 제가 풀고 싶은 스토리 라인에 맞춰 다시 라이팅을 작성하는 과정을 거쳤습니다.
Video Retrieval과 Temporal Action Detection을 어떻게 묶을까 고민하다가 결국 두 문제의 공통점은 trimmed video가 아닌 untrimmed video 상황에서 비디오의 의미론적 표현 학습이 중요함을 주장하는 연구이기 때문에 학위 논문 주제를
A study on Semantic Representation Learning for Untrimmed Video Understanding
으로 잡게 되었습니다.
큰 줄기를 잡고 나니 라이팅의 방향이 너무나도 명확해졌고 마무리함에 있어 큰 어려움은 없었습니다. 오히려 행정적인 절차가 너무 피곤하고 귀찮았던 기억이 있네요.
디펜스 발표는 제가 진짜 엄청 엄청 연습을 많이 했었는데 막상 교수님들 앞에 모시고 연구를 설명하려고 하니 저도 모르게 긴장을 해버리게 되었습니다. 원래는 더 능숙하게 설명을 하고 싶었는데 중간중간 말이 막히고 목소리도 떨리고 했던 기억이 아직까지도 생생하게 나는 것 같습니다.
45분 정도 발표를 마치고 나서 교수님들께서는 제가 왜 이런 연구 주제를 잡았는지, 해당 연구를 다른 관점으로 확장시킨다면 너의 주장이 달라질 수 있는지, 앞으로는 어떤 연구에 관심 있는지 그리고 최근에 이런 연구들이 있는데 해당 연구 관점에서 너의 방법론은 robust 하게 작동할 수 있는지 등등 깊이 있는 질문들을 저에게 주셨습니다.
다행히 저의 연구들을 잘 봐주신 덕분에 무사히 졸업 심사를 통과할 수 있었습니다. 저의 4년간의 연구 결과를 세분의 교수님께 인정받던 순간은 잊을 수 없을 것 같고, 앞으로도 두고두고 기억될 것 같습니다.
졸업하고 나서는 뭐 함?
저도 모르겠습니다… 는 아니고
현재로서는 박사 과정 진학을 위해 다시 천천히 준비를 하려고 합니다. 실제로 컨택을 계속 진행하고 있으며 긍정적인 답변을 받은 곳도 몇 곳 있습니다. 하지만 컨택이 쉽지는 않네요. 답장을 못받은 연구실도 꽤 많이 있습니다.
일단은 당분간 몇 개월 정도는 교수님께서 배려해 주셔서 연구실에 남아 있을 것 같고, 그 기간 동안 진행하고 있던 개인 연구를 마무리할 거 같습니다. 그래서 겨울 동안은 개인 연구에 좀 집중하려고 합니다.
동시에 회사도 몇 군데 지원을 하고 있는데, 회사에 가기 위해 쓴다기보다는 요즘 서류 통과는 어느 정도의 수준을 요구하는가 궁금해져서 지원해보고 있습니다. 근데 지원한 회사 중 몇 군데는 만약 붙여준다면 경우에 따라 박사 진학을 포기할 수도 있습니다ㅋㅋ (마음속으로 여기 붙여주면 그냥 회사 갈래라고 정한 회사가 조금 있기도 합니다.)
그럼에도 우선 박사 진학을 최우선으로 생각하고 있습니다. 박사 과정의 저를 기대해 주시길 바랍니다.
앞으로의 연구 주제는 Long form 형태의 비디오를 완전하게 이해할 수 있는 인공 신경망 연구에 몰두하고 싶습니다. 그리고 이를 지원할 수 있는 요소 기술들을 하나씩 풀어가는 것을 저의 박사 과정 스토리로 만들고 싶습니다.
마무리하며
연구실에 들어가지 않았더라면 지금 무슨 삶을 살고 있을까에 대해서는 정말 상상할 수 없을 정도로 지난 시간들에 진심이었습니다.
학문적으로 많은 성취가 있었고, 연구와 관련하여 과분한 업적들을 이루어낼 수 있었습니다.
그런데 돌이켜 생각해 보면 지난 시간들은 저를 어른으로서 성장할 수 있게 만든 시간이기도 했습니다.
크고 작은 과업들에 대해서 책임감을 가지고 성실하게 수행함으로써 책임감이란 무엇인가에 대해 생각할 수 있었고
과학 기술적 문제 정의 및 해결 방안을 도출하는 과정을 통해 저의 삶에 있어서 문제해결력을 기를 수 있었으며
연구실에서 발생할 수 있는 다양한 인간관계와의 소통을 경험할 수 있었고
필요한 지식 및 스킬에 대해서 자기 주도적인 태도로 학습할 수 있는 힘을 길렀으며
가장 중요한 것은 컴퓨터 비전 연구자로서의 자아실현을 할 수 있었습니다.
아직 전문가 수준에는 한참 못 미치지만… 그래도 뭐 나름 자부심이 있긴 합니다.
지금까지 제가 이렇게 성장할 수 있게 도와준 지도교수님과 연구실 구성원에게 감사의 말씀 전해드리며, 받은 만큼 돌려주지 못한 부분에 있어서는 부디 너그럽게 이해해 주시길 바랍니다.
다가오는 25년은 RCV 연구원들에게 있어 각자 모두 원하는 바를 이룰 수 있는 한해가 되기를 기원하며 저 또한 저의 앞날을 위해 열심히 살아보도록 하겠습니다.
감사합니다.
