2022년 상반기를 마치며

벌써 여름이 지나고 날씨가 풀리면서 가을이 찾아오는 것 같습니다. 이번 글은 올해 봄부터 여름까지의 저의 지난날들을 돌아보며 회고록을 허심탄회하게 작성해보도록 하겠습니다.

4학년 1학기를 시작했을 때의 마음가짐은 내겐 두려울 것이 없다 라는 마인드가 있던 것 같았습니다. 연구실 생활도 1년 차가 되어가면서 적응이 되었고, 겨울방학에 조원 연구원과 같이 작성했던 논문도 좋은 결과를 얻었기 때문에 그랬던 것 같습니다. 하지만 이제 와서 생각해봤을 때 지난 학기는 대학교 다니면서 제일 힘들었던 학기가 아니었나 싶습니다..ㅎ

연구 과제 같은 경우는 작년과 비슷한 프로세스로 진행이 되었기 때문에 크게 어려운 점은 없었습니다. 오히려 연구 외적인 부분에서 지금 더 많이 생각이 나네요.

저의 업보 이기도 하지만, 우선 학과 공부가 너무 힘들었습니다. 하나라도 더 배워보고 싶다는 마음에 대학원 수업(최적화 이론)을 신청을 했었는데 지식의 한계에 부딪히면서 스스로의 부족함을 많이 느꼈던 수업이었던 것 같습니다. 물론 이 수업을 통해 많은 것을 배울 수 있었지만 돌이켜 생각해보면 타이밍이 좋지는 않았던 것 같습니다. 조금 여유로울 때 수강을 했다면 더 많은 것을 깨닫고 더 많은 것을 공부할 수 있었을 거라는 생각이 드네요.

졸업 작품 프로젝트에서도 팀장 역할을 맡았었는데 쉽지 않았습니다. 5명이 되는 팀의 프로젝트를 이끌어가는 것은 저에게 있어 처음 해보는 경험이었습니다. 저희 팀이 거의 막바지에 작업을 몰아서 진행을 했었는데 어찌 보면 제가 일정을 잘 조율하지 못하고 역할 배분에 부족함 점이 있어 그렇게 되지 않았나 싶네요. 막연하게 좋은 결과를 기대했었지만 그렇지 못했다는 것 또한 심정적으로 조금 힘들었습니다. 1학기를 마치고 성적을 마무리하는 시점에서도 과목 하나가 잘못 채점되는 상황이 생겨버려 멘탈이 조금 흔들렸던 기억이 나네요.

사실 학과 공부야 제가 다음에 다시 복습을 하거나, 인터넷에서 다른 강의를 듣는 방식으로 아쉬운 점들을 채울 수 있지만, 프로젝트에서의 아쉬웠던 점은 제대로 해결하지 못하고 그저 끝났다는 마음에 안도하며 지나갔던 것 같습니다.

여름 방학

1학기가 아쉬운 상태로 마무리가 됐고 심적으로 복잡한 상태가 되면서 방학 때는 생각을 비웠던 것 같습니다. 그냥 주어진 일만 척척 했던 기억이 납니다. 방학 초반에는 URP 인원들 인공지능 기초 교육을 담당했고, 그와 동시에 저희 팀에 들어온 김현우 연구원의 교육을 계속 봐줬던 것 같네요. 그러면서 저는 개인적으로 2주 정도 Weakly Supervised Temporal Localization 논문을 계속 팔로우 업 하며 시간을 보냈습니다. 논문 팔로우 업하는 것도 잠시 다시 에트리 정례회의를 준비해야 하는 기간이 다가와서 2주 정도 시간을 할애했던 것 같습니다.

그래서 논문 공부와 연구과제를 진행하다 한 달이 그냥 지나갔던 것 같습니다.

정례 회의를 마치고 나서는 원래 저의 메인 관심사는 아니었지만, 조원 연구원이 했던 Video Retrieval 논문 작업에 같이 참여하기로 했습니다. 아마 3주 정도 타임라인을 작성했던 논문 작업이었지만, 이번이 4번째 작업이다 보니 분업이 잘되어 지난 CVPR이나 Access 썼을 때보다는 힘들지 않았던 것 같습니다.

그리고 논문을 다 쓰고 나서 보니 방학이 다 지나갔네요. 논문 작성을 통해서 느낀 점은 논문을 쓰고 싶다입니다. 무슨 소리인지는 아래에서 앞으로의 계획을 얘기할 때 자세히 얘기하도록 하겠습니다.

앞으로의 계획

앞으로는 무엇을 하고 싶은지 생각을 해봤을 때는 일단 크게 두 가지 인 것 같습니다.

1. 일단 올해년도 남아있는 연구과제를 잘 마무리하고 싶습니다.

지금부터 혼자 준비하고 혼자 마무리해서 끝내라고 한다면 아마 절대 못할 것 같지만, 조원 연구원이 어려워하는 부분은 도와줄 거라 생각하고, 이번 연도에 들어왔지만 김현우 연구원도 잘 서포트해줄 거라는 믿음이 있기에 이 부분은 크게 걱정이 되지 않습니다.

2. 논문을 쓰고 싶습니다.

지금까지 논문 작성에 참여한 경험은 CVPR, IEEE Access, TMM, AAAI 4번의 작업에 참여를 했지만 사실 메인으로 잡고 글을 써본 경험은 아직 전무하기 때문에 제가 주도적으로 라이팅 하여 논문을 작성하고 싶다는 마음이 있습니다. 단순히 논문 작업에 참여했다는 것에 안주하지 않고 졸업 전에(학부 졸업전이면 가장 좋고..?) 저만의 논문을 작성하도록 하겠습니다.

가볍게 관심 있는 연구 주제에 대해서도 적어보도록 하겠습니다. 현재 관심 있는 연구 주제는 크게 두 가지입니다.

1) Weakly Supervised Temporal Action Localization

2) Self-Supervised Video Representation Learning

일단 Video Representation Learning이 아마 가장 토대가 되는 연구가 되지 않을까 생각합니다. 인터넷에 존재하는 모든 비디오 데이터에 라벨을 붙이는 것은 당연히 불가능합니다. 그렇기에 라벨이 없는 다크 데이터로부터 유의미한 정보를 추출하는 것으로 비디오 레벨의 down stream task가 시작될 수 있다고 생각합니다. 지금 현재의 비디오 분야 사전학습 방식은 모두 classification으로 진행이 됩니다. 논문을 작성하기 위해 기존의 work와 fair comparison을 위해 이렇게 진행하는 것도 있겠지만 결국, task에 적합하며 라벨이 없는 상황에서도 pretrain을 하기 위해서는 self-supervised 기반의 video representation learning의 연구는 필요합니다. 비디오를 이해한다는 관점에서 classification으로만 국한시키면 sub-optimal 하기 때문입니다. 현재 기준으로도 논문이 많이 나오고 있는 상황인데 저도 이러한 흐름에 발맞추어 따라가고 싶네요. 연구를 한다면 저는 아직 진행되지 않은 Untrimmed Video에서 Self-supervised 방식으로 video temporal localization에 최적화된 사전학습 방식을 연구하고 싶습니다. 아마 논문 빨리 안 쓰면 누가 먼저 쓸 거 같긴 하지만 당장 아이디어가 떠오르진 않네요..ㅎ

그다음으로는 Weakly Supervised Temporal action localization입니다. 사실 이 연구에 관심을 가지게 된 가장 큰 이유는 작년에 에트리 연구과제를 시작할 때 제가 맡았던 역할에 대한 내용이기 때문입니다. 그럼에도 나름 재밌고, 아직 충분히 연구가 되지 않았다는 점이 저를 끌어당기는 요소가 되는 것 같습니다. 물론 WS-TAL이 실제 application level 관점으로 봤을 때 어디에 쓰일 수 있을까에 대한 고민은 아직 하고 있습니다. 지난 KCCV에 갔다면 이 연구주제를 가지고 3~4편의 논문을 냈던 국내 연구자와 대화해서 앞으로의 방향을 잡을 수 있었을 텐데 그 부분은 조금 아쉽네요.

새로운 마음 가짐으로

작년에 10시까지 연구를 하다 가도 기숙사에 들어가 새벽 2~3시까지 공부를 했던 기억이 납니다. 연구실에서 배우는 모든 것이 의미 있었고 그만큼 열정적으로 임했던 것 같았습니다. 그렇지만 지금의 저에게 작년과 같은 태도가 유지되고 있냐고 물어본다면 그렇지 않다고 대답할 것 같습니다. 그렇다고 해서 작년처럼 불같이 하는 것은 무리가 있는 것 같고 하니 앞으로는 잔잔하게 흐르는 물처럼 꾸준하게 나아가겠습니다.

마지막 학기 잘 마무리하고 대학원 입학하기 전 다시 한번 이 글을 보며 돌아보는 시간을 가지도록 하겠습니다.