CVPR 2023 논문 작성기

이번 X-Review는 CVPR 2023 논문 작성기로 대체하도록 하겠습니다.

논문 작성기

아마 에트리 7월 정례회의에 들고 갔던 Video-level feature 실험을 기점으로 본 논문이 시작되었던 것 같네요. 당시 저는 에트리에 가져가는 주제 중에서 관심 영역 선정(Weakly Supervised Temporal Action Localization) 관련해서 준비를 하고 있었고 조원 연구원은 Video-level deep feature 실험을 진행하고 있었습니다. 7월 25일 정례회의가 끝나고 당시 AAAI 마감이 3주 정도 남은 시점에서 AAAI에 한번 준비를 해볼까라는 얘기가 나와 그렇게 조원 연구원과 저 그리고 이광진 연구원이 일주일 정도 contribution 만들기 대작전을 시작했던 것 같습니다.

사실 일주일 만에 탑티어 컨퍼런스 논문에 들어가는 contribution을 만드는 것은 무리였고, 그렇게 저희의 논문은 AAAI에 1차 Reject을 당하게 되었습니다. 저희 논문의 main concept은 비디오 검색을 위한 video-level feature를 기술하는 데 있어 비디오의 content와 무관한 frame들을 suppression 하여 검색 정확도를 높이는 것인데 사실 이를 위한 우리의 method가 없었기 때문에 approach 부분에서 조금 contribution이 부족했던 것이 전반적인 리뷰 결과였습니다.

1차 리뷰 결과가 9월 말 정도에 공개됐던 것으로 기억하는데 아마 그 당시에 저는 또다시 에트리 정례 회의를 준비하느라 AAAI 논문의 후속 작업을 바로 진행하기에는 어려움이 있었습니다. 에트리 정례회의가 10월 중순즘에 마무리가 되고 다시금 AAAI의 부족한 contribution을 만드는 대작전이 진행되었습니다.

이때는 상황이 조금 달랐던 것이 일단 조원 연구원이 베이스라인을 새롭게 잡은 상황(AAAI보다 기본 베이스 성능이 더 높아짐)에 다가 몇 가지 추가 모듈을 제안하여 Suppression에 걸맞은 스토리를 작성할 수 있는 상황이었습니다. 따라서 정말로 추가적인 모듈을 하나 정도만 더 제안할 수 있다면 method 측면에서 지적당했던 부분을 보완할 수 있다고 판단됐습니다.

그때 당시 저는 저대로 실험을 하고 있었고, 이광진 연구원은 이광진 연구원 따로 실험을 하고 있었는데, 결국 문제를 해결하려고 하는 방향이 비슷하여 서로 조금 의논을 하다 돌파구를 찾게 되었습니다. 그래서 최종적으로 Distractor Discrimination Stage라고 하는 모듈이 저희 논문에 추가가 되었습니다. 이 모듈이 고안되기까지의 과정을 간략하게 설명하면 아래와 같습니다.

• frame feature magnitude를 가지고 inference 과정에서 video-level feature를 기술할 때 thresholding을 진행하여 성능 변화를 관찰했습니다. 이 과정에서 성능이 꽤 많이 향상되는 경향성을 확인할 수 있어 magnitude 관점으로 irrelevant frame을 정의하는 것이 괜찮다라는 것을 확인할 수 있었습니다.
• 이 사실을 토대로 이광진 연구원과 논의하여 이를 학습 과정에 추가하는 방향으로 모듈을 설계 하게 됐습니다. Frame-level feature의 magnitude를 이용하여 foreground-background를 구분할 수 있는 pseudo-label을 생성하고 이를 토대로 foreground-background를 구분하는 이진 분류기를 모델에 추가하였습니다.
• 또한 위에서 추가한 분류기의 구조가 중간에 Gradient가 끊기는 부분이 있다는 것이 발견되어 학습 중간에 Thresholding을 하는 것이 아니라 training 과정에서는 Soft-attention 그리고 inference 과정에서는 thresholding의 구조로 변경하게 됐습니다. 이렇게 하면 training 과정에서는 Distractor Discrimination Stage에서 발생하는 output이 뒷단 Weight Generation Stage에도 영향을 끼치고 최종 Loss로부터 발생하는 gradient가 다시 Distractor Discrimination Stage로 흘러 들어왔기 때문에 Two-Stage이지만 End-to-End 방식으로 framework를 설계할 수 있었습니다.

위의 일련의 과정들을 통해 정말로 연구를 하고 있다는 기분이 들어 저는 나름 재밌었습니다.

무튼 이렇게 우리의 framework가 고정되고 난 이후부터는 계속 실험을 주구장창 했던 것 같습니다. 다행히 실험에 관련해서는 지난번 AAAI 작업 때 했던 것과 비슷하기도 하고 코드를 다루는 데 있어서는 이제 어렵지 않았기 때문에 여러 개의 실험을 병렬적으로 돌려 빠르게 실험 테이블을 채워나갔습니다.

논문이 어느 정도 윤곽이 잡힌 상황에서 저희 교수님이 고병수 연구원님을 저희 작업에 참여하시게끔 도와주셔서 고병수 연구원님의 피드백도 반영하며 논문을 완성시킬 수 있었습니다. 확실히 고병수 연구원님이 주시는 피드백은 저희가 놓쳤던 부분을 알려주시는 부분이 많아 논문의 완성도를 높이는 데 많은 도움이 되었습니다.

지금껏 참여한 논문 작업 중에서는 가장 느낌(?)이 좋지만 마음을 비우고 겸허한 자세로 이제는 리뷰를 기다리도록 하겠습니다.

느낀 점

사실 느낀 점은 위에서 거의 다 작성했고 여기서부터는 제가 개선하고 앞으로 어떤 부분에 집중을 하고 싶은지 작성해보도록 하겠습니다.

사실 비단 이번 CVPR 작성뿐만 아니라 CVPR 2022, IEEE Access, TMM, AAAI, CVPR 2023 등 여러 작업을 했지만 논문 제출의 모든 과정을 제가 다 알고 있다고는 생각되지 않습니다. 논문을 작성하는 것 말고도 여러 가지 process가 있는 것으로 알고 있는데 이 과정에는 제가 직접 관여를 하지 않았기에 아직 부족하다고 느끼고 있습니다. 사실 아직까지는 크게 문제가 되지 않았지만 같이 작업하는 조원 연구원도 졸업하고 저도 이제 스스로 논문을 작성하게 된다면 이런 부분을 더 이상 미룰 수는 없을 것 같네요.

논문의 figure를 만드는 것 역시 저는 아직 크게 신경 쓰지 않았습니다. 이전 작업에서는 조원 연구원이 figure를 맡아 주었고, 이번 작업에서는 김현우 연구원이 중점적으로 잡아줬기 때문에 저는 크게 관여하지 않았으나 이 부분 역시 제가 의식적으로 참여하지 않으면 대학원생이 된다 하더라도 나아지지 않을 것 같습니다.

아직 부족한 것이 많습니다. Overleaf를 다루는 것도 미숙하고 라이팅을 작성하는 것 역시 아직 부족합니다. 정말로 이제 학부생을 벗어나 대학원생이 된다고 생각하니 이런 저의 부족한 점들이 많이 걱정이 되네요. 설령 이번 논문이 운 좋게 accept이 된다고 해도 자만하지 않고 저의 부족한 점들을 하나씩 채워나가 결국에는 저 스스로도 탑 티어 논문을 submit 할 수 있을 정도로 나아가겠습니다.

이번 논문 작업은 일단 끝났고, 남아 있는 일정은 에트리 최종 보고서, 최종 회의 및 차기 단계 연구 방향 설정 정도가 있겠네요. 남아 있는 일정 잘 마무리하고 앞으로 석사 과정 때 어떤 연구를 할 것인지, 어떤 식으로 성장해 나갈 것인지 깊게 생각해보도록 하겠습니다.

논문 작성을 잘 마무리할 수 있도록 도와주신 모든 분들께 감사드리며 이번 논문은 나름 기대(?)를 가져보며 이번 작성 기를 마치도록 하겠습니다.

감사합니다.