이번 X-Review는 논문 작성기로 대체하려고 합니다. 느낀 점도 많았고 이 생생했던 감정과 기억들이 사라지기 전에 글로 잘 남겨놓으면 나중에도 두고두고 보게 될 것 같습니다. 정말 짧은 기간 동안 논문을 구상하고 빠르게 빠르게 진행이 되었는데 첫 시작부터 한번 얘기해 보도록 하겠습니다.
가장 먼저 논문의 백그라운드가 되는 아이디어는 에트리 연구과제 9월 회의를 준비하면서 나온 이야기였습니다. 비디오의 검색과 매칭을 동시에 수행하는 일종의 통합 프레임워크를 제안하는 방향이었습니다. 결국 비디오 팀끼리 논의를 하다 결국 이러한 방향으로 논문의 주제를 잡게 되었고 대략 10월 중순부터 논문 작업을 진행하게 되었습니다. 사실 논문을 처음 시작할 때는 CVPR에 제출하는 것에 대해서는 상당히 회의적인 생각을 가지고 있었습니다. 대략 한 달 정도 남은 시점에서 어떻게 글을 쓰고 어떻게 실험을 하고 어떻게 준비를 하라는 것인가… 아마 비디오팀 모두 이러한 상황 정도는 알고 있었겠지만 그래도 다들 그런 각오로 임했던 것 같습니다. 결국 시간이 없다고 저널로 돌리게 되면 하염없이 연장이 될 것 같으니 죽이 되든 밥이 되는 무조건 CVPR에 제출해보자!!!
결국 목표는 CVPR에 제출을 하는 것으로 결정되었고 우리 팀은 남은 기간 분주히 움직이기 시작했습니다.
다들 각각 일정 파트를 맡게 되었고 본인은 그중에서 논문에 들어갈 실험을 맡게 되었습니다. 거의 한 달 내내 코드랑 먹고 자고 같이 살았던 거 같은데 우선 이 부분에 대해 느낀 점을 좀 얘기해볼 수 있을 것 같습니다.
사실 초반에는 실험을 돌리면서 실험이 아직 몇 개 없다 보니, 체계적으로 관리까지 하지는 않았는데 이게 점점 실험도 추가되고 변경되고 그러다 보니 확실히 관리의 필요성을 느끼게 되었습니다. 내가 지금 보고 있는 이 체크포인트가 어떤 실험 세팅으로 돌린 거였더라 라는 상황을 맞이하게 되면서 실험 노트 같은 거라도 하나 마련해서 차곡차곡 정리를 해야겠구나를 느꼈습니다.
또 하나 얘기하고 싶은 부분은 비디오 관련 실험입니다. 이전까지는 그냥 별생각 없이 실험을 돌렸던 거 같은데 분명히 비디오 관련 실험을 조심해야 하는 부분이 상당히 많습니다. 그래서 예외처리에도 많은 신경을 써주어야 하는데 예를 들면
- 비디오가 정상적으로 읽히다가 마는 비디오가 있다. -> 이러면 read를 하다 끊긴다
- 비디오의 길이가 10분이 넘어가는 비디오가 있다. -> 비디오 프레임 전체를 읽어버리면 메모리가 터져버린다.
- 데이터셋에 존재하는 비디오 파일의 확장자가 다르다. -> 가끔 문제를 일으키는 확장자들이 있다.
- FPS가 1000으로 읽히는 비디오가 있다. -> 전체 프레임수가 너무 많이 나오니 FPS를 변환해주어야 한다.
등등 이번 논문 실험을 하면서 비디오 데이터를 다룰 때 내가 어떤 점들을 고려해야 코드가 중간에 끊기지 않고 잘 돌아갈 수 있는지 그러한 지식을 많이 습득할 수 있었습니다. 아마 비디오 연구를 계속하게 된다면 분명히 이런 부분은 피가 되고 살이 될 것 같습니다.
여담으로 저는 실험을 돌리기 전에 겁이 조금 났습니다. 처음 보는 장황한 코드도 반갑지는 않았고 가장 중요한 건 시간이 얼마 남지 않은 상황에서 실험이 혹은 성능이 제대로 나오지 않게 됐을 때의 경우를 생각하게 되니 약간 부담을 느꼈던 거 같습니다. 그래서 항상 코드를 돌리기 전에 몇 번이고 확인하고 돌려봤던 거 같습니다. 내가 입력값은 제대로 넣어준 것이 맞는지 내가 만들어준 쉘 파일에서 잘못 세팅된 것은 없는지 등등 결과적으로 이러한 과정이 시행착오를 줄이는데 많은 기여를 한 것 같습니다.
실험을 돌리면서 중간중간 논문의 라이팅도 하게 되었는 데 사실 이게 정말 막막했던 것 같습니다. 이렇게 써봐도 구려 보이고 저렇게 써봐도 구려 보이는 그래서 다른 논문에서는 비슷한 주장을 하기 위해 어떤 표현을 사용하는지 많이 참고했던 거 같습니다. 라이팅을 조금 하면서 느낀 건 X-Review 잘 써야겠구나..ㅎㅎ 정도였고 한 가지 더 얘기를 해보자면 이제는 논문을 읽을 때 휙 읽고 넘기는 게 아니라 이러한 의미를 전달하기 위해 이러한 문장으로 구문으로 표현을 하는구나 이런 것들도 의식을 하면서 읽어보기로 하였습니다. 결국 논문에서 자주 쓰는 표현이 있을 것이고 논문 읽을 때 그런 부분들을 체크해두면서 읽어나가면 나중에 또 논문을 작성할 때 훨씬 수월해지지 않을 까라는 생각이 들었습니다.
또 다른 얘기를 해보자면, 이 부분은 현재도 자신이 없고 미래에도 음 답은 보이지 않지만 좋은 논문을 쓰기 위해서는 그림이나 그래프 등을 정말 느낌 있게(?) 그리는 것도 중요하구나 라는 것을 느꼈습니다. 사실 이 부분은 모르겠습니다. 어떻게 연습을 해야 하는 것인지 아직 감이 잡히지는 않지만 뭐 연구실 생활 계속하다 보면 늘지 않을까?? ㅋㅋ
마지막으로 정리를 해봤을 때 가장 중요한 것은 우리가 주장하는 논지가 무엇인지 항상 고민해야 한다는 것입니다. 본인은 실험 쪽에 무게가 좀 쏠리다 보니 논문의 전체적인 방향과 주장에 대한 팔로우업을 완벽히 하지 못했었습니다. 우리의 work을 완벽하게 이해해야 논문의 저자로써 자격이 생긴다는 얘기를 교수님에게 들었었고 저 또한 그 부분에 대해서 이번 논문을 통해 동의하게 되었습니다.
인생에 있어서 이렇게 짧은 기간 동안 무언가에 몰입해본 경험은 논문 작성이 처음인 것 같습니다. 처음 논문을 쓸 때는 회의적이었지만 지금에 와서는 애착이 무척 가는? 그런 녀석으로 변하게 되었습니다. 당연히 붙으면 좋겠지만 큰 기대는 하지 않는 선(이래야 마음이 편할 것 같은..)에서 결과가 나오는 동안 또 다른 일에 열심히 임하도록 하겠습니다.
이상으로 작성기를 마치도록 하며 논문 작성에 도움을 주신 많은 분들께 감사 인사를 드리도록 하겠습니다.
