<2022년 RCV 연구실 생활을 마무리 하며>

길지도 짧지도 않았던 2022년이 거의 끝나가고 있습니다. 이 시점에서 다사다난 했던 올해를 마무리해보고자 합니다.

우선, 올해는 작년보다 많은 논문을 쓰게 되었고, 특허 또한 더 많이 출원하게 되었습니다. 논문과 특허 기록을 정리해보자면 아래와 같습니다.

제출 일자	제목	학회 (C) / 저널 (J)	저자	결과	재제출
02.25	Exploring the Temporal Cues to Enhance Video Retrieval on Standardized CDVA	(J) IEEE Access	1	Accept	X
04.11	Compression Method for MPEG CDVA Global Feature Descriptors	(J) Journal of Broadcast Engineering	2	Accept	X
05.07	Simultaneous Video Retrieval and Alignment	(J) IEEE Transactions on Circuits and Systems for Video Technology	1	Immediate Reject	X
05.20	Simultaneous Video Retrieval and Alignment	(J) IEEE Transactions on Multimedia	1	Reject	O
08.15	VVS: Video-to-Video Retrieval With Irrelevant Frame Suppression	(C) AAAI 2023	1	Phase 1 Reject	X
09.08	Multispectral Benchmark Dataset and Baseline for Forklift Collision	(J) Sensors	2	Major Revision -> Accept	X
10.10	Simultaneous Video Retrieval and Alignment	(J) IEEE Access	1	Minor Revision	O
11.11	VVS: Video-to-Video Retrieval With Irrelevant Frame Suppression	(C) CVPR 2023	1	Under Review	X
11.25	VERD: Emergence of Product-based Video E-commerce Retrieval Dataset	(J) Sensors	2	Minor Revision	X
12.07	Video Feature Description Method for Content-based Video Retrieval	Thesis	1	Accept	X

제목	관련 논문	상태
[10-2021-0173248] 동시적인 비디오 검색 및 정렬 기법	Simultaneous Video Retrieval and Alignment	출원 완료 등록 심사
[10-2022-0087969] 비디오 검색을 위한 영상 특징 서술자 추출 방법 및 장치	Exploring the Temporal Cues to Enhance Video Retrieval on Standardized CDVA	출원 완료 등록 심사
[10-2022-0152725] 동영상 검색을 위한 동영상 특징 서술자 추출 방법 및 그 장치	VVS: Video-to-Video Retrieval With Irrelevant Frame Suppression	출원 완료 등록 심사

정량적으로 세어보면, 논문은 10회 제출 중 4편 게재 / 3편 대기 / 3편 거절 의 결과를 얻게 되었습니다. 여기서, 개별적인 이유로 수정 없이 새로운 곳에 투고된 경우는 재제출 표시 해두었고 (O), 같은 논문 명이라도 새로 제출할 때 아예 새로 방법이 바뀐 경우는 재제출 표시를 하지 않았습니다 (X).

보시다시피 올해는 꽤나 많은 논문 투고를 하게 되었습니다. 이렇게 많은 투고를 하게 되었던 이유는 작년 이맘때 정량적인 실적이 부족하다고 생각했던 것 때문에, 시작되었던 강박 (?) 같은 것으로부터 비롯되었습니다. 실제로 작년에는 연구실 처음에 들어와서 했던 연구들 (Calibration, RGB-T Alignment, Visual Localization, etc.) 과는 전혀 다른 Video Retrieval 연구를 본격적으로 시작하게되었고, 새롭게 도전하다보니 시행착오를 많이 겪게되었습니다. 그리고 연구 과제 미팅도 거의 한달에 한번 꼴로 잡혀있었고 논문도 주저자로 처음 쓰다보니, 논문 작성 횟수도 많지 않았었고 실적도 내기에도 어려웠습니다. 그래서 그런지 작년에는 학회 제출 2회(ACMMM, CVPR)를 하긴 했으나, 둘 다 모두 떨어지게 되었었습니다. 결과적으로 3년간 코딩이나 writing 등등 여타 연구와 관련된 스킬들을 열심히 쌓았다고 생각했는데, 작년 기준으로는 유의미한 실적이 하나도 없이 마무리한 한해가 되어 개인적으로는 아쉬웠습니다. 이러다 보니, 올해에는 실적의 양을 늘리는 것에 초점을 두고 연구를 진행하게 되었습니다.

비록, 올해 초에는 무조건 메이저 학회 논문 한편의 목표를 가지고 시작했음에도 아직 그 목표를 달성하지 못하여 만족스러운 한해라고 말하기는 어려운 상황이기는 하지만, 그래도 여러 편의 논문을 쓰다보니 느꼈던 부분에 대해 공유를 해보고자 합니다.

우선, 가장 크게 느꼈던 부분은 논문 투고의 모든 프로세스를 온전히 스스로 수행할 수 있도록 연습해야한다는 것입니다. 여기서 논문을 모든 프로세스를 온전히 스스로 수행할 수 있는 것의 의미는 자신이 주도적으로 실험 설계 및 수행 하고, 주장하고자 하는 내용의 스토리도 짜보고, 글 작성도 온전히 하는 과정을 의미합니다.

물론, 다른 사람과 협업 또한 중요하고 그 과정에서 서로 잘하는 것을 분업하는 것이 중요하기는 합니다. 그러나, 연구원분들은 현재 연구실에 속해 있으면서 주로 같은 동료랑 2년 내지 4년 정도를 협업할텐데, 그 동안 서로 잘하는 것만 하다보면 자신이 못하는 것에 대한 능력은 키우지 못하게 됩니다. 그럴 경우, 졸업하고 회사나 연구소로 환경이 바뀌었을 때, 그 곳의 동료와 같은 부분을 못한다면 이후 연구를 하는데 있어 힘들지 않을까 싶습니다. 예를 들어, 논문 작업동안 코딩만 하고 스토리 라인 잡는 거나 글 작성은 안해봤을 때, 졸업 이후 묶여진 새로운 팀에서 안해본 부분을 요구한다면 주변 팀원보다는 뒤쳐지게 될겁니다. 이에 따라, 회사나 연구소는 대학원에 비해 배운다는 것보다는 실력을 직접적으로 평가받는 느낌이 더하기 때문에 진로를 나아가는데 있어 우회해야할 수도 있습니다.

그래서, 직접적으로 능력을 평가 받는 회사 혹은 연구소 이전, 실력을 기르는 대학원 단계에서 논문 쓰는 전체 프로세스를 경험해보고 키워보는 게 좋지 않을까 생각하게 되었습니다. 물론, 이 얘기는 논문을 쓰는 것뿐만 아니라 연구 과제 관리, 조교 업무 등 연구실에서 겪는 여러 일에도 일맥상통하게 적용됩니다.

둘째로는, 최대한 논문을 많이 써보는게 중요하다는 것입니다. 논문을 쓰다보니, 처음 논문을 썻을 때와 느끼는 차이점은 논문의 구조가 머리 속으로 잡힌다는 것입니다. 실제로 작년 초반, 주도적으로 처음 논문을 썻을 때는 감도 안잡혔습니다. 매주 x-review를 하면서 논문을 많이 읽긴해서 introduction에서는 contribution을 소개하고, related work에서는 관련 논문을 소개하는 등 간략한 구조정도야 알고 있었지만, 그것은 남들이 쓴 논문을 읽을 때 뿐이고 실제로 아무것도 없는 백지에서 논문을 쓸 때는 그 구조내에서 어떤 식으로 글을 써야하는지, 어떤 순서로 글을 서술해야 읽는 사람 입장에서 읽기 편한지에 대해 잘 몰랐었습니다. 그래서, 처음 작성할 때는 스스로 논문을 쓰고 마음에 들지 않아 4번정도를 갈아엎었던 것 같습니다.

그러나, 이런 과정을 거치며 그 당시에는 제가 쓸 수 있었던 최선의 글을 썻음에도 불구하고, 여러 번의 논문을 쓰는 과정을 거친 후인 지금의 제가 다시 그 글을 봤을 때, 생각보다 마음에 들지 않는다라는 생각을 하곤 합니다. 이는 여러 번의 논문을 쓰면서 자잘한 내공들이 쌓여서, 그 땐 보이지 않았던 것들이 보이게 된게 아닌가 싶습니다. 이뿐만 아니라 논문을 쓰다보면 프로세스의 속도도 빨라지게 됩니다. 예를 들어 글 작성의 경우, 맨 처음 썻을 때는 작성만 2달 정도 걸렸음에도 기한이 모자라 제출했었습니다. 그러나, 지금은 실험 결과랑 그림을 모두 들고 있다면, 글 작성하는데 2주일이면 충분합니다. 이처럼 글을 서술하는 능력이나 속도가 자연스럽게 늘기 때문에 논문을 최대한 많이 써보는 것을 추천드립니다.

마지막으로는, 저널로 논문 연습을 한두번 했다면 메이저 학회에 도전하는게 연구원 개인의 성장과 연구실의 성장을 위해 필요하다는 것입니다. 처음에는 당연히 저널로 연습하는게 좋다고 생각합니다. 저널의 경우 학회와 달리 revision이라는 decision이 있어, 놓친 부분을 수정할 기회가 있기 때문입니다. 이러한 기회로 인해 상대적으로 학회보다는 투고한 논문의 게재 확률이 높아, 최소한의 실적을 들고 있을 수 있다는 장점이 있습니다. (물론, 일반적인 저널의 프로세스가 학회 대비 상당히 길기 때문에, 이러한 장점을 잘 살릴려면 프로세스가 빠른 저널을 노리는게 중요합니다.)

이렇게 최소한의 실적을 들고 있고, 논문 쓰는 전반적인 프로세스에 대해 연습을 해보았다면, 메이저 학회에 도전해보시길 바랍니다. 이는 저희 분야에서는 저널보단 학회에 많은 초점을 두기 때문입니다. 실제로 각 연구원들이 개인 연구를 위해 서베이를 할 때, Transaction 류의 메이저 저널의 논문보다는 CVPR, ICCV 같은 메이저 학회가 많다는 점 또한 이를 반증하지 않을까 싶습니다. 또한, 우리나라에서 메이저 랩이라고 불리우는 연구실들도 대부분 메이저 학회를 많이 써서 유명해진 곳이 많습니다. 이뿐만 아니라 메이저 저널은 게재까지 약 1년이 걸리는 반면, 메이저 학회는 길어도 반년 정도로 (decision 까지는 3개월정도) 더 짧다는 이점도 있습니다.

이처럼 저희 연구실이 다루는 분야에서는 메이저 학회의 장점이 분명함에도 불구하고, 메이저 학회의 논문이 나오지 않고 있으며, 범위를 더 넓혀 세종대학교 내에서도 나오지 않고 있습니다. 이것에 대해 한번 교수님과 얘기를 나눴던 적이 있었는데 (세종대학교에서는 왜 메이저 학회의 논문이 나오지 않을까), 그 얘기의 결론은 메이저 랩이라고 불리우는 연구실이 많은 서카포 대비 상당히 적게 투고하기 때문이라는 것이었습니다. 물론, 그 학생들이 수능을 더 잘보았기에 평균적인 수학 능력은 저희 학교 학생들보다 높을 것이라 생각합니다. 그러나, 연구를 한다는 것과 수능을 잘본다는 것이 온전히 동일하지 않을 뿐더러, 단순히 수학 능력차이라기에는 투고 횟수 자체가 다릅니다. 결과적으로, 저희 연구실이 신생랩에서 메이저 랩으로 도약하기 위해서 메이저 학회의 논문이 많이 필요하며, 이를 위해 메이저 학회에 도전하는 횟수가 늘어야하지 않을까 싶습니다.

결론적으로 위 내용들을 종합해봤을 때, 연구원분들께 드리고 싶은 가이드라인은 다음과 같습니다.

만약, 학부연구생으로 1년이상 연구실 생활을 하고 석사 과정 진학을 할 경우, 학부생일 때는 챌린지 같은 것에 참여하면서 최대한 코딩 관련 실력을 기르는 것이 좋습니다. 그래서 졸업을 할 때쯤이면, 서버 내에서 환경세팅은 쉽게할 수 있을 정도, 코드가 공개된 깃허브의 성능 원복을 1주일 내로 할 수 있을 정도 (이 기간은 분야마다 학습시간이 달라 편차가 있긴 합니다.) 의 실력을 목표로 하는 것이 좋을 것 같습니다. 이 정도면, 다른 사람과 협업을 하거나 개인 스스로의 연구를 할 때 실험 속도로 발목잡힐 일은 없다고 생각합니다.

그리고, 석사로 입학하게 되면, 최대한 빨리 프로세스가 빠른 저널에 도전을 하여 논문 쓰는 과정 전체를 스스로 경험해보기를 추천드립니다. 처음으로 메인이 되어 논문을 쓰다보면, 생각보다 오랜시간이 걸리기도하고, accept decision을 받기도 어렵습니다. 때문에, 빠르게 저널에 도전을 하여 석사 1년차 때는 논문의 전체 프로세스에 익숙해지는 것을 목표로 두면 좋을 듯 합니다.

마지막으로, 석사 2년차 혹은 그 후에는 메이저 학회에 도전하는게 좋을 것 같습니다. 물론, 앞서 저널에 게재를 하였다면, 졸업요건을 맞추긴 하였지만, 다들 졸업만을 목표로 삼고 있는 게 아니라, 좋은 직장으로의 취업 혹은 좋은 연구자를 목표로 하고 있을 것이라 예상되기 때문에 이 시기에는 메이저 학회에 많이 도전해봐야합니다. 당연히, 연구 과제 실적을 맞추기 위해 저널 투고를 아예 배제할 수 없지만, 이외에 메이저 학회를 한번쯤은 써보는 것을 추천드립니다.

만약, 연구실 생활을 시작함과 (1년 내) 동시에 석사를 시작하게 되었다면, 사실 위 경우보다는 시간이 좀 더 필요하기는 합니다. 실제로 이전에 프로젝트 경험을 많이 하지 않았다면, 실험하는데 있어 코딩이나 환경세팅이 발목을 많이 잡을 것이라고 예상됩니다. 그러므로, 위에 공유했던 세가지 중 첫번째랑은 조금 상충되지만, 석사부터 시작한다면 시간이 많지 않기 때문에 자신이 잘하는 것에 가장 초점을 두는 것이 좋다고 생각합니다.

연구실 들어오기 전에 프로젝트를 많이 해서 코딩 실력은 좀만 다듬으면 될 경우, 위 가이드라인과 같이 석사 1년차 때는 저널로 연습하고 2년차 때는 메이저 학회 도전을 해봐도 상관없지만, 그렇지 않다면 그 외의 잘하는 능력을 기르고 자신이 못하는 것을 잘하는 동료를 찾는 것을 추천합니다. 석사 과정 자체가 2년이기는 하지만, 조교 업무, 졸업 논문 준비 등을 하다보면 생각보다 시간이 없기 때문에 어쩔 수 없이 선택과 집중을 해야합니다.

이러한 여러 생각들이 드는 올해를 보내고, 내년에는 저도 위에 썻던 생각과 마찬가지로 메이저 학회에 계속 도전하고자 합니다. 그리고, 박사진학을 준비하는 6개월 동안은 박사 과정이라 생각하고, 원래 계획했던 연구를 수행해나가고자 합니다. 구체적으로 비디오 내의 event를 구별 및 인식 하는 것에 초점을 맞출 생각이며, 정량적으로는 메이저 학회 4편 투고 및 1편 게재를 목표로하고 있습니다.

여튼 제 연구에 있어서의 한 해를 정리하면서 느꼈던 생각과 조언이 이 글을 읽는 누군가에게는 도움이 되었으면 하는 마음으로 글을 마칩니다. 읽어주셔서 감사합니다.