겨울 방학때 작성 했던 IEEE Access 저널 페이퍼가 이번에 Accept이 되어 이러한 작성기를 남기려고 합니다. 우선 논문의 전체적인 방향을 잡아주고, 주도적인 라이팅을 담당한 조원 연구원에게 고맙다는 이야기를 먼저 전하도록 하겠습니다. 그리고 또한 논문의 지도를 맡아주신 최유경 교수님에게도 감사의 말씀 전하면서 이번 작성기를 시작해보도록 하겠습니다.
사실 처음에 저널 페이퍼를 작성할 때를 돌아보면 그때는 상당히 지쳐있었습니다. CVPR 논문 작성에 에트리 과제 마감 및 연차 보고서 작성 거기에 기말고사 시험까지 있었기에 저널 페이퍼를 시작하기에는 거부감이 좀 있었습니다. 이때 조원 연구원이 구상한 아이디어를 확인할 실험을 계획하고 결과를 만들어주면 논문에 저자로 넣어주겠다는 제안 해서 고민을 하게 되었습니다. 사실 당시에는 논문 안 쓰고 다른 것들에 좀 집중하고 싶었지만 남는 건 논문 뿐이지 않을 까라는 마인드로 같이 작업을 시작하게 된 것 같습니다.
TNIP
제가 맡게 된 주된 역할은 기존 CDVA에서 사용하던 딥 피쳐인 NIP를 대체할 수 있는 새로운 딥 피쳐인 TNIP를 구현하는 것이었습니다. 단순히 생각만 했을 때는 비교적 간단해 보였고 당시에는 일주일이면 다 뽑을 수 있겠다 라는 생각이었습니다. 하지만 생각보다 실험이 오래 걸렸습니다.
우선 비디오 데이터 로더를 완벽하게 구현하는 데 계속 시간이 소모되었습니다. 당시에는 코드 병렬 처리에 익숙지 않았고(사실 아직도 어렵긴 합니다.) 또한 여러 가지 비디오 백본, 그리고 여러가지 parameter setting 등등 일주일로 계획했던 실험은 계속 늘어지면서 거의 한 달 넘게 소모가 되었습니다. 무엇보다 가장 큰 어려움은 실험 결과가 예쁘게 나오지 않았다는 점입니다. CLIP level의 feature를 사용해서 기존 CDVA NIP 보다는 성능 향상을 꾀할 수는 있었지만, 우리가 사용할 데이터셋의 특성을 반영한 분석을 내놓기에는 결과의 경향성이 좋게 나오지는 않았습니다.
더군다나 CDVA 자체의 retrieval 도 오래 걸릴뿐더러 CDVA의 parameter까지 변경해보면서 실험을 하는 삽질의 과정을 거쳐서 사실 실험이 끝날 기미가 보이질 않았습니다.
결과가 계속 예쁘게 나오지 않던 상황에서 에라 모르겠다 하고 퇴근하기 직전에 갑자기 생각난 아이디어 세 가지 케이스를 빠르게 구현하고 퇴근을 하였습니다. 아니나 다를까 세가지 케이스 중 하나가 경향성이 좋게 나오는 것을 확인하고 곧바로 실험에 가속을 가하기 시작했습니다. 원래 초기 TNIP 구상과는 조금 달라져서 그림이나 글을 수정해야 했지만 이 부분은 조원 연구원이 예쁘게 마무리를 해주었고, 저는 남은 실험들을 차곡차곡 다시 진행하여 테이블을 채워나갔습니다.
Writing
정확히 기억은 안 나지만 2월 초에 이렇게 실험이 마무리가 되고 저도 이제 논문 라이팅을 참여하게 되었습니다. Related Work와 Implementation Detail 그리고 Experiments 부분을 할당받아서 일단 나름대로 라이팅(?)을 착수하게 되었습니다. 사실 X-Review 같은 건 있는 논문의 내용들을 사실 위주로 잘 정리하면 되는 글쓰기 이기 때문에 술술 적히는 감이 있었지만, 논문 라이팅은 그런 게 아녔습니다. 가장 힘들었던 부분은 Experiments 부분에서 우리의 분석을 서술하는 부분이었습니다. 실험에서는 우리가 이러한 성능을 달성했다는 식의 보고서 느낌이 아니라, 결과를 토대로 분석을 진행하고, 분석을 통해 우리의 주장을 뒷받침할 수 있다는 식으로 서술해야 한다는 점입니다. 그래서 우리의 주장을 뒷받침하기 위한 그 나름대로의 이유를 만드는 것이 참으로 어려웠습니다. 최종 제출본은 제가 작성한 초안에서 조원 연구원이 더 보강하여 라이팅이 마무리가 되었습니다.
전반적인 라이팅은 조원 연구원이 주도해서 논문을 안정적으로 마무리할 수 있었지만, 다음부터는 스스로 논문 라이팅을 마무리할 수 있도록 노력해야겠다는 생각이 들었습니다.
etc..
실험과 라이팅 말고도 자잘하게 좀 느낀 점을 얘기해보면 논문의 레퍼런스를 bibtex를 이용해서 다는 법이랑 알게 되었습니다. 그리고 영어 문장 패러프레이징 하는 사이트를 알게 되었고, 패러프레이징은 논문 라이팅에 있어서 중요하다는 것을 깨달았습니다. 마지막으로 ppt는 생각보다 그림을 예쁘게 그릴 수 있다는 것을 깨달은 것 같습니다.
CVPR 논문 작성 때는 사실 정신없이 폭풍이 몰아치는 기분이어서 논문의 전반적인 프로세스를 사실 제대로 느끼기 어려웠는 데, 이번 저널을 작성할 때는 비교적 조원 연구원이랑 둘이 두 달가량 작성하는 탓에 옆에서 많은 것을 볼 수 있었습니다. 논문을 제출까지 하기 위해서는 신경 써야 할 부분이 상당히 많고, 논문을 잘 쓰기 위해서는 여러 가지 스킬을 요구로 한다는 것 역시 직접 깨닫게 된 것 같습니다.
연구실 들어온 지 이제 1년 된 것 같은데, 좋은 기회를 잡을 수 있게 되어 다행이라고 생각합니다. ICT 논문 작업도 조금 남아있는 데, 잘 준비해서 별다른 리비전 없이 이것도 한방에 통과하면 더할 나위가 없을 것 같습니다. ICT 논문 작업까지 마무리가 된다면 다음 논문은 Temporal action Localization라는 주제로 주도적으로 논문을 준비해도록 하겠습니다.
이상으로 저널 작성기를 마무리 하도록 하겠습니다.
분 탓일 까요. 교수님이 해당 작성기를 부탁한 이유를 한번 쯤 두번 쯤 곱씹어 보았으면 좋았을텐데 하는 아쉬움이 있네요. 어쩌면 지금의 글은 현재 우리 임근택 연구원의 마음 상태를 고스란히(?) 담고 있는 것이 아닐까 합니다.
교수님은 아마도 바쁘고 정신없지만 여러분에게 이런 작은 성과가 발생했을 때 가져볼 수 있는 짧지만 밀도 높은 여유가 글에 반영되길 기대했던 것이 아닐까 합니다.
어린이 대공원이 아주 예쁘다고 하더군요. 다음 주 초에 마음의 여유를 가지고 한번 돌아보세요.
그런 후 지금의 글에 담아야 하는 것은 아니니,,, 1년전 본인과 지금의 본인을 떠올려보기도 하고, 지난 일년 간 연구실 생활도 회고하는 시간을 가져보길 희망합니다.
사고의 전환과 확장, 그리고 이를 통한 성장은 이런 단계를 통해서 이루어 진답니다.
1년이란 시간이 지난 만큼 조금 더 밀도있게 돌아봤을 때 좋았을 텐데, 그렇지 못한 것 같습니다. 시간을 가지고 스스로 모습을 한번 돌아 보도록 하겠습니다! 감사합니다.