CVPR 2022 논문 작성기

길고 길었던 Monocular depth estimation 논문 털기가 드디어 끝을 본 것 같습니다. 이 연구와 관련해서 할 이야기가 많아 굉장히 잡설이 길 것 같습니다 하하.

제 기억이 맞다면 연구실을 들어오기전 광개토관 5층에서 당시 연구실을 신청했던 분들과 교수님 이렇게 모여 각자 연구실에서 어떤 분야를 하고 싶은지 이야기 했던 자리가 있었던 것 같습니다. 그 자리에서 저는 아무 것도 몰랐지만 이번 논문의 큰 주제인 단안 카메라 기반의 깊이 추정을 골랐던 것 같습니다. 그렇게 3년의 시간이 흘러 처음 골랐었던 그 주제로 이렇게 큰 메이저 학회에 제출을 해보았다니 감개무량합니다. 사실 예전부터 이 주제에서 연구를 계속하고 싶었지만 작년까진 다른 이것 저것 일을 해서 처음하고자 했던 이 연구를 못했었습니다. 하지만 미래국방 과제를 맡아서 이 과제를 진행할 수 있게 되었고 처음에는 굉장히 좋았습니다. 그렇지만 언제나 연구가 순탄할 수 만은 없다는 것을 증명하듯 과제를 진행하며 원하는 결과가 나오지 못했고 그로인해 잠시 이 연구를 접었던 것 같습니다. 그렇게 했던 I2I에서 또다시 연구의 쓴맛을 맛본후 다시 이 monocular depth estimation이 저를 반겨 주었습니다. 연구가 진행 되지 않아서 슬럼프에 빠져 있었던 전 교수님의 권유로 이 주제로 CVPR2021 챌린지에 나가게 되었고 운좋게도 상을 받았었습니다. 이를 계기로 다시 이 연구주제에 빠져들었고 무조건 요기서 논문을 내자는 생각으로 논문이 될 것들을 찾았던 것 같습니다. 그러기 위해서 정말 닥치는데로 3년 정도의 관련 논문을 다 뒤져가며 현재 이 연구 주제의 동향과 사용되지 않은 방법론들을 그려봤던 것 같습니다. 이러한 시간이 논문의 큰틀을 잡는데 많은 도움이 됐던 것 같습니다.

논문을 쓰겠다는 생각을 가진 후 가장 처음 적용해야겠다는 생각했던 것은 Transformer 였습니다. 가장 핫한 방법론이였지만 Self-supervised monocular depth estimation에서는 적용된적이 없었고 성능을 올려줄 것이라는 저의 근거없는 확신으로 시작했던 것 같습니다. 이 근거없는 확신을 현실로 만들기 위해서 그당시 제가 찾아본 가장 좋았던 transformer 방법론과 작년 CVPR 논문 재작년 CVPR 논문 등 정말 여러 논문을 쓰까쓰까하며 키메라를 만들어 내었고, 그 키메라는 저희의 뼈대가 되어 주었습니다. 이 키메라의 저의 생각을 더해서 애매한 Sota를 만들 수 있었고 이 방법론을 처음에는 IEEE Access에 내기로 했었습니다. 하지만 이떄!! 신정민 군이 추석을 버리고 만들어낸 엄청난 성능을 본 후 저흰 CVPR 준비를 시작 …헀습니다.

그 이후로도 정말 많은 방법론의 변화가 있었던 것 같습니다. 저희가 생각했던 완성된 방법론의 문제를 발견한 후 그걸해결하기 위핸 실험들의 연속이였던 것 같습니다. 그래도 이러한 과정을 통해서 저희 방법론의 문제점을 최대한 다 없애고 논문에 실고자했던 시나리오와 실험들의 틀은 어느정도 갖췄던 것 같습니다. 그래서 최종 버전의 방법론이 나왔을때도 모든 실험이 생각보다 금방 끝났고 논문 속 실험 결과의 구성에 대해서 후회가 없는 것 같습니다.

이번 논문을 작성하며 가장 크게 느꼈던 것은 계획된 실험의 중요성과 동료의 소중함 인 것 같습니다. 앞으로의 연구에서는 실험을 잘 설계한 후 연구를 진행해야 할 것이며 동료와도 꾸준히 디스커션을 하며 발전을 해나가야할 것 같습니다. 거의 4개월간 길었지만 짧은 이 논문을 같이 해준 신정민 연구원에게 고맙다고 앞으로도 열심히 미래국방 과제를 해보자는 말을 전합니다. 또한 많은 도움을 주신 교수님과 김남일 연구원님에게도 감사의 말전하고, 저희 팀의 막내인 조영래 연구원에게 다음 논문에서는 더욱 많은걸 시킬테니 기대하라는 말을 남기고 후기를 끝내도록 하겠습니다. 모두 감사합니다.