들어가며
RCV 사이트에서 제가 가장 마지막으로 쓴 글을 돌아보니 24년도 회고 글이네요.
저는 25년도 회고를 건너 뛰었는데, 이번 글에서 간단하게 언급하면서 26년도 상반기 회고 시작하겠습니다.
좋은 연구란 무엇인가
새로운 연구실에서 인턴을 진행하다 중간에 정리하고, ICCV에 제출했던 논문도 Reject을 먹고, 개인적인 이슈도 좀 있었고… 아무튼 꽤 다사다난했는데,
26년 상반기가 지난 지금 다시 한번 돌아보니, 작년은 나름 중요한 걸 하나 배웠던 한 해였던 것 같습니다.
새로운 환경에서 연구를 해보는 과정에서 좋은 연구란 무엇인가를 고민할 수 있는 시간들이 많았던 것 같습니다.
서울대 연구실에서는 매주 그곳의 박사님과 미팅을 했는데, 제가 준비해 간 내용이나 주장, 연구 주제가 엎어지는 게 거의 일상이었습니다. 저는 그동안 방법론 위주의 연구를 많이 해왔기 때문에 성능 개선이나 기존 연구와의 작은 차별점에 집중하는 편이었는데,
Method에 있어 차별성 보다는 주제 자체가 정말 그게 중요한 문제인가?
여기에 무게를 좀 더 두어 미팅이 흘러갔던 것 같습니다.
ICCV에 제출했던 Scene Graph Generation 연구도 돌이켜보면, Motivation ≠ Novelty라는 말을 보여주는 전형적인 Incremental Research에 가까웠다고 생각합니다.
NAVER에서 인턴을 시작하고 나서도 매주 미팅을 했는데, 3개월 동안 주제가 좀처럼 정해지지 않았습니다. 정확하게 말하면 주제가 없었던 것은 아니고, 연구의 scope을 계속 좁히고 명확하게 만들어가는 과정이었습니다.
아무튼 쉽지는 않았습니다.
논문의 Reject, 새로운 연구 주제 탐색처럼 사고의 전환을 요구하는 일들이 계속 발생하다 보니 결국 한 가지 고민으로 돌아오게 되었습니다.
좋은 연구가 그래서 뭐임??
그 답을 찾고 싶어서 작년부터는 어느 Group이 연구를 잘하는지, 어떤 사람들이 좋은 연구를 만드는지 정말 많이 찾아봤던 것 같습니다.
생각해보면 연구실 초창기에 교수님께서 논문을 읽을 때는 잘 나가는 Leading Group의 연구를 봐야 한다고 말씀하신 적이 있습니다.
당시에는 Kaiming He, Ross Girshick 등이 있던 FAIR 같은 그룹을 예로 들어주셨는데,
5년 정도가 지나고 나서야 그 말의 무게를 조금 알게 된 것 같습니다.
그래서 지금 저에게 좋은 연구가 무엇이냐고 묻는다면, 물론 정답은 없겠지만
Simple & High Scalability & Generalization
대략 이런 느낌인 것 같습니다.
“아니, 너무 당연한 소리 아님?”
이라고 하면 사실 할 말은 없습니다.
그런데 놀랍게도 작년 초까지의 저에게는 저런 기준 자체가 별로 없었습니다. 아무 생각이 없었어요 그냥…
대 AI, Claude 딸깍 자동화 시대에서 AI Research Scientist로 살아남기 위해서는 좋은 알고리즘을 만드는 능력만큼이나 좋은 질문을 던지는 능력이 앞으로 더 중요해질 것 같습니다.
그래서 제 박사 과정은 단순히 더 좋은 알고리즘을 만드는 시간이 아니라,
좋은 질문이 무엇인지 고민하고, 직접 부딪혀보고, 실패하면서 제 나름의 연구관을 만들어가는 시간이 되지 않을까 생각합니다.
Co-Work의 중요성
석사 과정 때의 연구실 생활이 졸업까지 정해진 기간 안에서 단계별 과업을 하나씩 수행하는 느낌이었다면, 박사 과정에서의 연구실 생활은 그 무게가 조금 다른 것 같습니다.
그리고 저 역시 다르게 생각해야 한다고 느끼고 있습니다.
석사 과정 때는 제 논문 하나를 쓰는 것도 벅찼고, 그것이 가장 중요하다고 생각했습니다. 그래서 다른 사람들이 무슨 연구를 하는지 크게 관심을 가지지도 않았고, 중요하게 생각하지도 않았던 것 같습니다.
그런데 서울대 연구실에서 인턴을 하면서 인상 깊게 본 모습이 하나 있었습니다.
그곳의 박사 고년차 연구원분이 연구실에서 진행되는 여러 연구를 함께 봐주면서, 매일 아침 진행 상황을 스몰토크 하듯 이야기하고,
“이건 이렇게 해보자.”
“저건 저렇게 바꿔보자.”
하면서 자연스럽게 연구의 process를 만들어가는 모습이었습니다.
저는 이후 연구실을 떠났고, 약 1년 정도가 지난 뒤 최근 코엑스에서 열린 ICML에서 오랜만에 그분을 만나게 되었습니다.
그런데 당시 연구원 한 명씩 맡아 함께 진행했던 연구들이 EACL, ICRA, WACV, ICML Spotlight 등 좋은 학회의 논문으로 하나둘 마무리되어 있었습니다.
그걸 보고 문득 이런 생각이 들었습니다.
좋은 연구를 혼자 잘하는 것과, 주변 사람들이 좋은 연구를 할 수 있도록 함께 고민하고 연구가 굴러가는 환경을 만드는 것은 또 다른 능력이라는 생각이 들었습니다.
그래서 저도 아직 많이 부족하지만, 연구실에 그런 분위기를 조금씩 만들어보고 싶다는 생각을 하게 되었습니다.
현재는 6층 인원들끼리 CVPR을 목표로 비슷한 주제를 연구하는 사람들끼리 매주 미팅을 진행하고 있습니다.
이번 연구들도 잘 마무리되었으면 좋겠고, 결과와 별개로 앞으로도 서로의 연구를 같이 고민하고 이야기를 나누는 분위기가 계속해서 형성되었으면 좋겠습니다.
논문 계획
연초에 목표했던 논문은 운이 좋게 ECCV에 한 번에 억셉이 되었네요.
이번 논문은 method를 고도화하는 느낌보다는, 시기적절하게 중요한 질문을 던진다는 점에서 저의 향후 연구 방향에도 꽤 큰 영향을 끼칠 것 같습니다.
멘토님들이 논문을 봐주는 과정이 어려우면서도 재밌었는데, 그 과정에서 보고 배웠던 것들을 이번 공동 저자 작업(EMNLP, WACV)에서도 비슷하게 재현해보려고 했던 것 같습니다.
(레전드 코멘트 파티…)
공동 저자로 작업할 때는 1저자로 작업할 때와는 또 다른 부분에서 신경을 써야 한다는 느낌이 들었습니다.
결국 1저자의 의도를 최대한 이해하려고 노력하면서도, 객관적으로 수정이 필요한 부분을 찾아야 한다는 점에서 오히려 경험치 측면에서는 꽤 값진 시간이었던 것 같습니다.
이제 남은 건 CVPR입니다.
지금은 단독으로 진행하고 있는데, 아무래도 실험 봇(?) 하나를 구해서 같이 해야 타임라인이 겨우 나올 것 같습니다.
주제는 Thinking in Visual Space입니다.
Language Prior에 편향되지 않고, 모델이 직접 perceive한 visual evidence를 기반으로 thinking하는 것은 불가능한가?
대략 이런 질문을 던지는 연구라고 보면 될 것 같습니다.
마치며
우선 졸업까지는 아직 한참 남았으니, 너무 먼 미래에 대한 고민은 적당히 하고 당장 중요한 목표들을 하나씩 정리하는 데 집중하며 하반기를 보내려고 합니다.
일단 올해 독감도 2~3번 걸리고, 소화도 잘 안되고, 자세도 점점 안 좋아지는 게 느껴지면서 이제는 정말 건강에 좀 신경을 써야겠다는 생각이 강하게 듭니다.
아까도 낮에 갑자기 열이 38도까지 올라서 깜짝 놀랐습니다.
그래서 일단 건강해지기가 하반기 목표 1순위가 되었습니다.
요즘 스트레칭 영상도 많이 찾아보고 있는데, 그것뿐만 아니라 재활의학과에도 방문해서 상담과 치료를 좀 받아보려고 합니다.
어떻게든 CVPR까지 잘 마무리하고 싶은데, 우선 ECCV 잘 다녀오고 나서 다시 제대로 달려봐야겠습니다.
뭐 아무튼… 건강하게, 하나씩 차근 차근 해나가고 싶네요. 연구원들 모두 화이팅입니다.
