이번 KCCV2023 학회에 다녀오고 나서 후기를 작성하고자 합니다. 작년 22년도 KCCV를 다녀오고 나서 이번이 2번째 KCCV 학회인데, 벌써 시간이 일년 지나갔구나 라는 생각에 무언가 씁쓸한 기분이 드네요. 이러한 기분이 든 것으로 1년 동안에 많은 성과를 이루어내지 못해서인게 아닐까 라는 생각이 가장 먼저 들었지만 이러한 내용은 23년도 상반기를 돌아보는 글에서 이미 작성했기에 이번 글에서는 넘어가도록 하겠습니다.
올해 KCCV의 특징?
일단 작년 KCCV와 올 해 KCCV에는 여러가지 차이점이 있었습니다. 그 중에서 제가 가장 많이 느꼈던 점은 첫째로 학회 참석 인원이 매우 늘어났다는 점, 둘째로 발표되는 연구 분야들이 크게 달라졌다는 점, 마지막으로 연구자들이 새로운 공통의 문제에 직면했다는 점? 정도 있을 것 같습니다.
일단 단순하게 첫번째로는 학회 행사장이 작년과 비교해서 굉장히 커졌습니다. 사실 oral section 장의 규모는 작년이랑 지금이랑 비슷했던 것 같기도 하고, 올해가 조금 더 큰 것 같기도하고 좀 모호하긴 한데, 포스터 섹션의 경우에는 지난번보다 더 커진 듯한 기분이 들었습니다. 실제로 올 해 KCCV 오프닝에서도 1000명이 넘는 인원이 신청했다고 하니, 역대 KCCV 중에서 가장 많은 인원들이 참석했다는 사실은 맞는 것 같습니다.
참석 인원이 많아졌다는 것은 컴퓨터비전 학문을 공부하고 연구하는 학생들이 많아졌다는 것으로 볼 수 있을 것 같습니다. 특히 재밌었던 점은 이전에는 카이스트, 서울대, 포항공대 등 학벌이 높은 학교들의 학생들이 주를 이루었다면 (물론 지금도 그렇긴 하지만) 올 해에는 보다 다양한 학교의 학생들이 분포하고 있었습니다.
홍익대, 경희대, 중앙대, 전남대 등등 정말 다양한 곳의 연구자들이 학회에 참석했다는 점이 나름 눈에 띄였으며, 더 재밌는 점은 그들 학교에서도 CVPR, ICCV와 같은 우수 학회에 논문을 내서 발표를 하고 있었다는 점입니다. 이러한 점들이 저를 조금은 자극하는 요소가 되지 않았나 싶습니다.
연구 분야의 변화
그 다음으로는 올 해 Oral과 Poster로 발표되는 논문들의 분야들이 작년과 매우 상이하다는 점입니다. 물론 생성 연구와 NERF 같은 분야는 작년에도 정말 많았는데, 사실 비디오 연구들이 거의 없었던 걸로 기억을 하고 있습니다. 오히려 자율주행 쪽에 좀 더 초점이 맞춰진 연구들이 절반정도는 있었던 걸로 기억을 하고 있는데, 올해는 유독 자율주행 쪽 연구 분야가 거의 없더라구요.
오히려 비디오를 활용하여 생성을 한다거나, multi-modal 데이터를 활용하는 등 보다 어려운 트렌드의 연구들이 이번 학회에 상당 수 등장하였습니다. 3d detection과 같은 분야는 학회 통틀어서 2편…? 정도 보았던 것 같아요.
이렇게 멀티 모달, 비디오 관련된 연구 분야들이 쭈욱 소개되다보니, 반복해서 나오는 모델이 하나 등장하는데 바로 CLIP이었습니다. 저도 CLIP에 대해서는 어렴풋이만 알고 있고 지금도 어렴풋이만 알고 있지만, CLIP이라는 모델의 활용성에 대해서는 이번 학회를 통해 매우 많은 것을 알게 된 것 같습니다.
가령 text-image domain을 하나로 align시켜줌으로써 멀티모달 연구를 활용하는데 있어 매우 중요한 가치를 보이고 있다는 점, 그리고 단일 모달리티에 대해서 적용하더라도 imagenet보다 domain generalization이 훨씬 더 잘 된다는 점 등이 재밌게 다가왔던 것 같습니다.
하지만 반대로 자율주행, 로보틱스 쪽에 관심을 가지는 저한테서는 조금은 아쉬운 흐름이지 않았나 싶긴 합니다. 물론 학회의 특성상 순수한 비전 도메인에 초점을 맞추는 것이 당연하겠습니다만 고작 1년 사이에 이렇게 빠르게 트렌드가 바뀔줄은 몰라서… 이러한 변화가 굉장히 당황스럽기도 했고, 올 해 KCCV는 가지말까 라는 생각을 했던 과거의 저가 미워질뻔 했네요.
앞으로 어떻게 연구를 해야하는가?
이번 KCCV에서는 작년이랑 다르게 한가지 새로운 섹션이 생겼습니다. 바로 Panel Discussion이라는 섹션인데, 패널분들을 여러분 모셔서 한가지 주제에 대하여 논의를 하는 시간이었습니다. 주제의 논의로는 “거대 모델 시대에서 AGI로 가기 위한 컴퓨터 비전의 역할과 방향”이라는 매우 심오하면서도, 많은 연구자들이 걱정하는 주제였으며, 해당 주제에 대해 이경무 교수님, 주한별 교수님, 최윤재 교수님, OpenAI의 김종욱 박사님, 그리고 임화섭 교수님 이렇게 5분이 모이셔서 토의를 진행하셨습니다.
사실 주제가 너무나도 어렵고 무겁기 때문에 패널분들 역시 매우 조심스러운 태도로 이야기를 진행하였으며 때문에 이야기의 흐름들이 철학적?으로 좀 빠져드는 경향성이 자주 나타났습니다. 이 때문에 방금 하신 말은 무슨 말이지?라는 생각이 드는 경우도 종종 있고 논문 세미나 듣는 것보다 더 이해가 안가는 경우가 있었습니다.
하지만 그 중에서 가장 머리속에 남는 것은 이경무 교수님이 하신 말씀들이었는데, 첫째로 AGI 모델로 가기 위해서는 결국 Multi-modal, Multi-task를 수행할 수 있는 인공지능 기술 연구로 가야한다는 점이며, 이때 Computer Vision이 이러한 다양한 기술들을 융합해줄 수 있는 분야가 되어야한다는 점이었습니다.
그리고 이러한 목표를 달성하기 위해서는 기존의 컴퓨터비전 학문에서 적용하고 있는 패러다임을 근본적으로 바꿀 필요가 있다고 지적하셨습니다. 보다 구체적으로, 기존의 컴퓨터비전 학문은 하나의 task에서 대해서 잘 수행하기 위해 방대한 양의 데이터를 모아서 학습을 시키는데, 만약 이것이 multi-modal, multi-task로 확장이 되게 된다면, 기존의 패러다임인 방대한 양의 데이터로 supervised learning을 하는 방식은 사용할 수 없다라는 것입니다.
따라서 보다 구체적으로 Active Learning, Self-training과 같은 분야의 연구가 필수적으로 진행되어야 한다는 명확한 방향까지 제시해주셨다는 점에서 다른 분들이 많이 조심스럽고 애둘러 설명하는 것과 비교하여 가장 알아듣기 좋은 내용이 아니었나 싶습니다.
그리고 이러한 관점에서 이경무 교수님이 한가지 더 말씀해주신 내용으로는 연구자들이 논문을 위한 연구를 하는 것은 지양하라고까지 말씀을 해주셨습니다. 즉 일반적인 상황에서까지 확장 가능한, 보다 실용적인 연구를 진행할 필요가 있는데 논문들을 보다보면 너무 논문을 쓰기 위해서 문제를 억지로 만들고 푸는 듯한? 그런 기분이 강하게 느껴지셨기 때문에 이런 발언을 한 것이 아닐까 합니다.
이러한 내용을 들었을 때 제가 들었던 생각은 너무나도 이상적이다 라는 생각밖에 들지 않았습니다. 물론 연구자로서 나아가야하는 방향은 이경무 교수님께서 해주신 말씀이 맞지만서도, 아직 최우수 학회 등에 논문을 게재해보지도 못한 초보 연구자로서는 그러한 이상만을 쫓아가기에는 한계가 있다는 생각이 들었습니다.
실제로 이경무 교수님이 지양하라고 하셨던, 논문을 쓰기 위한 문제 정의를 토대로 우수 학회에 논문을 써보지도 못했거든요 허허. 좋은 말씀이신 것은 맞으며 결과적으로 우리가 나아가야할 방향인 것은 부정할 수 없으나, 이것을 지금 당장 실천하기에는 환경적으로, 제 상황적으로도 불가능할 것 같다는 생각이 들었던 내용이었습니다.
아 그리고 해당 섹션에서 다룬 내용은 아니었지만, 이러한 초거대 AI가 속속 등장하는 시대에 우리같은 학교의 연구자들이 어떤 식으로 연구를 하고 논문을 써야하는 가에 대하여 다른 교수님들의 공통된 의견은 초거대 AI를 경쟁자로 보지 말고, 하나의 활용 가능한 옵션으로 생각하라는 의견이 있었습니다.
즉, GPU나 인력적인 측면으로 보았을 때 연구실에서 당연히 그런 거대 연구를 할 수는 없기 때문에 이것들과 경쟁하려는 것은 사실상 불가능에 가깝고 어렵게 됩니다. 하지만 이 기술들을 하나의 도구로 생각해서 이러한 거대 모델들을 토대로 새로운 framework을 제안하고 만드는 방향으로 가게 된다면 충분히 연구를 할 수 있다고 합니다. 실제로도 이번 학회 장에서 발표된 논문들 중에서는 초거대 모델들을 활용하고 그 사이사이에 매끄러운 흐름을 이어갈 수 있도록 보조적인 수단의 작은 모듈들을 설계하는 방향으로 논문을 작성하신 분들도 몇 분 있던 것 같더군요. 아마 저희도 그런 쪽으로 가볼 수 있지 않을까 합니다.
결론
KCCV라는 학회가 처음 생기게된 이유로 제가 알기로는 우수 학회의 기술들과 트렌드를 서로 공유하고 공부하는 학술의 장으로 만들자는 것이었습니다. 해당 학회가 시작한지 올 해 10년차가 되었는데 여전히 그 창립 목적에 따라서 잘 운영되고 있다라는 생각을 작년에 이어서 올 해 또 받게되었습니다.
또 이러한 관점에서 드는 생각은, 우수학회를 쓰는 연구실들이 꾸준히 우수 학회를 쓰는 이유가 있구나 라는 점입니다. CVPR, ICCV, ICLR 등등 최우수 학회에 참석하면서 보고 듣고 배우는 트렌드를 절대로 무시할 수 없다는 것입니다.
물론 구글이라는 정보의 바다 속에서 저희가 조금 더 노력하면 해당 트렌드를 따라 잡고 지식을 배울 수 있긴 하지만서도, 학회에 직접 참여하면서 논문의 저자들과 토론하고 다양한 키워드와 트렌드를 직접 체험해볼 수 있다는 점에서, 그 깊이와 다양성은 정말로 차이난다고 볼 수 있겠습니다.
그러한 관점에서 저희 연구실도 꾸준히 우수 학회에 논문을 게재하도록 노력을 하여 학회에 참석할 수 있는 기회를 가지려고 노력하였으면 좋겠으며(일단 나부터ㅎㅎ..), 특히 저년차 연구원분들께서는 KCCV와 같은 기회가 제공되었을 때, 웬만하면 반드시 그 기회를 잡았으면 좋겠다는 생각이 드네요.
마지막으로 저에게도 좋은 기회를 주신 교수님께 감사하다는 말씀 드립니다.
