ICML 2026 참관기

안녕하세요, 오늘은 지난 주에 코엑스에서 열린 ICML 2026 참관 후기를 작성해보았습니다. 1만 5000명이 참여했고 6600여 편의 논문이 accept 되었다고 하는데, 그래서 그런지 사람이 굉장히 많았던 것 같습니다.. 세상에 정말 많은 연구자들이 있구나(?)를 몸으로 느끼게 되었고, 또 CV 뿐 아니라 정말 다양한 task를 다루며 그 깊이도 정말 깊었다는 점을 알게 되었던 것 같습니다. 동시에 앞으로 여기 오신 저자들처럼 되기 위해 나는 어떤 노력들을 해야 하는가를 다시 한 번 생각해 보는 계기가 되었습니다.

Oral & Poster

사진은 main conference 첫째 날 첫 oral 세션 중 하나였던 Are VLMs Seeing or Just Saying? Uncovering the Illusion of Visual Re-examination 입니다. Oral 세션은 저자가 약 10분간 청중을 대상으로 발표를 하고 5분 간 QnA를 진행하는 식으로 구성되었습니다. 본 세션을 듣기 전에는 아무래도 accept된 논문 중에서도 상위 5~10%의 논문에만 oral 논문으로 선정된다는 점에서, 일반 논문과 비교했을 때 어떤 차이점이 있을까를 생각해보며 들어볼려고 했습니다만, 영어 리스닝 이슈가 터져 이해하는 데 한계가 있음을 깨달아 버렸습니다,, 논문도 읽고 하다보니 영어 텍스트를 보는 건 그나마 괜찮지만 리스닝 같은 경우에는 몇 년 전에 토익 공부할 때 이후로 오랜만에 듣다 보니 이해하기 쉽지 않았던 것 같습니다. 특히 집에 와서 해당 논문을 가볍게 다시 보았을 때, 생각보다 이해하기 어려운 연구도 아니었다는 생각이 들더라구요. 그러다보니 포스터 세션에서도 외국인 저자들에겐 적극적으로 질문하기 꺼려져서, 나중을 위해서도 영어에 더 익숙해져야겠다는 생각이 들었습니다.

오랄에서 그나마 기억에 남는 세션이 위 사진으로 첨부한 Are VLMs Seeing or Just Saying? Uncovering the Illusion of Visual Re-examination였습니다. VLM이 추론 과정에서 “Wait, let me check the figure again”와 같은 self-reflection 프롬프트를 스스로 생성하는데, 실제로 모델이 visual token에 다시 집중해서 오류를 교정하는 것인지 아니면 CoT 텍스트 패턴을 반복하는 것에 불과한지에 대한 의문을 제기하고 이를 검증하는 연구입니다. 검증을 위해 VLM에 원본 이미지와 텍스트 프롬프트를 입력하고, CoT 생성 중 “let me check the figure again” 이라는 텍스트가 출력되는 순간 입력 이미지를 다른 이미지로 교체하여 답변을 생성하도록 했습니다. 실험 결과, 많은 VLM들이 이 이미지 교체를 인지하지 못하고 이전에 생성해 둔 텍스트 논리에 갇혀 오답을 냈다고 합니다. 특히 Instruct 모델보다 Thinking 모델들이 3배 더 취약했다는 점에서, 추론 텍스트가 길어질 수록 text context에 과적합되어 visual grounding과의 연결이 끊어짐을 발견했습니다. 토큰에 대한 attention 가중치를 살펴본 실험에서는 모델이 스스로 ‘다시 보겠다’는 텍스트를 생성했을 때 이미지 토큰에 대한 attention 가중치가 상승하지 않은 반면, multi turn 환경에서 사용자가 직접 “이미지를 다시 확인하라”는 프롬프트를 명시적으로 주었을 때는 이미지 토큰 attention 가중치가 상승하여 성능을 회복했다고 합니다. 결국 VLM들은 시각 정보를 다시 확인하는 능력 자체가 없다기 보다 continuous decoding 과정에서 autonomous attentional control(시각적 어텐션을 제어하는 능력?)이 결여되어 있다고 합니다.

ICML은 NLP, 시계열, optimization 등 다양한 분야의 연구들이 많았기 때문에 현재 제가 관심을 가지고 있는 video understanding의 비중이 굉장히 적었습니다. 그래서 그나마 앞으로의 연구에서 자주 다룰 것으로 예상되는 VLM이나 LLM에 대한 이해도를 높이는 것도 괜찮은 방향이라는 생각이 들어, 위 논문처럼 VLM이나 LLM과 관련된 rethinking, 분석 논문 위주로 poster 세션을 둘러봤던 것 같습니다.

포스터 세션에서 인상 깊었던 논문은 LLM-as-a-Judge 관련 논문인데, 연세대 저자 분이 두 개의 포스터를 양옆에 붙여두고 두 개의 포스터에 대한 설명과 질문을 동시에 진행하는 모습을 보고 신선한 충격(?)을 받아서 기억에 남았습니다. 요즘 연구에는 LLM을 정답 판별, 등급 부여 등에 사용하는 LLM-as-a-Judge를 자주 사용하는 것으로 알고 있고, 직접 사용했던 경험도 있으며, 연구 뿐 아니라 실생활에서도 쓰일 법한 주제라는 생각이 들어 해당 포스터를 보게 되었던 것 같습니다. 내용 자체는 LLM Judge를 사용할 때 과연 판단 결과를 믿을 수 있는 지에 대한 의심에서 시작해서, 어떻게 하면 bias를 줄일 지(수학/통계적으로 보정) 에 대한 연구입니다. 사실 포스터 설명을 들으면서 이해가 잘 안되서(?) 연구적인 질문은 잘 못했던 거 같고, 저자 분들이 연구 주제는 어떻게 정했고 아이디어를 어떻게 떠올린 건지에 대한 질문을 주로 했습니다. 본 논문 저자 분을 포함해 많은 분들이 과제와 연계해서 연구를 하다보니 주제 자체는 자연스럽게 결정된 거 같다는 답변을 꽤 많이 받았고, 방법론 아이디어는 수학적으로 파고들다 보니 이렇게 이렇게 하면 해결되겠다를 캐치해낸 케이스(벽 느껴지네요. ), 협업을 하다가 공동 저자 분의 배경 지식을 바탕으로 녹여낸 케이스 등등 정말 다양했습니다. 또 연구 생활에 있어 어떤 것이 가장 중요하냐고 카이스트 저자 분께 질문했던 기억이 있는데, 주변 사람들과 디스커션을 자주 하는 게 중요하다는 답변이 가장 기억에 남았습니다. 최근 들어 저희 연구실 내에서도 연구원들 간 디스커션이 좀 더 활성화되면 좋겠다는 생각을 가지고 계신 분들도 많은 것으로 알고 있는데, 개인적으로 제가 앞으로 남은 연구실 생활에 있어 가장 노력해야 할 부분이지 않나 싶습니다.

소감

참관기 초반부에도 언급했지만, 학회를 접하는 데 가장 큰 병목은 영어였습니다. 솔직히 지금까지 영어를 나쁘지 않게 한다고 생각했는데, 발표자의 말을 이해하고 커뮤니케이션하기 위해서는 영어 공부를 더 해야겠다는 생각이 들었고, 정확히는 회화를 잘 할 수 있게 준비해야 겠다는 생각이 들었습니다. (중국인들은 논외로 하고,,) 한국인 저자 분들도 외국인 연구자들을 대상으로 유창하게 영어로 설명하고 질문 받는 모습을 보면서, 저도 언젠가 이런 국제 우수 학회를 목표로 하고 다양한 사람들과 소통하는 것을 목표로 잡았을 때 쫄지 않고 자연스럽게 소통하기 위해선 역시 영어를 잘 해야겠구나.. 라는 게 가장 크게 느껴졌던 거 같습니다.

(tmi : 물론 중국인 저자들은 영어 못하는 케이스도 많았고, 그래서 그런지 중국인들끼리 오랫동안 대화하는 모습을 본 적이 있는데 음… 패스하겠습니다)

마지막으로 포스터 세션을 돌아다니면서 자주 보았던 키워드는 (video) generation, diffusion, RL 정도 생각이 나는데, 우선 generation의 경우 video task에서 가장 핫한 주제라고 얼핏 들어 알고는 있었지만 체감상 understanding, agentic 등 다른 주제에 비해 포스터 세션 내 논문 수가 몇 배는 차이난다고 느낄 정도로 generation 연구가 많았습니다. 당시에는 task를 거의 모르다보니 덥썩 찾아가서 이게 뭐냐고 물어볼 용기가 없었긴 했지만 왜 video generation이 main stream인지, 현재의 limitation이 뭔지, 예상되는 다음 문제가 있는 지 등등을 한 번 알아보고 싶은 호기심이 생겼고, 알아낸다면 완전 생성 쪽이 아니어도 연구실 리소스 안에서 가능한 연구 주제를 찾을 수도 있지 않을까?를 생각 정도만 해보게 되었습니다. 그리고 RL를 활용한 연구도 굉장히 많은 것으로 보아, 앞으로 연구 생활에 있어서 RL은 필수 덕목 중 하나라는 생각이 들었고 RL을 자신의 연구에 어떻게 써먹을 지 한 번 고민해보는 것도 필수적인 절차 중 하나이지 않을까라는 생각도 들었습니다.

국내에서 열리는 큰 규모의 국제학회라는 좋은 기회를 받은 것에 비해 준비를 잘 못해 가서 그런지 얻어가는 게 굉장히 많다는 느낌은 안 들긴 하지만, 이번 학회를 통해 느낀 바를 자양분 삼아 앞으로의 연구 생활 및 언젠가 가게 될 다음 학회는 어떻게 준비해야될지에 대한 가이드라인 정도는 정해게 된 것 같습니다. 좋은 경험해볼 수 있는 기회주신 교수님께 감사드립니다!