안녕하세요. 이번에는 ICML 2026 학회에 참석하며 보고 들었던 연구들을 기준으로 전체적인 연구 흐름을 정리해보려 합니다. 학회장에 도착한 뒤 공개된 일정을 살펴보니 예상했던 것 이상으로 많은 Oral과 Spotlight 세션이 동시에 진행되고 있었고, 당연히 모든 발표를 직접 듣는 것은 불가능했기 때문에 저는 평소 관심을 가지고 있던 LLM, Diffusion Model, 멀티모달 및 비디오 분야를 중심으로 세션을 골라 참석하였습니다. 사실 처음에는 발표를 들으며 각 논문의 세부적인 방법론을 최대한 많이 기록하려 했는데요, 여러 세션을 돌아다니다 보니 개별 모델의 구조나 성능 수치보다 서로 다른 논문들이 반복적으로 다루고 있는 공통적인 문제가 조금 더 눈에 들어왔습니다. 특히 최근 몇 년간 계속해서 모델의 크기와 데이터 규모가 커져왔던 것과 달리, 이번 학회에서는 단순히 더 큰 모델을 사용하는 것보다 이미 강력해진 모델이 왜 특정한 방식으로 동작하고, 어디에서 실패하며, 실제 환경에서는 얼마나 신뢰할 수 있는지를 분석하는 연구가 많았습니다. 아무튼 이번 글에서는 제가 모든 발표를 빠짐없이 본 것은 아니기 때문에 ICML 2026 전체를 대표한다고 말하기는 어렵겠지만, 수상작과 주요 Oral 및 Spotlight 논문을 중심으로 학회장에서 느꼈던 연구 흐름을 제 나름대로 정리해보도록 하겠습니다.
우선 가장 눈에 띄었던 분야는 Diffusion 관련 연구였습니다. 이전까지 Diffusion Model이라고 하면 주로 더 선명한 이미지나 시간적으로 자연스러운 비디오를 생성하는 모델을 먼저 떠올렸는데, 이번에 주목받은 논문들은 생성 결과 자체보다 샘플링 과정의 효율이나 모델이 어떠한 순서로 결과를 만들어내는지를 이론적으로 분석하는 경우가 많았습니다. Best Paper로 선정된 ‘High-Accuracy Sampling for Diffusion Models and Log-Concave Distributions’는 높은 정확도의 샘플을 생성하기 위해 필요한 반복 횟수를 줄이는 문제를 다루었으며, 단순히 실험적으로 denoising step을 몇 번 줄였다는 정도가 아니라 오차에 따른 계산 복잡도를 이론적으로 개선하였다는 점에서 좋은 평가를 받은 것으로 보였습니다. 다른 Best Paper인 ‘The Flexibility Trap’은 Diffusion Language Model이 자유로운 순서로 토큰을 생성할 수 있다는 특성이 실제 추론 과정에서는 오히려 함정이 될 수 있다고 분석합니다. 기존에는 Autoregressive Language Model과 달리 어려운 위치를 나중에 채울 수 있다는 점이 Diffusion Language Model의 대표적인 장점처럼 설명되었지만, 모델이 불확실한 결정을 계속해서 뒤로 미루다 보면 학습이 불안정해지고 생성 결과의 다양성도 줄어들 수 있다는 것입니다. 사실 모델에게 더 많은 자유를 주면 당연히 더 유연하게 문제를 해결할 것이라 생각하기 쉬운데, 오히려 생성 순서를 제한했을 때 학습이 안정적이었다는 결과가 꽤 흥미로웠습니다. 이러한 논문들을 보았을 때 Diffusion 연구는 이제 생성 품질을 단순 비교하는 단계를 넘어, 모델이 왜 그러한 생성 과정을 보이며 얼마나 적은 연산으로 원하는 분포를 정확하게 샘플링할 수 있는지를 이해하는 방향으로 넘어가고 있는 것 같습니다.
LLM 분야에서는 모델의 성능을 높이는 방법론만큼이나, 모델 내부에서 어떠한 행동이 형성되고 있는지를 분석하는 연구가 굉장히 많이 보였습니다. 예를 들어 모델이 거짓말을 하거나 자신의 내부 상태를 감추는 현상, 학습 데이터를 얼마나 암기하는지, 특정한 추론 능력이 어떤 학습 샘플의 영향을 받아 형성되었는지를 추적하는 논문들이 Oral로 선정되었습니다. ‘The Obfuscation Atlas’는 모델이 단순히 잘못된 답을 생성하는 것을 넘어 자신의 행동을 알아차리지 못하도록 내부 표현이나 정책을 숨길 수 있는지를 분석하였고, ‘How much can language models memorize?’는 LLM이 많은 지식을 암기한다는 막연한 설명에서 벗어나 모델의 파라미터가 실제로 얼마나 많은 정보를 저장할 수 있는지를 이론적으로 다루었습니다. 또한 ‘Mechanistic Data Attribution’은 특정한 attention head나 해석 가능한 내부 unit이 어떠한 학습 데이터의 영향을 받아 만들어졌는지를 추적하였는데요, 기존의 interpretability 연구가 “이 뉴런은 이런 기능을 담당한다”는 식으로 내부 구조의 역할을 설명했다면, 이제는 한 단계 더 나아가 “왜 이 뉴런이 이러한 기능을 담당하게 되었는가”까지 거슬러 올라가려는 것으로 보였습니다. 사실 이러한 연구들은 당장 벤치마크의 정확도를 크게 높여주는 방법은 아니기 때문에 처음에는 실용적인 의미가 상대적으로 작아 보일 수도 있습니다. 그러나 모델이 점점 더 많은 의사결정과 에이전트 작업을 수행하게 된다면, 결과가 맞았는지만 보는 것이 아니라 어떠한 데이터와 내부 과정에 의해 그 결과가 만들어졌는지를 파악하는 것이 더욱 중요해질 것입니다. 그런 점에서 이번 ICML에서는 LLM을 단순히 더 강하게 만드는 연구뿐만 아니라, 이미 강해진 모델을 어떻게 이해하고 통제할 것인지가 중요한 주제로 자리 잡고 있다는 느낌을 받을 수 있었습니다.
또 하나 흥미롭게 느껴졌던 흐름은 Test-time Scaling이 점차 Test-time Learning으로 확장되고 있다는 점이었습니다. 기존의 Test-time Scaling은 하나의 문제를 풀 때 더 긴 Chain-of-Thought를 생성하거나, 여러 답변 후보를 만든 뒤 그중 가장 좋은 답을 선택하는 방식이 대부분이었습니다. 결국 학습이 끝난 모델은 그대로 유지한 채 추론에 사용하는 계산량만 늘리는 방식인 것입니다. 그러나 ‘Learning to Discover at Test Time’과 같은 연구에서는 모델이 특정 문제를 해결하는 과정에서 얻은 시행착오를 이용하여 실제 정책이나 파라미터를 업데이트하며, 하나의 문제에 맞게 스스로 학습하도록 만듭니다. 어떻게 보면 사람 역시 어려운 문제를 처음부터 바로 해결하기보다는 여러 차례 시도하면서 그 문제에 적합한 풀이 방식을 익히게 되는데, 모델도 단순히 더 오래 생각하는 것을 넘어 문제를 푸는 과정 자체에서 학습하게 만드는 것입니다. 이와 함께 제가 관심 있게 본 비디오·멀티모달 분야에서는 모든 프레임을 최대한 많이 처리하기보다 질문을 해결하는 데 필요한 시각적 증거를 선택하고, 이를 시간적으로 기억하는 연구들이 많이 보였습니다. ‘Think in Cloud, Look at Edges’는 긴 비디오 전체를 고성능 모델에 입력하는 대신 질문을 작은 관측 계획으로 분해한 뒤 필요한 부분만 찾아보며, ‘RoboMME’는 로봇이 장시간 작업을 수행할 때 이전 행동과 사라진 물체의 위치를 얼마나 잘 기억하는지를 평가합니다. 또한 ‘Are VLMs Seeing or Just Saying?’은 Vision-Language Model이 “이미지를 다시 확인하겠다”고 말했을 때 실제로 visual token을 다시 활용하는지를 분석하였는데, 모델이 언어로는 시각 정보를 재검토했다고 표현하더라도 내부적으로는 이전에 생성한 텍스트에 의존하는 경우가 많았다고 합니다. 결국 앞으로의 모델은 더 많은 정보를 한 번에 집어넣는 것보다, 현재 문제에 필요한 정보가 무엇인지 판단하고 새로운 경험에 맞추어 자신의 추론 방식을 조정하는 능력이 더욱 중요해질 것으로 보였습니다.
전체적으로 이번 ICML 2026 논문들을 살펴보며 느낀 점은, 기존에 당연하게 받아들여졌던 전제를 다시 검토하거나 모델의 동작 원리를 일반화된 관점에서 설명하려는 연구들이 특히 강하게 주목받았다는 것 같습니다. 물론 실제 채택 논문 중에는 새로운 학습 방법이나 모델 구조를 통해 높은 성능을 달성한 연구도 굉장히 많았지만, 제가 주로 살펴본 Best Paper와 주요 Oral에서는 단순한 성능 향상 자체보다 그러한 결과가 나타나는 이유를 분석하고, 기존 방법론의 한계나 예상하지 못했던 실패 현상을 드러낸 논문들이 더욱 눈에 띄었습니다. 아무튼 이번 ICML은 이미 잘 동작한다고 여겨졌던 방법들을 다시 들여다보고 그 안에서 놓치고 있던 문제를 발견하는 연구들이 인상적으로 다가왔던 학회였습니다.
감사합니다.
