ICML 2026 참관기

코엑스에서 열린 ICML 2026에 참석한 후기를 작성해보겠습니다.

https://youtu.be/RUvbfNvj3Lk
인상깊게 봤던 페이퍼에 대한 세미나는 위에 링크에 걸어두었습니다.

그리고 살펴봤던 페이퍼는 제가 개인적으로 정리해두기도 했고, 발표로도 다뤄봤으니…
다이어리에는 학회에 직접 참여하며 느꼈던 점과 인상깊은 경험 중심으로 작성해보고자 합니다.

가까워서 좋았던 ICML

이번 ICML은 코엑스에서 열렸습니다. 등록 대기 줄이 엄청나게 길었던게 아직도 생생하네요

해외 학회처럼 긴 비행이나 입국 심사, 시차 적응을 걱정하지 않고 아침에 지하철을 타고 학회장에 갈 수 있다는 점이 우선 정말 좋았습니다. 평소에도 종종 방문했던 코엑스였지만, 수많은 연구자와 포스터로 가득 찬 모습을 보니 전혀 다른 공간처럼 느껴졌던 것 같아요 (그래서 새삼스럽지만 별마당 도서관도 사진 찍어보고 했네요)

해외학회는 도시 구경도 할 수 있어 좋긴 하겠지만, 학회 자체에만 집중하기에는 국내 개최가 확실히 편하네요. 학회 끝나면 체력 떨어지는데 바로 집에 돌아가 쉴 수 있고, 음식이나 교통을 걱정할 필요도 없다는 것이 생각보다 좋았던 것 같습니다 ㅎㅎ

영어 전달력 30%와 30%가 만나면 …

학회 첫날 가장 막막했던 것은 솔~직히 영어였습니다. CVPR 학회에 갔을 때 생각보다 그 이상으로 버벅였던 게 PTSD 처럼 남아있었거든요.

그러다보니, 포스터 저자에게 질문하고 싶어도 처음에는 어떤 문장으로 말을 시작해야 할지 고민됐습니다. 그래서 첫날에는 질문할 내용을 미리 생각하고, 거의 대본처럼 머릿속에 외운 뒤 저자에게 다가갔던 것 같습니다.

다행히 저자들은 제 말을 생각보다 잘 알아들었습니다. 문제는 저자의 답변을 제가 알아듣는 일이었죠 ㅋㅋㅋ

특히 저자도 영어가 모국어가 아닌 경우에는 서로의 말을 이해하기가 더 어려웠습니다. 당시 친한 연구원들에게 제가 이렇게 표현했던 기억이 납니다. “나의 영어 전달력이 30%이고, 비영어권 저자의 영어 전달력도 30%라서… 두 사람이 나누는 대화의 이해도는 9%에 불과했다….”

둘 다 열심히 말하고 있기는 하지만, 서로 정확히 어떤 이야기를 하고 있는지는 잘 모르는 상황이었던 것 같아요 ㅎㅋ

그런데 둘째 날부터 조금씩 달라지기 시작했습니다. 미리 질문을 완벽한 문장으로 준비하지 않아도, 설명을 듣다가 막연하게 궁금해진 내용을 그대로 질문하는 저를 발견했습니다. 여전히 서로의 대화가 완벽하게 통하는 것 같지는 않았지만, 적어도 영어로 말을 거는 것 자체에 대한 부담은 많이 줄어들었습니다. 셋째날에는 거부감없이 질문을 던졌던 것 같아요

한 중국인 저자에게 계속 질문했더니, 저자도 신이 났는지 현재 진행 중인 연구와 앞으로 하고 싶은 연구를 굉장히 열정적으로 설명해주었습니다. 서슴없이 질문하고 서로 의견을 나눌 수 있었다는 점이 좋았습니다. 모든 말을 완벽히 이해해야만 대화할 수 있는 것은 아니었고, 모르는 내용을 질문하고 저자의 생각을 직접 듣는 경험 자체가 중요했던 것 같아요

영어는 역시 공부만 하는 것보다, 어떻게든 말해야 하는 환경에 직접 노출되는 것이 가장 빠른 연습이라는 점을 새삼 느꼈습니다.

진짜 머신러닝 연구자들(?)

ICML은 머신러닝 학회인 만큼, 현장에서도 연구의 수학적 깊이가 강하게 느껴졌습니다.

포스터 설명이 끝난 뒤에도 논의를 이어가기 위해 포스터 뒷면을 넘겨 수식을 적어가며 대화하는 연구자들이 있었습니다. “이 수식이 왜 이렇게 도출되는가”, “해당 가정이 실제로 성립하는가”와 같은 질문을 두고 진지하게 논쟁하는 모습도 볼 수 있었습니다.

진짜(???) 들을 본 것 같습니다 사실 저는 수학적 기반이 매우 단단한 편은 아니기 때문에 해당 대화를 모두 따라가지는 못했습니다. 그래서인지 단순히 모델을 구현하고 성능을 비교하는 것을 넘어, 방법이 왜 동작하는지를 수식과 이론을 통해 끝까지 설명하려는 태도가 더욱 대단하게 느껴졌던 것 같습니다.

논문의 결과만 빠르게 읽을 때는 잘 보이지 않던 열정을 현장에서 직접 확인해본 것 같다고나 할까요

벤치마크 점수가 아닌 접근들

너무 후기만 쓰면 좀 그러니, 읽었던 페이퍼도 좀 다뤄보겠습니다.

개인적으로 이번 ICML에서 가장 인상 깊었던 주제는 모델의 신뢰성과 안전성이었습니다.

지금까지 저는 주로 모델의 성능을 높이거나, 모델이 특정 문제를 왜 잘 풀지 못하는지를 분석하는 연구에 익숙했던 것 같습니다. 그런데 이번 학회에서는 높은 벤치마크 점수와 별개로 모델이 실제로 어떤 방식으로 행동하고 있으며, 어떤 상황에서 예상하지 못한 선택을 하는지를 들여다보는 연구가 많이 눈에 들어왔던 것 같습니다

Deception, reward hacking, memorization, jailbreak처럼 모델이 겉으로 생성하는 답변만 봐서는 파악하기 어려운 행동을 분석하는 연구들이 특히 흥미로웠습니다. 모델이 정직하게 행동하도록 학습된 것인지, 단순히 평가나 탐지를 피하는 방법을 학습한 것인지 구분하려는 연구도 있었습니다.

안전성을 강화하는 방법뿐 아니라, 안전성 연구와 alignment 기술 자체가 어떤 부작용을 만들 수 있는지 비판적으로 질문하는 연구도 있었습니다. 안전성 분야가 단순히 모델의 유해 답변을 막는 단계를 넘어, 연구 방향과 기술의 사용 방식까지 돌아보게 된 것 같아요 (최근 작성한 제안서가 Safety-Critical 관련된 거라 더 눈이 갔던 듯 합니다)

그중에서도 저에게 가장 재밌고, 인상적이었던 것은 이미지를 이용한 jailbreak 연구였습니다.

기존에 jailbreak라고 하면, 텍스트 프롬프트를 이상하게 변형하거나 금지된 질문을 돌려 말해 모델의 거부를 우회하는 모습을 떠올렸습니다. 그러나 학회에서 본 연구들은 유해한 의도를 이미지의 객체, 장면 문맥, 기호, 화살표 또는 이미지 안의 문구에 숨겼습니다.

개별 요소는 평범하고 무해해 보이지만, 모델이 이를 조합해 해석하면 위험한 의미가 완성되는 방식이었습니다. 텍스트로 동일한 내용을 입력하면 거부하는 모델이, 이미지로 전달된 의미에는 취약할 수 있다는 점이 꽤 충격적이었습니다.

더 흥미로운 점은 이러한 문제가 모델이 이미지를 이해하지 못해서 발생하는 것이 아니라는 것입니다. 오히려 모델이 여러 시각적 단서를 잘 조합하고, 표면에 직접 표현되지 않은 의도를 추론할 수 있기 때문에 공격이 성공합니다.

모델의 compositional reasoning 능력이 좋아질수록, 해당 능력이 안전장치를 우회하는 데에도 사용될 수 있다는 점이 아이러니하게 느껴졌습니다.

돌이켜보면 제가 이번 학회에서 인상 깊게 본 연구들은 새로운 모델이 얼마나 높은 성능을 냈는지를 보여주는 연구보다, 지금까지 잘 알려지지 않았던 모델의 실패를 발견하고 왜 이런 현상이 발생하는지를 설명하는 연구들이었습니다.

모델이 정답을 맞혔다는 사실만으로 정말 문제를 이해했다고 볼 수 있는지, 모델이 추론한다고 말하면서 사실은 이전에 생성한 텍스트에 의존하는 것은 아닌지, 유해한 요청을 거부한 것이 정말 안전하게 정렬되었기 때문인지 아니면 요청 자체를 이해하지 못했기 때문인지 구분하려는 시도들이 기억에 남았습니다.

제법 많이 보였던 Diffusion Language Model

또 하나 학회장에서 유난히 많이 보였던 키워드는 Diffusion Language Model이었습니다.

제가 이 분야의 세부 내용을 모두 알고 있어 논문 간 차이를 정확하게 구분했던 것은 아닙니다. 오히려 잘 모르는 분야였기 때문에 비슷한 키워드가 반복해서 더욱 눈에 들어왔을 수도 있습니다.

그래도 포스터와 발표 제목에서 diffusion LM, masking, unmasking, decoding order와 같은 단어가 계속 보였던 기억은 확실합니다.

기존 언어 모델이 앞의 token부터 뒤의 token까지 순서대로 하나씩 생성한다면, diffusion LM은 가려진 문장 전체를 두고 여러 차례 수정하며 token을 채워 나갑니다. 여러 위치를 병렬적으로 생성할 수 있다는 장점이 있는 대신, 어떤 token부터 확정해야 하는지와 이미 생성한 token을 어떻게 수정할지가 중요한 문제로 보였습니다.

Diffusion이 이미지 생성 분야에서 중심적인 방법이 된 것은 익숙하게 느끼고 있었는데, 이제는 언어를 생성하는 방식까지 diffusion의 관점에서 다시 설계하려는 연구가 빠르게 증가하고 있다는 점이 흥미로웠습니다.

아직은 개별 논문의 세부 방법보다 ‘ICML에서 정말 자주 보였던 새로운 흐름’ 정도로 기억하고 있지만, 앞으로 관련 논문을 다시 접하게 된다면 이번 학회의 분위기가 함께 떠오를 것 같습니다.

학회비를 최대한 회수(???) 하는 방법

학술적인 내용만큼 중요한 경험이 하나 더 있었습니다. 바로 학회에서 제공하는 커피 타임과 케이터링을 빠짐없이 챙기는 일이랍니다 (이번 ICML 은 점심을 안주는 만큼 더 중요했답니다 하하하)

중간중간 제공되는 빵과 과일이 생각보다 다양했고, 음식도 상당히 훌륭했습니다. 커피 타임이 있을 때마다 꼬박꼬박 찾아가 열심히 먹었답니다

학회 등록비가 결코 저렴하지 않은 만큼, 제공되는 음식은 최대한 챙겨 먹어야 한다는 나름의 책임감이랄까요 하하 물론 먹기만 한건 아니구요 논문을 열심히 듣고, 포스터에서 질문도 열심히 하고 … 그러면서 커휘, 빵, 과일도 열심히 먹었습니다.

다음 학회에서의 목표는 소셜 네트워킹

이번 학회를 통해 다음에 학회에 참여한다면 무엇을 더 해보고 싶은지도 목표도 설정할 수 있었습니다, 바로 소셜 네트워킹입니다.

나중에 이야기를 들어보니 학회 기간에는 정규 세션 외에도 기업이나 연구 조직에서 커피챗, 저녁 만찬, 연구 주제별 모임 등 다양한 행사를 연다고 합니다. 비슷한 관심사를 가진 연구자들과 조금 더 편안한 분위기에서 이야기를 나누고, 기업이나 연구팀이 현재 어떤 문제에 관심을 가지고 있는지 들을 수 있는 자리라고 했습니다.

최근에는 좋은 연구를 수행하는 것뿐 아니라, 제가 어떤 연구에 관심을 가지고 있는지 다른 사람에게 알리고, 여러 연구자의 생각을 직접 듣는 일도 중요하다고 느끼는 것 같아요. 하지만 저는 낯선 사람에게 먼저 말을 걸거나, 별도의 네트워킹 행사에 스스로 찾아가는 일을 잘 못해서 ㅠ… 이번에도 포스터 저자들과 대화한 경험은 많았지만, 정규 학회 일정 밖의 모임에는 거의 참여하지 못했습니다.

그래서 다음 학회에 참석하게 된다면, 발표 일정만 확인하는 데 그치지 않고 기업 주최 행사나 관심 연구 분야의 소규모 모임을 미리 찾아보고 싶습니다. Women in Machine Learning과 같은 프로그램이나 워크숍에도 참여해보고 싶네용

마치며

이번 ICML을 통해 논문을 읽는 것과, 논문을 작성한 연구자를 직접 만나는 것은 상당히 다른 경험이라는 점을 느꼈습니다.

논문을 읽을 때는 주로 문제, 방법론, 실험 결과를 중심으로 내용을 정리합니다. 그러나 저자에게 직접 설명을 듣고 질문을 나누면, 저자가 왜 이 문제를 중요하다고 생각했는지와 연구 결과를 어떻게 해석하고 있는지가 더 오래 기억에 남았습니다.

또한 이번 학회를 통해 높은 성능을 만드는 연구뿐 아니라, 모델이 무엇을 근거로 판단하는지, 어떤 상황에서 실패하는지, 겉으로 보이는 성능 뒤에 어떤 행동이 숨어 있는지를 밝히는 연구가 중요하다는 점을 다시 느꼈습니다.

물론 직접 접한 수많은 연구를 모두 이해하지는 못했지만, 새로운 질문을 발견하고 다른 연구자들과 직접 의견을 나누면서 제가 앞으로 보고 싶은 문제를 조금 더 구체적으로 생각해볼 수 있었습니다. 뭐 아직 크게 도움이 될 지는 모르겠지만, 나름의 연구 아이디어도 좀 얻은 거 같다고나 할까요!

살펴봤던 페이퍼를 정리하는 데에도 꽤 많은 시간이 걸렸던 것 같습니다. 노션에 정리하니 A4로 43 페이지가 나오던데 이걸 제가 다 소화시키려면 역시 열심히 살아야겠다는 동기부여도 되네요

ICML에 참여할 수 있는 기회를 주신 교수님께 다시 한번 감사드립니다.