ICML 2026 참관기

안녕하세요 이번 X-diary로는 26년도 코엑스에서 열린 ICML 학회 참관기를 작성하려고 합니다.
이번 ICML 학회가 코엑스에서 열리게 되어 부담없이 즐길 수 있을 줄 알았지만 방대한 양의 포스터와 논문들,, 그리고 Oral 세션과 포스터 세션을 왔다갔다하면서 냉방병 때문에 쉽지 않았네요.

위의 사진은 첫날 오랄세션중 코엑스 오디토리엄에서 열렸던 파트였습니다. 코엑스의 각 Hall 에서 열렸던 Oral 세션들은 행사장이 너무 울리고 음질이 안좋아서 듣기 쉽지않았었는데 오디토리엄에서 열렸던 발표들은 꽤나 재밌게 들었던 것 같습니다. (맨앞자리여서 그런 것도 있습니다.) 저는 현재 연구중인 주제와 최대한 관련있을법한 세션과 포스터들을 찾아다녔었는데요. 오랄세션이 사실 사람들의 발음도 그렇고 미리 해당 논문을 읽어가지 않는이상 질문하거나 이해하는데에 어려움이 있어서, 포스터 세션을 위주로 질문하고 다녔습니다.

포스터 세션

첫날 제일먼저 질문했던 포스터였는데요. 한국분들이 작성한 논문이라 먼저 입을 열어볼겸 질문하게 되었습니다. 컨셉 자체는 신기했었는데요, instruct tuning 시 여러가지의 데이터들을 사용하게 되는데, 각 데이터들을 보통은 전부 섞어서, 즉 수학, 이미지인식,코딩, 문서 이해 데이터셋들을 섞어서 학습합니다. 저자는 이러한 각 데이터셋들을 학습함에 있어서 병목이 있다 생각하여 GPU 적으로도 이점을 얻고, 각 데이터셋을 따로 학습하고 가중치를 합하는 방식이 더 성능이 좋다는 점을 밝혀낸 논문이었습니다. 방법론적인 부분도 한국어로 꽤나 자세히 설명해줘서 첫 포스터에서 질문에 대한 감을 얻게 되었습니다.

제가 token pruning을 연구하고있는 만큼 사람이 많든 적든 비슷한 주제의 포스터, 관심있는 주제의 포스터들은 전부 찍어놓기도 하고..

포스터 제목과, 도식도의 소제목들이 흥미로운 포스터들은 직접 질문들도 많이 했습니다. 해당 포스터의 1번 소제목을 읽어보면 VLMs 들이 outperform llms on text-only Retrieval 즉 text only qa 에서 VLM 이 왜 LLM 보다 더 성능이 높은지를 분석한 논문이었고 해당 포스터에서만 10분은 넘게 대화를 한 것 같습니다.

얀 르쿤 교수님이 지도교수로 진행한 논문도 슬쩍 보고 지나갔습니다.

해당 포스터도 제 영어 실력의 처참함을 좀 인지한 포스터인데, 꽤나 애먹으면서 질문을 하곤 했습니다. 제가 모르는 분야라 이해하는데에도 더 어려움이 있었고 저자도 알려주려고 노력해줬습니다. 간단히 설명드리면 AI 모델들이 고유한 fingerprints들을 가지고 있는데, 기존 방법론들은 모델의 가중치를 중점적으로 해석했습니다. 저자는 같은 모델이더라 하더라도 시스템 프롬프트나, temperature 세팅, 양자화 여부등에 따라 안전한 모델이 되기도 하고 위험한 모델이 될수도 있다는 점, 그리고 현재 서버에서 돌아가고 있는 구체적인 세팅 상태를 아울러서 생각해야한다. 인스턴스 레벨의 어떠한 핑거프린팅을 제안하는 논문입니다.

뭐 예시를 들면 LLM 에게 랜덤한 0과1의 시퀀스를 만들게 시킨다거나 car 과 sun 두 단어를 무작위로 섞어서 100글자 출력하게 해본다던지 모델은 말로는 랜덤하게 출력하라는 말을 들었지만, 진짜 무작위의 출력을 진행하지 못하고 가짜 무작위를 만들게 됩니다. 이러한 무작위를 흉내낼때 발생하는 미세한 편향들이 모델의 가중치나, temperature, 시스템 프롬프트의 세팅등에 따랏거 아주 고유하게 바뀐다는 점을 밝힙니다.

그래서 이러한 패턴을 분석하면 Temperature 0.7 세팅의 안전 프롬프트가 걸려있는 Qwen 2.5 모델이구나~를 확인할 수 있고, 기존 방식들이 미세한 세팅 변화를 구별하는 정확도가 35%정도였다면 저자는 질문을 수천번 던지지도 않고 40번 정도의 대답으로도 그 모델의 고유 지문을 딸 수 있다는 내용이었습니다.

제가 모르는 분야에 대한 포스터여도 내용이 흥미로워보이거나 질문할 사람이 많이 없다면 영어적 능력도 확인하고 어떠한 task 들이 있는지, 분석은 어떤식으로 했는지 참고할겸 질문을 최대한 많이한 것 같습니다.

다음은 제가 연구하고 있는 분야와 동일 Task에 관련된 포스터라 질문을 좀 많이했었는데요. 앞 포스터는 20분은 기다려서 질문하였는데 (앞 질문자들은 중국인들이었어서 서로 질문을 중국어로 엄청 오래 하더라구요..) 저자가 영어가 저랑 비슷한 수준이라 서로 대화가 쉽지 않았습니다. 두번째 포스터는 제가 저번주에 x-reivew 에 작성했던 논문인데, 상인님처럼 segmentation 쪽으로 Training free token compression 논문을 작성한 분이셨습니다. 해당 포스터에 논문에 대한 내용이 전부 담겨있지 않았고, 많은 중요한 분석들이 빠져있기는 합니다. 저자가 main 저자분이셨는지는 모르겠지만 중국분이셔서 또 소통이 쉽지는 않았네요.

후기

학회에서 제가 다른 석/박사분들과 네트워킹을 하거나 기업 부스를 알차게 이용? 한 것 같지는 않습니다.
Oral 세션이 생각보다 엄청 유의미하지는 않았던 것 같고, 포스터 세션은 정말 많은 논문들이 존재해서 발이 아팠지만, 주어진 시간 내에서 궁금한 점도 영어 실력에 상관없이 최대한 질문하려고 노력했고, 아이디어나 영어적 소통에 있어서 많은 것을 얻은 것 같습니다. 특히 논문 제목이 진부한 것보단 신선한? 좀 과감한 제목들이 많았던 것 같네요. ML 학회기도하고 제가 연구하는 분야와 조금이라도 fit 한 분야는 10%정도 되는 것 같았지만 그럼에도 불구하고 물어보려는 스탠스여서 그런지 만족스러웠습니다.

교수님께 이러한 기회를 마련해주셔서 감사하다고 전하며 다이어리 마치겠습니다.