안녕하세요, RCV 신입 연구원 강희승입니다.
2026년 7월에 ICML이라는 인공지능 최고 학회가 한국에서 열렸고, 좋은 기회로 다녀오게 되어, 참관기를 작성해보려고 합니다.
첫 학회이다 보니, 설레기도 했지만, 어떻게 하면 많은 것을 얻어갈 수 있을까, 또 어떤 점을 얻어 와야 할까라는 생각이 많이 들었습니다. 그럼에도 불구하고, 놓친 부분들이 많은 것 같아 아쉬운 마음이 드는 것 같기도 합니다. 저는 이번 학회에서, poster session에 가장 열심히 참여했기 때문에, poster들을 보면서 들었던 생각들과 가장 인상 깊었던 poster를 정리해서 참관기를 작성해보려고 합니다.
Poster Session
첫째날의 경우, machine learning의 학회이다 보니, vision 관련 연구가 많이 보이지는 않았습니다. 그래서 poster의 내용들이 꽤나 생소한 분야들도 많았습니다. 하지만 오히려 그런 부분들이 새롭게 다가왔습니다. 가장 생소했던 poster는 첫 session에서 보았던 “ Outrunning LLM cutoffs: Live-kBench, a Live Kernel Crash Resolution Benchmark for All! “ 이라는 Poster였습니다. 해당 poster는 LLM agent를 활용하여, Linux kernel crash를 고치는 benchmark인데, OS level에서 kernel의 버그를 고치는 연구들도 한다는 것이 흥미로웠습니다. 또한, optimizer 자체에 대한 연구나, loss landscape를 분석하는 등 수학적 접근과 AI의 학습 과정의 본질적 문제를 연구하는 poster도 많았습니다. 아무래도, machine learning 학회다 보니, 이런 근본적인 문제를 다루는 논문들이 많이 보였던 것 같습니다. 연구를 하기 위해, 어떤 분야에 관심이 있고, 방향을 정하는 것도 물론 중요하지만, 단지 새로운 방법론을 적용하는 것이 아니라, 모델이 왜 그렇게 동작하는 지에 대한 근본적인 이해도를 갖추는 것도 중요하다고 느꼈습니다.
남은 이틀 동안은 첫째날에 비해, vision에 대한 poster가 체감상 더 많이 보였던 것 같아, Vision, Multimodal 관련 키워드가 있는 poster를 위주로 보았던 것 같습니다. 그중 binding 관련된 주제가 많이 보였는데, 2학기 창의학기제 주제가 VLM의 compositionality 관련이라, 더 눈여겨 보았던 것 같습니다. 그중 저자에게 질문을 했던 poster는 “ Formalizing the Binding Problem “ 으로, binding을 formalize하여 probe의 cross-entropy 손실을 통해 표현에 담긴 binding 정보량을 측정하는 연구였습니다. VLM이 색이나 모양 같은 feature는 잘 인식하면서도, 그 feature가 어떤 객체에 속하는지는 자주 혼동하는 문제는 실제로 자주 언급이 되는데, 이 연구에서 단순 task의 정확도 측면이 아닌, 모델의 representation 수준으로 확인을 했다는 점이 인상 깊었습니다. binding 이외에, 평소 관심이 있던 hallucination, Diffusion LM과 Catastrophic forgetting에 대한 연구도 생각보다 많이 보였고, 연구가 활발히 진행되고 있구나 느꼈습니다. 분명 핫한 주제이며, 충분히 연구될만한 문제들이지만, 학회에서 많이 보인다는 점은 이미 많은 사람들이 주목하고 있기 때문에, 이 task에 대해 경쟁력 있는 연구를 하기는 쉽지는 않겠구나라고 생각했습니다. 정말 쉽지는 않겠지만, 남들이 지금은 관심을 가지지 않지만, 미래에 문제가 될 만한 것들을 파악하는 것이 중요할 것 같다고 생각했습니다.
이번 ICML에서 accepted 된 논문의 수가 6,352편(어셉률 26.6%)으로, 각 session에서 평균적으로 700편씩 소개가 되었습니다. 그렇다 보니, 한정된 시간 내에 모든 논문들을 훑어 보는 것은 불가능에 가까웠습니다. 흥미로운 poster에서 질문을 하다보면, 2-3 편을 봐도 한시간이 훌쩍 지났습니다. 또, 사람이 굉장히 많다 보니, 핫한 poster들은 사람이 매우 몰려, 설명이 잘 안들리고, 질문을 할 기회도 부족해 아쉬웠던 것 같습니다.
선임 연구원들과 대화를 하면서, 내 연구를 주어진 자원 내에서 할 수 있는가라는 질문이 꽤 중요하다는 것을 깨달았습니다. 내가 아무리 특정 분야에 관심이 있다고 하여도, 무거운 LLM 활용하는 분야라면, 연구실의 제한된 자원내에서 쉽게 연구하지 못할 것 입니다. 이번 poster session에서는 어떻게 실험 설계를 하였는지에 대한 질문을 많이 못한 것 같아 아쉽습니다.
색다른 경험
ICML에 메인 session 이외에, 부수적으로 제공했던 session들이 있습니다. 그중 제가 참여했던 것은 기업 부스와 welcome reception이었습니다.
기업 부스는 많은 AI 기업들이 와서 회사를 홍보하거나 채용을 목적으로 운영되는 공간이었습니다. 그렇다보니, Google, OpenAI, Meta, NAVER 등 유명 기업 외에, Jump trading과 같은 퀀트 회사나, 음성이나, 비디오 계열등 다양한 분야의 회사들이 있었습니다.
기업 부스에서는 크게 얻어갈 것이 없을 것이라고 처음엔 생각하고 가볍게 돌았던 것 같습니다. 중간 중간 굿즈를 받기 위해, 몇번 대화를 해보다보니, 이런 기업들도 있구나라는 생각이 점차 들게 되었고, 내가 CV 연구를 하면서 어떤 회사를 갈 수 있는지, 또는 어떤 회사를 가고 싶은지 알아보는 것도 중요하다고 느꼈습니다. 기업의 철학과 방향성이 나와 맞는 지 판단하는 것이 중요한 부분이고, 꾸준히 회사들의 동향을 살피며 큰 흐름을 살펴야 빠르게 발전하는 AI 시장에서 적응할 수 있을 것이라고 느꼈습니다.
Welcome reception는 첫째날 모든 session을 마친 뒤, 간단한 먹을거리를 제공하며, 네트워킹의 자리를 제공하였습니다. 솔직히 신입 연구원이다 보니, 연구 방향도 구체화 되지 않았고, 깊이도 부족해서 참여하지 않고 집에 갈까 고민을 했지만, 음식이라도 먹고 집에 가자라는 생각으로 참여를 하게 되었습니다.
이 시간에 총 3명의 연구원을 만나 대화를 했는데, 생각보다 대화를 길게 하게 된 것 같습니다. 그중 첫번째 연구원은 도쿄 과학 연구소에서 LLM 관련 연구하는 석사생이었습니다. 서로 소개를 하고 어떤 연구를 하며, 어떤 것에 관심이 있는지에 대해 대화를 했습니다. 아무래도 서로 관심 분야가 달라서, 연구에 대해 많은 대화를 하진 못했던 것 같습니다. 그래도 학부생이라고 하니 뭐든지 해보라는 말과, 다양한 사람들과 대화를 해보라는 조언을 해주었습니다.
첫번째 연구원의 조언에 힘입어, 2명의 연구원에게 직접 말을 걸어보았습니다. 그중 기억에 남은 연구원은 세번째 연구원이었습니다. 독일에서 수학을 전공을 하는 박사과정 연구원이었습니다. 동일하게 어떤 연구하는지 서로 소개를 하고 대화를 이어나갔습니다. 수학을 전공하는 연구원이다 보니, 더 본질적 ML 연구를 하고 있었고, 이번 ICML에 “Neural Feature Geometry Evolves as Discrete Ricci Flow” 논문이 accepted 되어 오게 되었다고 하였습니다. 솔직히 언어의 장벽으로 그분이 무슨 연구를 하는지 도저히 이해할 수 없을 것 같아 많은 질문은 하지 않았던 것 같습니다. (😅) 오히려, 연구원분이 Vision, Language 분야는 모델 내부적으로 어떻게 계산이 되고 inference 되는지 관심을 가지고 질문을 주어, 열심히 설명을 해주었던 것 같습니다. 이후로는 가볍게 스몰토크로 서울 투어 추천해주고 대화를 마무리했습니다.
느낀점
계속 언급하는 부분이지만, 특정 분야의 학회가 아닌 pure machine learning 학회이다 보니, 근본 ML 논문부터, application 까지 다양한 분야의 논문들이 있어, 지금까지 공부했던, vision, language 관련이 아니라면 크게 친숙하지도 않고, 이해하는 것도 어려웠습니다. 특히 강화학습의 경우, poster session 내내 등장했던 키워드이며, language, agent 연구에서 자주 사용되는 것으로 확인했는데, 이에 대한 지식이 부족하다 보니, 이해하는데 조금 어려움이 있었던 것 같습니다. 추상적으로 VLM에 관심이 있는 상태에서, LLM에서 사용되는 기법들이나 아이디어들이 Vision-language 분야로 넘어오는 경우가 많기 때문에, 이에 대한 지식을 어느 정도는 갖춰야할 것 같다는 생각이 들었습니다. RL뿐 아니라, 내 연구에 사용이 될 만한 주제들을 이해할 수 있는 어느 정도의 깊이까지는 수준을 높여야겠다고 생각했습니다.
Poster session과 welcome reception에서 다양한 나라의 연구원들과 대화를 하면서 뼈저리게 느낀 것은 언어의 장벽이었습니다. 영어를 잘 못하다 보니, 정말 귀 기울여 들어야 이해가 되고, 내가 이해한 바를 다시 영어로 질문해야하는 점이 매우 어려웠습니다. 또, 영어 뿐 아니라, 내가 머리속 지식과 생각들을 명확히 정리해서 말로 표현하는 것도 매우 중요하다고 느꼈습니다.
이번 ICML을 가서 개략적으로라도, 연구 분야를 정해볼 수 있었으면 좋겠다고 생각했지만, 흐름도 제대로 파악하지 못한 것 같아 아쉬웠습니다. 그래도 학회는 어떻게 운영되고, 어떤 주제들이 활발하게 연구되고 있는지, 어떤 공통적 문제들이 자주 등장하는지 확인할 수 있었던 것 같아 너무 좋은 경험이었습니다.
여담으로 상인 연구원님이 “CLIP Tricks You” 라는 엄청난 제목으로 포스터를 설명하고 있는 모습이 굉장히 인상이 깊었고 멋있었습니다. 그래서 저도 꼭 탑티어 학회에 붙어서 학회에 가서 발표를 해보자라는 다짐을 하게 되었습니다. ( 이왕이면 해외? 🤓 )
마지막으로 좋은 경험을 하게 해주신 교수님께 감사드린다는 말씀을 올리며 마무리 하겠습니다.
감사합니다.
