금해 감사하게도 7월 6일부터 11일까지 6일간 개최된 ICML에 참석할 수 있게 되었습니다. 올해 ICML은 기존 제출 논문의 2배에 달하는 논문이 제시되며 수량적으로 큰 변화를 맞이한 학회였습니다. 권위있는 AI 분야 학회답게 본 컨퍼런스 입장권은 매진이 되었는데요[출처], 참석하며 어떤 느낌을 받았는지 참관기를 작성해보도록 하겠습니다.
개인적으로 남은 인상: 인공지능에 대한 커뮤니티의 입장 제시
개인적으로 이번 ICML은 LLM의 활용에 있어 다양한 방식(논문 억셉, 인바이트톡 등)으로 의견을 제시했다고 생각합니다. 특히 심사과정에서 LLM 활용에 대해 2가지 방식으로 나누는 듀얼 트랙을 도입하였습니다.
듀얼 트랙으로 조사를 받으며, 학회측에서는 설문조사도 진해하였습니다. 아래는 설문조사의 결과이며 LLM 활용에 있어 커뮤니티 구성원이 선호 구성이 다양함을 확인했습니다.
하나 더 특징 적인 것은 위 정책에서 llm을 사용하지 않기로한 리뷰어/저자들이 LLM을 활용한것으로 밝혀지며, 제출된 논문의 약 2%에 해당하는 497편의 논문을 심사 전 반려했다고 하며, 이를 통해 심사과정 중 LLM 활용에 반대한 저자의 일부도 리뷰어로서는 활용에 긍정적 입장을 취할 가능성이 있음을 알 수 있습니다.
또한 invited talks 의 주제를 살펴보면 에이전틱 AI 혹은 신약 발견과 같은 다양한 분야에 ai 활용을 다루면서 순수 ML만을 다루는 것이 아닌 다양한 주제로 확장하려는 느낌을 보였습니다[링크]. 저는 프린스턴 대학 교수인 Arvind Narayanan의 What will be left for us to work on? 를 들었는데 코워커로서 인공지능이라는 포지셔닝을 다룬것으로 기억합니다.
실제 포스터장에도 연구 자동화를 위한 에이전트, LLM 활용에 관한 연구가 종종 보였고, 코워커인 인공지능을 둔 인간, 벤치마크 논문들을 통해 평가자로서 인간을 ICML커뮤니티에서 고려하고 있음을 보여주었습니다.
정리하면 ML 학회임에도 인공지능의 다양한 분야 확장, 시스템적 활용에 대해 긍정적으로 다루고 있었으며, 리뷰 과정에서 LLM 도입에 대한 테스트를 통해 커뮤니티의 인식을 직접적으로 확인하는 등 적극적인 모습을 보였습니다.
우수상 리스트
한편 우수상의 경우 에이전틱 ai등과 같은 활용 분야가 아닌 디퓨전, LLM의 성격/신뢰성을 다룬 논문들에게 돌아갔습니다 [링크]. 디퓨전 논문을 포스터장에서 관심있게 보지는 않았지만, 꽤 많았던 것으로 기억합니다. 생성모델들의 다양한 특성을 다루며 ML 학회스러운 논문에 수상을 돌렸음을 확인할 수 있습니다.
친절한 저자들
올해 저는 agent debate에 관한 논문을 메인으로 보고자 했습니다. 그러나 agentic system을 다룬 논문을 많았지만 debate와 같은 구체적인 메소드를 다룬 논문은 많지 않았습니다. 그래서 저의 경우 포스터 세션에서는 최대한 다양한 논문을 보고자 했고 다양한 제목을 많이 보며, 이해할 수 있을것 같은 제목의 경우 저자들에게 직접 설명을 들어보고자 했습니다. 한국인 저자인 경우 종종 한국어로 설명할 때가 있어 듣기 수월했는데, 외국인 저자들에게는 질문이 어려운것이 사실입니다. 저의 경우 영어를 잘 못한다고 말하며 설명을 요청했는데, 감사하게도 친절하게 설명을 해주셨습니다. 포스터장의 대다수 저자들은 본인들의 논문에 대해 소개하고싶어하기 때문에 영어를 못한다고 해도 겁먹지 말고 다가가면 좋을 것 같습니
참관기를 마치며
참관기를 마치며 이번학회는 agentic system과 같은 인공지능의 활용에 대해 연구자들과 학회 커뮤니티가 어떤 포지션을 취하고자 하는지가 느껴지는 학회였습니다. 또한 한국이여서 덜 긴장한 탓일지 저자들의 열정이 기존 다른 학회보다 강하게 느껴졌습니다. 개인적으로 기억에 남는것들 중 하나는 중국 연구원들이였습니다. 몇몇 포스터에서 정말 열정적으로 소통(중국어로..)하고 네트워킹을 활발하게 하는것으로 느껴졌습니다. 또한 wechat, X와 같은 다양한 소통창구를 포스터에 공개하는 등 적극적 PR이 있었던 것 같습니다. 물론 저번학회에 네트워킹 측면을 제가 관심있게 보지 않아 그런것일 수 있지만, 올해는 더욱 열띠고 활기찬 느낌의 학회였던 것 같네요. 이상으로 리뷰를 마치며, 좋은 기회를 주신 교수님과 연구실에 감사드립니다.
안녕하세요, 황유진 연구원님. 좋은 후기 작성해주셔서 감사합니다.
얼마 전 리뷰를 투고한 입장에서 리뷰어들이 LLM을 활용할지에 대해 관심이 많았는데, 학회 측에서도 이런 고민을 하고 있군요. 특히 LLM 사용하지 않았다고 체크해놓고 LLM으로 리뷰를 수행해서 본인이 제출한 논문들에 대해 desk reject 먹은 분들이 있는 부분이 인상 깊네요.
학회 측에서 어떤 기준을 가지고 LLM 생성 리뷰 여부를 판단했는지가 궁금한데, 판정 기준이나 방법에 대한 추가적인 정보가 있었는지 궁금합니다.
감사합니다.
안녕하세요 재연님 읽어주셔서 감사합니다.
학회측에서 LLM으로 리뷰를 생성했는지 판단하기 위하여 논문에 워터마크를 삽입하였다고 합니다. 이를 통해 LLM 생성 리뷰에 미묘하게 티가나도록 했다고 하며, 이렇게 자동적으로 걸러진 리뷰에 대해서 혹시나 오탐 방지를 위해 사람이 검증하는 과정까지 거쳤다고 합니다.
안녕하세요 유진님 참관기 잘 읽었습니다.
ICML이 리뷰 과정에서 LLM 사용 여부에 따라 듀얼 트랙을 운영했다고 하셨는데, 실제로 두 트랙 사이에서 리뷰의 품질이나 심사 결과에 차이가 있었는지 학회에서 공개한 분석도 있었는지 궁금합니다.
감사합니다.
안녕하세요 의철님 읽어주셔서 감사합니다.
제가 ICML 블로그에서 확인한 결과는 리뷰어들의 사전 선호도 조사에 국한됩니다.
리뷰어가 AI를 리뷰 활동에 사용한다면 어디에 활용할 것인가 (ex realted works 검색, 요약 등)에 대한 설문조사는 추가로 있고, 차후 AI를 리뷰어 활동에 도입하는 데 있어서 커뮤니티의 분위기를 전달하고는 있지만 실질적 퀄리티 평가는 제공하지 않고있는것으로 확인됩니다.
이를 제공할 경우 퀄리티 차이가 있다면 앞으로 리뷰에 AI 도입에 안좋은 영향을 끼칠 수 있어서 그렇지 않을까 싶습니다.