네이버 고병수님, 구건모님 세미나 후기(논문 내용X)

추석이전 네이버에 재직중이신 고병수님과 구건모님이 귀한 시간내주셔서 Metric Learning에 대해서 세미나를 진행해주셨습니다. 다른 연구원분들은 세미나의 내용을 리뷰하시기 때문에 저는 그냥 세미나에 전반적인 리뷰를 진행하겠습니다.

Metric Learning?

저도 그렇지만 많은 분들이 이번 세미나를 통해서 Metric Learning에 대해서 알게 됐을 것이라고 생각합니다. 저도 2019년 인공지능 수업에서 처음 NetVLAD를 사용하면서 Metric Learning의 개념을 접하게 됐습니다. 그리고 참가했던 2019 KCCV에서 포항공대 곽수하 교수님 연구실의 “Deep Metric Learning Beyond Binary Supervision” 논문 발표를 듣고 해당 논문을 리뷰하기위해서 조사하면서 처음으로 Metric Learning을 공부했었습니다. (해당 논문에 대한 리뷰는 RCV NAS에 2019년 7월 12일 세미나 자료를 보시면 됩니다)

Metric Learning!

하지만 대략적인 내용만 파악할 분 정확한 이해는 부족했고, 또 부분만 공부했기 때문에 전반적인 발전 방향이나 분류에 대해서는 모르고 있었습니다. 하지만 이번 세미나를 통해 전반적인 분류와 연구의 발전방향 그리고 컨셉을 이해할 수 있었습니다.

( Object Detection으로 비유하자면 SSD가 무엇인지만 알고있지 SSD가 1stage의 방법론인지, 2stage의 방법론으로 Faster RCNN이 존재하는지, 그리고 최근에는 Anchor free 방법의 다양한 모델들 심지어 transformer를 베이스로하는 DE⫶TR:이 있는지 몰랐던거와 비슷한것 같습니다.)

신정민 연구원의 리뷰에 잘 설명이 됐지만, 아래 그림과 같이 Metric Learning의 연구는 발전됐습니다.

세미나에서 건모님은 처음 이러한 흐름에 대해서 설명해 주셨고, 대표적인 Contrastive Loss, Triplet Loss, N-pair Loss, Lifted Structured Loss, Multi-Similarity Loss, Softmax loss의 컨셉을 설명해주셨습니다.

이때 든 생각은 항상 논문을 읽을때 Related Work가 존재하듯 선배 연구자들의 연구를 온전히 이해가 바탕이 되어야 이를 바탕으로 자신의 생각이나 아이디어를 더해 발전시켜나갈 수 있다. 이라는 생각을 하게 됐습니다.

병수님과 건모님도 선행 연구들을 온전히 알기때문에 문제점을 발견하였고, 이를 개선시켜 우수학회에 여러편의 논문을 제출하셨다는 것을 세미나 발표를 들으며 알 수 있었습니다.

Simple is the best

세미나에서 발표를 들으면서, 세미나 이전에 병수님과 건모님의 논문을 미리 훑어보면서 든 생각은 ‘Simple is the best’ 입니다.

아직 Under review 상태인 논문을 제외하고, ‘Symmetrical Synthesis for Deep Metric Learning’ 논문이나 ‘Embedding Expansion: Augmentation in Embedding Space for Deep Metric Learning’의 논문을 보면 해당 논문에서 제안하는 Contribution은 Metric Learning을 잘 모르더라도 쉽게 이해할 수 있었습니다. 또 이를 논문에서는 다양한 실험들을 통해 검증하고 있어 잘쓰여진 논문의 흐름을 파악할 수 있었습니다. 이후 논문을 통해서 남을 설득하는데 있어 이번 세미나에서 발표하셨던 논문들의 연구의 흐름이 많은 도움이 될것 같다고 생각을 하였습니다.

결론

귀한시간을 내주신 병수님, 건모님께 감사드리고, 이 자리를 마련해주신 교수님께 감사드립니다. 이번 세미나를 통해서 느낀점은 매번 진행하는 논문리뷰에서 각각 논문의 Contribution을 이해하는것도 중요하지만, Related Work나 기타 다른 방안으로 해당 Task의 연구 흐름, 연구 방향들을 계속 팔로업하고 논문을 하나하나 온전히 이해할 수 있도록 읽는 습관을 만들어야겠다고 생각했습니다.