안녕하세요. 박성준 연구원입니다.
2025년 상반기가 마무리됨에 따라 2025년에 느낀점 및 앞으로의 방향성 등을 글로 남기고자 상반기 회고를 작성하게 되었습니다.
우선 가장 먼저 올해 초에도 멘토로 참여하고 지금도 현재 진행되고 있는 유알피에 대한 생각을 나누고 싶습니다. 작년부터 매 분기마다 유알피를 멘토로 참여했지만, 올해 초 그리고 지금 진행되고 있는 유알피가 저에게는 제일 특별한 유알피로 남게 되는 것 같습니다. 올해 초 유알피는 제가 처음으로 특정 주차를 메인 멘토로 담당하게 된 유알피였습니다. 작년에 멘토로 참여한 유알피는 항상 김현우 연구원의 부사수로서 이론 세미나를 직접 진행하기보다는 실습 안내, 챌린지에 조언을 주는 서브 멘토로 참여하였습니다. 물론 유알피 멘토를 대충한 것은 아니었지만, 1주차 메인 멘토를 담당하게 되며 새로이 느끼게 된 점이 많습니다. 연구실에 들어오게 될지도 모르는 미래의 후배 그리고 앞으로 인공지능 연구자로 성장하게 될 새싹(?)들이 처음으로 유알피 과정을 참여하며 만나는 멘토, 처음으로 듣는 인공지능 기초 이론 세미나라는 것을 알게되니 제가 맡은 역할이 대충해서는 안되는 역할이라는 것을 느꼈고, 당시에는 연구실에서 저를 많이 가르쳐주신 임근택 연구원과 김현우 연구원이 직접 리허설도 들어주시고 조언도 많이 해주셔서 잘 준비할 수 있었습니다.
연구자로 연구실에 들어오고 2년동안 생활하면서 기초가 정말 중요하다는 것을 많이 느낍니다. 동시에 내가 어떤 것을 알고 모르는 지에 대한 메타 인지가 중요하다는 것을 느낍니다. 저는 다행히도 1주차 인공지능 유알피 멘토로서 분기마다 그 기초를 복습할 수 있는 시간이 있어서 참 운이 좋은 것 같습니다. 이런 관점에서 1주차 인공지능 기초는 특히나 오개념이 있으면 안됩니다. 처음으로 인공지능에 대해 공부하게 되는 많은 멘티들이 오개념을 갖게되면 나중에는 그때 그게 오개념이었구나라는 것을 깨닫게 되더라도 단순히 유알피에서 잘못 알아가는 것이 아니라 앞으로 인공지능을 알아가며 큰 문제가 될 수 있다고 생각했습니다. 그렇기 때문에 정말 아는 것만 전달하고 모르는 것은 솔직하게 모른다고 말하는 것이 중요하다고 생각했습니다. 모르는 내용은 공부해서 알려주면 되지만, 잘못 알려주게 되면 그것을 바로잡는 것은 더 힘들기 때문입니다. 아무튼 1주차 인공지능 기초를 정확하고 또 여러 개념들을 헷갈리지 않게 설명을 할 수 있게 자료를 구성하고 세미나를 구성하는 것이 처음에는 많이 어려웠습니다. 저는 단순히 정보를 나열하는 것이 아니라 왜 그렇게 하는지를 설명하고자 노력했습니다. 예를 들면, 단순히 역전파가 어떤 것이고 어떻게 계산되는 지가 아니라 인공지능을 학습하는 방법으로 역전파를 사용하는 이유를 설명하려 했습니다. 지금 생각해보면 머리로 생각하며 발표의 흐름을 구상하고 이를 토대로 만들었지만, 자료를 처음보는 입장에서 이 내용을 잘 따라올 수 있는 지와 설명하는 내용들의 흐름이 어떻게 되는 지에 대한 설명은 없었어서 잘 전달이 되었는 지는 모르겠네요. 세미나 이후에도 자주 강조하며 설명했었기에 잘 전달되었기를 바랍니다.
또한 올해 초 유알피를 마친 신인택 연구원이 저와 같은 팀으로 배정 받고 일하게 되면서 신인택 연구원의 교육 일정을 설계하고 진행했습니다. 항상 모든 교육에는 교육자의 철학과 생각이 관여할 수 밖에 없다고 생각합니다. 제가 유알피를 하고 연구실에 들어왔을 때를 돌아보면, 저는 유알피를 통해 처음으로 파이썬, 인공지능을 접했고 기초가 남들에 비해 많이 부족했었습니다. 그래서 한정된 시간 속에 기초 내용은 중요한 것 같은 내용만 선택적으로 주입했고 연구실에 들어오면서 그 빈자리를 채우는 데에 시간이 많이 걸렸습니다. 아직도 기초가 많이 부족하다고 느낍니다. 그래서 더 기초의 중요함을 강조하게 되는 것 같습니다. 교육 일정은 최대한 보수적으로 설계했고 주차 별 교육의 난이도에 큰 차이가 나지 않길 바랬습니다. 또한 각 주차별 내용이 인공지능의 발전의 순서로 구성되었고 다음 주차의 교육 내용의 바탕이 되는 내용이어서 인공지능 연구의 흐름을 간접적으로나마 느낄 수 있도록 설계했습니다. 음 나름 고민해서 일정을 구상했는데 인택님이 잘 따라와줘서 감사하고 앞으로도 연구실에 잘 적응할 수 있는 동시에 저와 같은 수준 혹은 더 높은 수준의 연구자로 빠르게 성장할 수 있기를 바랍니다.
올해 상반기는 참 많은 일들이 있었던 것 같습니다. 하나 또 나누고 싶은 점은 기업 과제에 대한 내용입니다. 과제의 내용을 다루지는 않겠지만, 김현우 연구원이 잠시 자리를 비우게 되면서 제가 과제에 더 신경을 많이 썼었야했습니다. 그동안 제가 얼마나 꿀빨고 있었는지(?)를 알게 되었습니다. 제가 주도적으로 무언가를 한다는 것에 큰 책임을 느끼고 또 부담을 느꼈습니다. 처음에는 어떻게 해야할 지도 잘 모르겠고 결정을 해야하는 데 뭐가 좋은 지도 모르겠고, 참 막막했었는데 이제는 어느정도 익숙해진 것 같습니다.
CVPR 학회도 참석했었습니다. 처음으로 해외 학회에 참석하고 동기부여가 많이 됐습니다. 자세한 내용은 CVPR 2025 참관기를 읽어주시기 바랍니다. 한 줄 요약하면, 연구를 하고 싶다!입니다. 연구에 대한 동기부여가 많이 되었습니다. 아직 저는 논문을 작성해본 적이 없습니다. 바빠서라고 말하고 싶지만 지금 생각해보면 제가 주도적으로 무언가를 해결하려고 노력하질 않았던 것 같습니다. 사실 지금은 진짜로 바빠서(?) 신경을 잘 못쓰고 있었는데 올해가 지나가기 전에 저의 연구를 해보려합니다.
제가 연구하고자하는 분야는 비디오-자연어 이해입니다. 비디오에 대한 이해를 바탕으로 자연어에 결합하여 연구하고 싶습니다. 구체적으로는 Video Question Answering (VQA) 그 중에서도 Video Question Grounding (VQG)를 서베이 중입니다. 기존 VQA는 비디오와 비디오와 관련된 자연어 질문을 입력 받아 자연어 질문에 해당하는 답변을 하는 task입니다. VQG는 답변을 생성할 때 답변의 근거가 되는 비디오의 구간도 같이 반환하는 task입니다. 기존의 VQA는 자연어 모델의 사전 지식에 많이 의존하여 비디오의 유무와 상관없이 같은 답변을 생성하는 문제가 있었습니다. VQG는 해결하기 위해 제안된 task로 실제로 모델이 비디오를 참고 하고 있는 지를 확인하기 위해 정답의 근거가 되는 timestamp도 반환합니다. 2024년에 처음 제안되었고 현재 연구가 시작되는 분위기라 아직 해결되지 않은 문제가 많다고 생각했고 제가 기존에 관심 있게 서베이 했었던, 영상 내 구간 검색(Moment Retrieval)과 연관성도 있고 무엇보다 비디오-자연어 이해의 관점에서 도전적인 연구라는 점이 매력적인 연구라고 생각했습니다. 아직 서베이 중이고 베이스라인도 실험해보지 못해서 자세한 연구 동향 혹은 저의 연구 방향은 앞으로의 제 엑스 리뷰를 확인해 주세요. 매번 회고할 때마다 하는 말인 것 같아 부끄럽지만, 엑스리뷰 잘 작성하겠습니다.
돌아보니 정말 많은 일이 있었고 멘탈적으로도 힘들었던 상반기였지만, 그만큼 많이 성장할 수 있었던 시간인 것 같습니다. TMI지만, 올해 운동을 좀 쉬면서 살이 8키로나 쪘는데 다시 꾸준히 운동해야겠습니다 하하. 기분 오락가락할때가 많았는데 생각해보니 운동 안해서 그런 것 같기도하고 암튼 남은 하반기도 잘 마무리할 수 있게 이번 기회에 심기일전하는 것 같습니다. 마지막으로 바쁜 본인 일정 중에도 저를 많이 도와주고 길을 잃지 않게 방향성을 제시해준 김현우 연구원과 연구실에 들어온 지 얼마 되지도 않고 귀찮은 일 많이 시켰는데 불만 없이 잘 따라 와준 신인택 연구원 덕분에 정신 없고 바빴던 올해 상반기 잘 넘길 수 있었던 것 같습니다. 어느새 6개월도 남지 않은 남은 2025년, RCV 연구실 구성원 모두가 행복하게 잘 마무리할 수 있길 바랍니다. 감사합니다.
