2024년은 연구실에서 많은 경험을 하고, 다양한 기회를 접할 수 있었던 값진 한 해였습니다. 상반기와 하반기를 나누어 돌이켜보면, 각 시기마다 새로운 도전과 배움의 순간들이 가득했던 것 같습니다.
상반기: 연구실 제안서 작업 참여 및 연구
상반기에는 연구실에서 진행하는 프로젝트 제안서 작업에 참여하게 되었습니다. 제안서 작성은 단순한 문서 작성이 아니라, 연구 아이디어를 구체화하고 체계적으로 계획하는 과정이라는 점에서 많은 것을 배울 수 있는 기회였습니다. 특히, 제안서의 각 섹션이 어떻게 구성되는지, 프로젝트의 목표와 방법론을 명확하게 설정하는 과정이 얼마나 중요한지 깨닫게 되었습니다.
이 작업을 통해 가장 크게 배운 점은 프로젝트의 흐름을 설계하는 방법이었습니다. 연구는 아이디어만으로 이루어지지 않으며, 철저한 계획과 단계별 목표 설정이 필요하다는 점을 직접 경험했습니다. 또한, 팀원들과의 협업을 통해 서로의 아이디어를 보완하고 발전시키는 과정에서 의사소통의 중요성도 다시금 느낄 수 있었습니다. 무엇보다, 제안서 작업에 참여하며 연구실에서 프로젝트가 어떻게 기획되고, 진행되는지에 대한 감을 잡을 수 있었던 점이 가장 큰 수확이었던 것 같습니다.
제안서 작업이 마무리될 무렵, 학기가 시작되면서 본격적으로 연구 주제를 정하고 실험을 시작하는 시기가 되었습니다. 그동안 active learning에 대해서만 집중적으로 공부했기 때문에, self-supervised learning에 대해서는 아는 것이 많지 않았습니다. 그래서 이번 기회에 self-supervised learning의 다양한 방법론들을 깊이 있게 공부할 필요가 있었습니다. self-supervised learning은 여러 가지 접근 방식이 있고, 그 발전 과정 역시 빠르게 변화하고 있었습니다. 논문을 읽으면서 이러한 다양한 기법들을 이해하는 데 많은 시간이 필요하다는 것을 깨달았습니다. 그 과정에서 단순히 논문만 읽는 것에 그치지 않고, 직접 코드도 적용시켜보는 과정을 거쳤습니다.
연구를 진행하는 동안 많은 논문을 읽고 다양한 실험을 시도했습니다. 새로운 아이디어를 적용해 보고, 기존의 방법론을 변형해 가며 결과를 얻기 위해 노력했습니다. 하지만 예상했던 결과를 도출하지 못해 결국 다른 연구 주제로 방향을 전환해야 했습니다. 아쉬움은 컸지만, 그 과정에서 쌓인 경험과 지식은 앞으로의 연구에 큰 도움이 될 것이라고 믿습니다.
하반기: 논문 작업 및 Scene Graph Generation 학습
하반기에는 근택님과 주영님과 함께 논문 작업에 참여하게 되었습니다. 연구 주제는 Scene Graph Generation이었는데, 해당 분야에 대한 지식이 거의 없는 상태에서 시작하다 보니 많은 어려움이 있었습니다. 처음 논문을 읽을 때는 용어나 개념들이 생소했고, 모델의 구조와 데이터 흐름을 이해하는 데도 많은 시간이 필요했습니다. 하지만 막상 하나씩 들여다보고, 관련 논문을 읽으며 지식을 쌓아가는 과정에서 점점 새로운 분야를 공부하는 즐거움을 느끼기 시작했습니다. Scene Graph Generation은 이미지나 비디오 속에서 객체 간의 관계를 파악하고 이를 그래프로 표현하는 기술입니다. 예를 들어, “사람이 의자에 앉아 있다”라는 장면에서 ‘사람’과 ‘의자’라는 객체를 식별하고, ‘앉아 있다’라는 관계를 그래프 형태로 나타내는 것입니다. 단순한 객체 인식보다 더 깊이 있는 해석이 필요하기 때문에 흥미로웠고, 이 기술이 다양한 비전 작업에서 중요한 역할을 한다는 사실도 알게 되었습니다.
또한, Scene Graph Generation을 공부하며 자연스럽게 최신 연구 트렌드를 따라갈 수 있었던 점도 흥미로웠습니다. 논문을 통해 최신 기술 동향을 파악하는 과정이 앞으로 내가 연구해야 할 방향성을 설정하는 데 큰 도움이 되었습니다. 앞으로도 꾸준히 최신 연구 흐름을 따라가며, 이를 통해 더 넓은 시야를 갖춘 연구자가 되어야겠다 생각했습니다.
멀티모달 RAG 과제 작업
논문 작업과 병행하여 멀티모달 RAG (Retrieval-Augmented Generation) 과제도 진행했습니다. 처음에는 RAG에 대한 개념조차 생소했지만, 막상 공부를 시작하니 직관적이고 이해하기 쉬운 개념이라는 것을 알게 되었습니다.
서베이를 통해 관련 논문들을 폭넓게 조사하고, 기존 연구의 한계점과 발전 방향을 분석하면서 RAG에 대한 이해가 크게 향상되었습니다. 특히, 멀티모달 RAG 서베이 논문을 작성을 위해 단일 모달 RAG와 멀티모달 RAG를 비교 분석하였습니다. 이를 통해 각 접근 방식의 차이와 장단점을 비교할 수 있었고 더 폭넓은 시각으로 RAG에 대한 이해를 확장할 수 있었습니다.
결과적으로, 국내 학술지에 논문을 게재하며 첫 논문을 작성했다는 성취감과 뿌듯함을 느낄 수 있었습니다. 처음에는 논문 작성이라는 과정 자체가 막막하고 어렵게만 느껴졌지만, 하나씩 단계를 밟아가며 아이디어와 연구 결과를 정리하는 과정이 값진 경험이었던 것 같습니다.
기술문서 작성
멀티모달 RAG 논문을 작성하고 난 후, 얼마지나지 않아 곧바로 기술문서 작성을 준비해야 했습니다. 이번 기술문서는 단순한 정리 수준을 넘어, 목표한 성능을 달성하는 것이 가장 중요한 과제였습니다. 모델의 성능을 향상시키기 위해 MOE (Mixture of Experts)라는 기술을 알게 되었습니다. 하지만 MOE를 실제로 적용하는 과정은 생각보다 복잡하고 어려운 일이었습니다. 무엇보다 단기간에 성능을 끌어올려야 한다는 압박감이 있었던 것 같습니다. 이로 인해 실험을 진행하는 동안 초조함과 급한 마음이 따라붙었습니다.
초기에는 여러 가지 MOE 설정을 빠르게 바꿔가며 실험을 반복했지만, 제대로 된 방향성을 잡지 못하고 효율성이 떨어지는 상황이 계속되었습니다. 결국, 급한 마음을 가라앉히고 하나씩 천천히 문제를 분석하고 해결하는 방식으로 접근하기로 했습니다. 각 실험 결과를 검토하고, 실패의 원인을 찾으려 노력했습니다. 이러한 과정을 거치면서 비록 시간이 더 소요되었지만, 문제가 무엇이고 어떤 방식으로 접근해야할지, 해결 방법을 떠올릴 수 있었습니다. 다행히도 목표로 했던 성능을 달성하는 데 성공을 했고 그동안의 초조함이 안도감과 성취감으로 바뀌는 순간을 경험하였습니다.
마무리
2024년은 새로운 지식을 배우면서 어렵기도 하고 재미있기도 했던 한 해였습니다. 다양한 프로젝트와 연구를 통해 기술적인 내용뿐만 아니라 문제 해결 능력과 협업 능력도 키울 수 있었던 것 같습니다. 앞으로도 꾸준히 노력하여 더 많은 성과를 내고, 연구에서 더 주도적으로 참여하고, 팀원들과 적극적으로 소통하며 좋은 결과를 이끌어낼 수 있는 사람이 되고자 합니다.연구자로서 한층 더 성장할 수 있도록 노력하겠습니다. 감사합니다.
