상반기를 돌아보며
연구실에 입실한지 어느덧 1년이 되어가네요!
올해 초에 세웠던 저의 상반기 목표는, 1학기 창의학기제를 통해 연구할 예정이었던 “속성 정보를 활용한 미학습 객체의 fine-grained detection”이라는 주제로 ICCAS 2026에 논문을 제출하는 것이었습니다. 해당 목표는 저의 창의학기제 전 과정을 붙어서 지도해주신 승현님과 함께 9월 중으로 RA-L에 제출하는 것으로 변경되었습니다. 3월부터 시작한 주제 하나로 지금까지 연구를 수행하고 있는터라, 9월 중순에는 꼭 마무리를 지으려고 합니다. 연구하고 있는 3F-OVD 태스크를 제안한 벤치마크 논문 자체가 reasonable한 베이스라인 성능을 보여주지 않고 있을 뿐더러 인용수도 거의 없어서 비교할만한 모델 자체가 없는 상황이었습니다. 이런 이유로 첫 연구를 하기에는 어려운 태스크라는 생각이 계속 들어 힘에 부칠 때도 있었지만 정민님과 근택님께서도 저희의 연구 진행 상황을 살펴봐주시고 이런저런 아이디어와 방향성을 제안해주셔서 지금까지 잘 진행할 수 있었던 것 같습니다!
3F-OVD라는 task는 쉽게 말해 “펩시제로 라임 500mL”와 같이 제품명 수준의 세밀한 클래스를 예측하는 fine-grained OVOD입니다. 3F-OVD를 타겟으로 한 연구가 없다보니 비슷한 결의 OVOD, fine-grained OVOD, fine-grained image classification까지 광범위한 서베이를 오랫동안 진행해왔습니다. 심지어 이 태스크들조차 저자마다 자신들의 문제정의 철학이 크게 다를 뿐 아니라 related work나 experiment에서 비교하는 방법론들이 일관되지 않아 연구 흐름을 보기 좋게 정리하는 것도 생각보다 까다로웠습니다. 그만큼 연구 scope의 경계가 모호하고 건드려야 할 태스크가 많아 이 과정에서 현타와 방황을 알게 모르게 겪었던 것 같습니다..ㅎ 깔끔한 벤치마크로 연구 scope이 딱 떨어지는 연구를 하는 것이 얼마나 행운인지 느낀 것 같습니다. 하지만 그러한 연구는 결국 SoTA 경쟁을 하는 것이 자연스러운데, 그만큼 기존 연구를 능가하는 성능을 내기 어렵다는 문제점이 있을 것입니다. 반대로 저희의 연구는 논문을 작성하기에는 훨씬 까다롭지만 새로운 베이스라인 내지 findings를 담는다는 관점에서 novelty가 있을 것이라 생각합니다. 그래서 저희는 3F-OVD의 베이스라인이 될만한 프레임웍이 없다는 점에 착안하여, 기존 fine-grained OVOD, fine-grained image classification 등의 방법론과 비교 실험을 진행하여 저희의 findings를 담는 방식으로 논문의 방향성을 잡았습니다. 동시에 창의학기제에 구축했던 localization-retrieval-reranking 구조를 제안하려고 합니다. 또한 제품명 수준의 세밀성을 가진만큼 이를 어떤 도메인이든 적용할 수 있도록 일반화하기 위해서는 training-free 방식을 가져가는 것이 저희 철학에 맞는 방향이라 생각했고, 학습을 하지 않고 모델이 클래스를 예측하기 위해서는 색상이나 모양 등 객체의 시각적인 특징을 서술하는 description이 필요한데, VLM과 MLLM이 올바른 classification을 수행하기 위한 적절한 description이 무엇일까의 관점에서도 고찰을 담아보려 합니다. 마지막까지 힘을 내서 승현님과 함께 무사히 논문을 제출하고자 합니다.
해당 연구를 진행하면서 깨달은 점이 많은 것 같습니다. 먼저 작년 회고록에서 기록의 중요성을 언급하였는데, 기록하는 습관을 기르기 위해 창의학기제를 하면서 주간 TODO를 구체적으로 정리하였습니다. 저는 돌아서면 까먹는 편이라 TODO를 정리하는 것이 일의 효율에 너무나 큰 도움이 되었습니다. 또 어떤 아이디어나 궁금한 점이 꼬리에 꼬리를 물 때마다 생각에 그치지 않고 일단 기록을 해놓으면 나중에 언젠가는 돌아보고 써먹을 때가 생기더군요. 두 번째는 방대한 실험을 효율적으로 하는 것과 그것들을 정리하는 방법입니다. 저희가 하는 논문 작업이 아주 많은 실험을 필요로 하는데, 이러한 실험들을 꼼꼼히 그리고 보기 좋게 정리하는 방법을 승현님께 많이 배운 것 같습니다. 또 시간은 한정되어 있고 방법론의 특성 상 수많은 경우의 수를 모두 실험해볼 수 없었는데, 우리의 철학을 보여줄 수 있는 실험 세팅을 만드는 것 또한 어렵고 중요한 일임을 직접 깨닫게 되었습니다.
추가로 올해는 파지 과제와 LLM 과제에도 처음으로 조금씩 참여하기 시작했습니다. 온라인 회의에도 참석하고 출장도 다녀오면서, 연구 과제라는 것이 어떤 프로세스로 굴러가는지 조금씩 알아가고 있는 것 같습니다. 알게 된 점은 기관 간의 소통이 정말 중요한데 그만큼 쉽사리 되는 것이 아니라는 점입니다. 연구실 내부에서 소통할 때에는 거의 느끼지 못했는데, 과제 회의라는 공적인 자리에서 정해진 시간에 진행 상황을 공유하고 질의응답을 하는 것이 굉장히 까다로운 일이라고 느껴졌습니다. 앞으로 과제에 더 깊이 있게 참여하게 될 텐데, 저희 연구원들끼리 뿐만 아니라 함께 과제를 수행하는 기관들과도 잘 소통하는 방법을 터득해야겠다는 생각이 들었습니다. 또한 연구란 결국 예산 위에서 굴러간다는 점도 몸소 깨닫게 되었습니다. 연구실에 앉아 편하게 논문만 읽을 때는 절대 깨달을 수 없는 부분이라, 연구를 지속 가능하게 만드는 조건들에 대해 처음으로 생각해보게 되었습니다.
하반기 계획
우선 9월 중순 논문 제출을 무사히 마무리하는 것이 우선순위이고, 그 다음으로는 캡스톤에 집중하려고 합니다. 또 과제에도 계속 참여할 예정입니다. 그리고 가장 중요한 목표는 내년 3월 석사 입학 전까지 저의 연구 주제 내지 컨셉을 대략적으로라도 찾는 것입니다. 작년 회고록에서 하루 빨리 저의 색깔을 찾고 싶다고 적었었는데, 지금까지 여러 경험을 쌓아 시동을 걸었으니 이제는 정말 그때가 다가온 것 같습니다..! 논문 작업이 끝나면 저희 팀에서 관심있는 주제나 진행하고 있는 다른 과제들에 보다 관심을 가지고 팔로우업하려고 합니다. 추가로 로봇과 다시 친해지고, 산업계에서 필요로 하는 사람이 되기 위해 필요한 요소가 무엇일까를 늘 염두에 두며 연구실 생활을 헤쳐나가고 싶습니다.
마치며
연구 외적으로는 건강한 생활습관을 만들겠다고 다짐했는데, 잘 이뤄지지는 않은 것 같습니다. 아직까지는 체력적인 문제가 크게 느껴지지 않지만 방심하지 말고 이제부터라도 바른 생활 습관을 만들기 위해 노력해야 할 것 같습니다. 상반기에는 제 몸보다는 멘탈 케어에 집중을 했던 것 같습니다. 정신없이 바쁜 연구실 생활을 하다보니 역설적으로 연구 외적인 저의 개인적인 고민거리들이 심화되곤 했습니다. 올초에는 독서도 많이 했고 여러가지 교양 수업도 들었는데 여기서 얻은 것들이 많았던 것 같습니다. 자세한 이야기는 가능하다면 다음 회고록에서 풀어보면 좋겠네요!
논문 제출이 2주 남짓 남은 시점에 마음이 조급해지고 있었는데, 이렇게 멈춰서 상반기를 돌아보니 앞으로 무엇을 해야할지 조금 더 선명해진 것 같습니다. 이번 하반기가 학부생으로 보내는 마지막 반년이 될텐데 아직 부족한 것이 많지만 함께 해주시는 연구원분들 덕분에 제가 많이 성장할 수 있었던 것 같습니다.
앞으로 더 힘내보겠습니다!! 연구원분들도 모두 화이팅입니다!! 읽어주셔서 감사합니다.
