안녕하세요, 어느덧 입실 1년차(무려,,)를 향해가고 있는 이재윤입니다. 26년 새해가 되고 연초 아듀 세미나를 준비했던 것도 엊그제 같은데, 시간 참 빠른 것 같습니다.
이번 글에서는 연초 계획, 상반기 결산, 하반기 계획을 이야기해보겠습니다.
연초 계획
- 1~6월 : 창의학기제 연계 JICROS 국내 저널 제출
- 산업 동향 세미나
결론적으로 상반기 동안 계속 붙잡고 있었던 JICROS 논문 작업은 저번 주에 마무리가 되었고, 교수님 컨펌 후 최종 투고만을 남겨두고 있는 상황입니다. 계획은 6월까지라고 되어있는데요? 라고 궁금해하실 것 같은데, 자세한 내용은 이 다음 상반기 결산 파트에서 말씀드리겠습니다. 우선 저 당시에는, 논문 작업도 현재 저희 팀 기업과제에서 실제 사용하고 있는 파이프라인을 그대로 가져와서 시작했으며, 저번 학기 똑같이 창의학기제를 경험해보신 인택님도 학기가 끝나기 전에 논문을 제출하셨던 것으로 기억하고 있어서 기간 설정을 저렇게 해놓았습니다. 하지만 일련의 이슈로 인해서(?) 결국 8월 말까지 딜레이가 되었네요. 그래도 새 학기 전에 마무리지었다는 점은 다행인 것 같습니다.
산업 동향 세미나는 실제로 진행은 하지 않았지만, 계획을 들었을 때 어쩌면 저에게 가장 필요한 부분이 아닐까라는 생각을 가졌습니다. 석사 후 취업을 생각하고 있는 입장에서 현재 취업 시장의 분위기는 어떠한지, 내가 갈 수 있을 만한 직무는 어떤 것이지 있는 지 등을 파악해두는 것이 중요하다고 생각을 했지만 막상 현재 주어진 일을 수행하느라 뒷전으로 미뤄둔 경향이 있었습니다. 최근 성준님께서 본인의 큰 그림에 대한 얘기를 해주신 적이 있었는데, 본인이 어떤 걸 하고 싶은지와 그렇게 하기 위해 본인의 연구 계획을 어떤 식으로 세웠는지에 대한 애기였습니다. 저도 개인 연구 주제를 슬슬 잡아야 하는 입장에서, 어떤 연구 주제가 가장 재밌을까?를 기준으로만 판단하려고 했었는데, 본인의 최종 목적이 취업이라면 어떤 직무를 희망하는지, 그럼 그 직무를 위해 나는 어떠한 준비를 하고 스토리텔링을 해야 할 지를 미리미리 구상하고 이를 고려하는 것도 중요하다는 생각이 들었습니다. 비록 상반기 동안 명확한 진로 설계를 하진 않았지만, 좋은 기회로 참여하게 된 ECCV 학회 일정 동안 이 부분과 관련해 더 알아보고 생각해볼 예정입니다.
상반기 결산
[1~2월 : ECCV 논문 작업]
겨울에는 정말 좋은 기회로, 근택님, 성준님과 함께 ECCV라는 탑티어 컨퍼런스 논문 작업에 참여했습니다. 처음에 참여 제안이 들어왔을 때, 이제 막 기초교육이 마무리되어가는 시점의 제가 탑티어 논문 작업에서 무엇을 할 수 있을까에 대한 걱정도 들었지만 선배 연구원 분들이 논문 작업을 어떤 식으로 진행하는 지를 옆에서 보고 배울 수 있다는 장점이 너무 크다고 생각해서 참여를 결심했던 것 같습니다.
저는 보통 근택님께서 지시하신대로 몇 가지 실험을 돌려보고 통계를 뽑거나, 정성 예시 찾기 등의 반복 작업을 주로 담당했었습니다. 그래서 제 수준에 맞게 단순한 작업들 위주로 진행하긴 했으나, 사수 분들을 지켜 보면서 많은 것들을 얻어간 것 같습니다. 우선 이런 공동 작업에서 가장 중요하다고 생각이 든 것은 “소통”이었습니다. 당시 미팅을 이틀에 한 번 꼴로 진행하며 진행 상황 공유 및 스케쥴링을 타이트하게 했던 것으로 기억하는데, 이렇게 상황을 자주자주 공유하면서 계획된 대로 일이 잘 흘러가고 있는지, 중간에 변수가 발생했다면 계획을 어떻게 수정할 지 등등 정말 많은 부분을 해결할 수 있게 된다는 것을 깨닫게 된 것 같습니다. 다만 결국 여러 번 미팅을 하면서 얻어 가야 하는 것은 지금까지 어떤 일을 했으며 어떤 결과가 나왔고, 이것에 기반해서 우리는 어떤 일을 수행해야 하는 지 체계적으로 계획하는 것인데 나중에 제가 1저자 논문 작업을 할 때 근택님처럼 빡센 스케줄링을 하고 공저자들에게 업무를 부여할 수 있을지는 모르겠네요,, 우선 저 개인적으로 계획을 짜고 실행하는 습관을 들여놓아야 할 것 같습니다.
그 밖에도 문제 정의 및 해결 과정을 어떻게 설계했는지, 네이버 멘토님들의 피드백 내용은 무엇이었는지, LLM을 사용하더라도 bias의 영향을 최소화하기 위해 어떤 방법을 사용해야 하는지, 오버리프는 어떻게 사용하는지 등에 알게 되며 전반적인 논문 작업 프로세스가 어떤 식으로 진행되는 지 경험해봤다는 점이 아마 제 학부 과정 중의 가장 큰 수확으로 남지 않을까 싶습니다. 개인적으로 작업 과정에서 일정 시간 내에 결과를 내야 하다보니 LLM에 많이 의존했었고 그러다 보니 중간중간 실수를 많이 했었던 것 같은데, 다시 한 번 근택님께 죄송하다는 말씀 전해드리고 싶고 앞으로 gpt를 많이 쓰더라도 끝까지 의심하는 스탠스가 필요할 것 같습니다.
마지막으로, 작업했던 논문은 최종적으로 ECCV 2026에 accept되었고, 저도 9월 초 스웨덴 말뫼에서 열리는 conference에 참여하게 되었습니다. 사실 처음에는 작업 과정에서의 비중도 큰 편도 아니고 학부생이라 학회 가서 많은 것을 얻어올 수 있을까?에 대한 스스로에 대한 의문이 들어서 학회에 가지 않는 쪽으로 생각했었는데, 여름 ICML 이후 개인적으로 저자들에게 좀 더 다양한 질문을 하지 못했고 poster/oral 세션 외에 다른 부수적인 행사도 참여해보는 것도 좋았겠다는 아쉬움이 남았으며, CV 학회에서 좀 더 많은 비디오 연구들을 접해보고자 하는 생각이 새롭게 들어서 학회에 가게 되었습니다. 아마 다음 글은 ECCV 참관기가 될 수도 있겠네요(?)
[3~8월 : JICROS 국내 저널 논문 작업]
상반기 동안 저를 많이도 괴롭혔던 작업입니다. 상반기에 진행했던 창의학기제와 연계해서 JICROS라는 국내 저널에 국문 논문을 투고해보는 것을 목표로 했던 작업으로, 저희 팀 과제에서 실제로 사용하고 있는 SAR Object Detection 파이프라인을 가져와서 주제를 잡았습니다. (참고로 SAR은 간단하게 설명하면, 가시광선 대신 센서 신호로 결상한 이미지입니다. ) 원래 쓰고 있던 파이프라인을 가져와서 논문화만 하면 끝나는 생각보다 단순하고 금방 끝낼 수 있는 작업으로 생각했었지만, 성능만 뽑으면 되는 과제에서의 목적과 달리 논문을 작성하기 위해선 추가적인 분석 및 고찰이 필요한데, 분석 과정에서 기존 파이프라인의 연구 관점에서의 문제점을 하나 둘 발견하게 되고, 이것을 해결할 지 고민하고 실험하다가 라이팅이 딜레이되었습니다.
기존 파이프라인은 베이스라인 프레임워크에 두 개의 design을 추가로 결합한 구성이었습니다. 기본적인 backbone + detector 구조에 더해, SAR 이미지 특성상 노이즈가 빈번하게 나타나는데 이때 노이즈에 강건한 특징을 추출하기 위해서 입력단에 노이즈 강건 특징을 추가하고, 객체 구별력이 떨어지는 현상을 보완하기 위해 backbone에 일종의 MoE(Mixture of Experts) layer를 삽입하여 객체 영역과 배경 영역이 분할 학습되도록 설계하였습니다. 하지만 창의학기제 마무리를 위해 논문 초안을 작성하는 과정에서 몇 가지 문제점을 발견했는데
- 입력단에 새로운 특징을 추가하는 과정에서 초기 layer의 사전학습 가중치가 소실됨
- backbone에 MoE layer를 추가했을 때 성능이 오르긴 하는데, 객체-배경 분할 학습이 의도대로 되었는지는 의문임
- 두 design(입력단 특징 추가, MoE 삽입)을 결합한 통합 파이프라인을 제안하려 하였으나, 통합 모델보다 MoE Layer 삽입만 추가한 버전이 가장 성능이 좋았음
사실 세 번째 문제 ‘통합 모델의 성능이 다른 단독 모델 성능보다 떨어졌다’가 가장 크게 작용해서, 통합 모델의 성능을 올리기 위해 아키텍처를 건드리는 실험을 새롭게 진행했고 그러다 보니 조금 딜레이가 되었습니다. 물론 국내 저널이다 보니, 마감 기한이 없어서 스스로 나태해진 감도 없지 않아 있었습니다.. 각설하고, 이런 저런 새 아키텍처를 실험해본 결과 MoE Layer에 노이즈 강건 특징을 residual로 더해주는 방식의 성능이 MoE only보다 높게 찍혔고 아주 소폭의 성능 개선이었지만 국문 논문이다보니 이대로 라이팅을 진행하는 것으로 결정했습니다.
하지만 라이팅 역시 쉽지 않았습니다. 성능이 개선되긴 했는데, 추가된 모듈들이 의도대로 동작했는지 실험적으로 어떻게 보여 줄 지, 실험 및 분석 결과를 토대로 내가 할 주장의 강도는 어느 정도로 설정해야 할지, 기존 문제 정의는 이런 식으로 설정했었는데 지금의 분석 결과를 가지고 이를 유지해도 될 지 등등 사소해보였던 부분에서 많은 문제들이 발생했고 그로 인해 스트레스도 많이 받았던 것 같습니다. 그렇게 뭔가 안 풀린다 싶을 때에는 계속 현 모델 아키텍처에 문제가 없는지, 좀 더 좋은 스토리텔링을 위해 추가할 있는 설계가 있지는 않을지에 대한 생각이 계속 들면서 딥해졌던 것 같은데, 그렇게 다른 방법을 또 설계하고 돌리면서 추가적인 딜레이가 발생한 것 같습니다. (참고로 학습 한 번 시키면 기본 이틀은 잡아먹어서,, 하나의 실험을 설계하고 결과 정리하는 데에 시간이 오래 걸렸습니다) 하지만 국문 논문에 그렇게까지 딥해질 이유도 없기 때문에 최대한 현재의 아키텍처와 상황에 맞추어 라이팅을 시작해보자 다짐했고, 성준님 인택님께서도 실험과 라이팅을 병렬적으로 수행하는 게 중요하며 분석은 이렇게 해보면 어떻겠냐는 코멘트를 주셔서 마음을 다잡고 초안 완성하는 것에 집중할 수 있었습니다.
결과적으로 제 손으로 작성한 첫 논문이 완성되었는데, 확실히 직접 한 번 써 보니 얻어 가는게 많았던 것 같습니다. 다른 논문을 볼 때 특정 문장에서 저자의 숨은 의도가 느껴지는 듯 하기도 했고, 논문의 시작부터 끝까지 일관된 주장을 펼쳐야 하는데 여러 번 수정하는 과정에서 이를 유지하는 일이 쉽지 않으며, 사소해보이는 표현적인 부분도 논문의 완성도를 좌지우지할 수 있다는 것을 알게 되었습니다.
하반기 계획
하반기는 키워드로 설명드리면 “캡스톤”,”CVPR 논문 작업 서브” 정도로 설명드릴 수 있을 것 같습니다. 원래는 7월 말에서 8월 초를 JICROS 논문을 마무리하고 캡스톤 및 CVPR 작업에 대한 더 많은 이야기를 나눠보고 계획을 세우려 했는데 위에서 언급했다시피 8월 끝날때까지 논문을 붙잡고 있던 탓에 하반기 계획은 조금 나이브하게 언급하도록 하겠습니다.
먼저 2학기에 캡스톤을 정우, 예은, 그리고 6월까지 로보틱스 개발인턴으로 계셨던 은아님과 하게 되었습니다. 주제는 아직 명확하게 잡진 않았지만 모바일 메니퓰레이터를 이용해서 무언가를 할 것 같은데, 사실 로봇 쪽은 아는 게 거의 없긴 해서 얼마나 팀에 도움이 될 수 있을 진 모르겠지만, 훌륭한 제 동기를이 많이 도와줄 거라고 믿고 있습니다^^ 아마 일주일 중 캡스톤에 얼마나 많은 시간을 할애해야 하는 지가 제 하반기 계획을 짜는 데 있어 가장 중요한 부분일 것 같습니다.
다음으로 632에서 진행 중인 CVPR 프로젝트(?)에서 저는 성준님의 action anticipation 연구에 서브로 참여할 계획입니다. 개인적으로 이번 CVPR 논문 작업 때는 ECCV 때보다 조금 비중 있는 작업을 맡고 수행해보는 것을 목표로 하고 있습니다. 그렇게 차차 사수 분들의 논문 작업을 따라가면서 연구 프로세스에 익숙해지고 추후 석사 입학했을 때 본격적으로 개인 연구를 주도적으로 시작할 수 있도록 노력할 계획입니다. 그리고 요즘 video generation에 대한 관심이 생겨서 유진님의 generation 연구에도 관심이 있다고 말씀드린 적이 있었는데, CVPR 서브 작업 둘과 캡스톤, 학부 강의를 병행할 수 있을 지는 모르겠습니다,,
마지막으로, 앞서 언급했다시피 저는 video generation에 대한 흥미를 가지고 있어 틈틈이 관련 연구를 팔로우업해나갈 계획입니다. 원래는 gpu 리소스 이슈가 클 것 같아서 다른 task를 알아보고 있었지만, 지난 번 ICML에 다녀왔을 때 generation 연구의 비중이 체감상 큰 것 같았고 시각적으로도 흥미로운 output을 보여줘서 관심을 가지게 되었습니다. 아마 video generation 연구의 큰 흐름과 현재 트렌드, 연구실 gpu 리소스 내에서 시도해볼 수 있는 세부 task는 무엇이 있을 지 알아보고 새해를 맞음과 동시에 개인 연구를 시작하는 것을 목표로 하고 있습니다.
긴 글 읽어주셔서 감사합니다..!
