2025 상반기 회고

안녕하세요 신인택 연구원입니다.
2025 상반기가 다 끝나감에 따라 올해 RCV 연구실에서 배우고 경험한 것들과 평소의 생각이나 루틴, 그리고 창의학기제랑 연관돼서 연구해야할 분야 동향도 설명드리겠습니다.

우선 이번년에 연구실에 들어온만큼 올해 초에 URP 를 진행했었습니다. 분명 동기들과 함께 챌린지도 진행하고 컴퓨터 비전과 연구원이 무엇인지 맛만 보던 시절이 엊그제 같은데 벌써 반년이 지난 상황입니다. 생각보다 많은 동기들이 같이 연구실에 진학하게 되어서 연구실 적응이나 밥먹는 그런 기초적인 생활은 문제 없이 적응했던 것 같습니다. CV 팀에 처음 들어가게 되면서 성준님이랑만 거의 얘기를 하게 되어서 ( 연구나 과제 관련해서 ) 1대1로 하고 있지만 기초 연구나 해당 팀 과제를 위한 논문들을 팔로우업 하는 커리큘럼을 잘 짜주셔서 뭔가 헤매거나 지치진 않았던 것 같습니다. 처음 연구실에 들어와서 기초교육을 받을때 각자 팀 사수분들의 성향이나 교육받는 사람의 성향이나 상황에 따라 다른걸 배우게 되지만, 연구실 진학까지 1년 남은 제 상황에서부터 기초 논문부터 하나하나 대표적인 것들을 읽고 팔로우업하게된 것이 되게 짜임새 있게 느껴졌고, 생각보다 재밌게 보낸 것 같습니다.

뭔가 연구실에 들어오기 이전에는 막연히 기존의 문제점을 분석하고 그걸 개선할 방법론을 찾거나 덧붙이는 그런 과정이 되게 재밌을 것 같았지만 이걸 취미가 아닌 업으로 삼으려면 생각했던 것 보다는 더 체계적으로 해야하고 정신을 좀 똑바로 차리고 불태우는 시기도 필요할 것 같습니다. 다른분들의 회고록을 읽어보았을때 생각하셨던 고민들까지는 아직 가지 못했지만 다음학기에 창의학기제를 진행하면 제가 생각했던 문제와 그걸 개선시키기 위한 논문 서베이등을 구체적으로 해나가야 하기 때문에, 좀더 연구자로서의 길로 들어설 것 같습니다.

뭔가 조급하기도 하고 여유롭기도 하고 매주 마다도 되게 저의 심리상태가 왔다 갔다 하는 것 같은데, 어떨때는 논문을 읽으면서도 되게 신나고 흥미롭고 재밌는 것도 있고, 어떤 논문은 잘 읽히지도 않고 뭐라는건지 모르겠는 논문도 존재하는데, 사실 연구실에서 출퇴근하면서 연구자로 지내려면 저렇게 자주 심리상태가 왔다갔다 하는 것 보다는 한달 두달 분기 별로 그런 심리상태가 일정하게 유지되어야 좀 다니기 수월하지 않을까 싶습니다. 비단 연구자 뿐만 아니라 인생자체가 그럴수도 있지만, 누구나 열심히 하다가 목표 근처에 도달하거나 완전히 좌절되면 현타가 오듯이 언제든 내가 그런 상황에 올 수 있다는 것만 인지하고 목표 근처에 도달할 수 있게 스스로를 오랫동안 불태워갈 수 있게 하는 것이 중요할 것 같습니다.

지금 기업과제에 관련한 파이프라인에 관련한 논문들도 읽어보고 창의학기제에서 분석해야할 방법론들 생각해보고 있는데 먼저 과제에 과제에 관련해서는 다들 잘 들어보지는 못했겠지만 위성사진에 관련해서 Object detection이 어떤 방식으로 연구되고 있는지 좀 알아보고 있는데, 우리가 알고있는 Open vocabulary 에서의 사전학습 데이터들은 보통 RGB 이미지로 되어있기 때문에 이러한 새로운 도메인에 대해 파인튜닝을 진행하게 되면 사전학습 때 학습시킨 임베딩 공간을 효과적으로 이용할 수 없습니다. 그래서 아직 자기지도학습으로는 위성사진에 대해서 해결할 수 없는 것 같고, 지도학습기반의 고전적인 방법론들에 해당 위성사진만이 가지고 있는 데이터 특성을 잘 이해할 수 있는 모델들 위주로 연구가 진행되고 있습니다. 그리고 창의학기제 에서는 CLIP같은 대조학습기반의 사전학습된 모델이 계층적인 구조를 담고있지 않기 때문에 생기는 문제인 fine-grained 레벨의 객체분류를 잘 하지 못하는 것을 어떻게 해결할 수 있을지를 연구할 예정입니다. 최근까지 연구가 되고 있는데 물론 CLIP도 엄청 많은수의 data로 학습되어 있기 때문에 골든 리트리버 같은 객체를 찾을 수는 있겠지만 그 객체가 dog와 상위 하위 클래스라는 것이 명시적으로 학습된 것이 아니기 때문에 그러한 계층적 구조가 반영되어있지 않습니다. WordNet 같은 계층구조를 임베딩에 반영하려는 시도나 프롬프트에 계층적인 구조를 포함한 문장들로 구성하여 이러한 fine-grained 레벨의 객체분류를 시도하고 있습니다. 차차 논문 서베이를 좀 더 진행해보고 베이스 모델에서부터 어떻게 fine grained 클래스를 구별할 수 있게 만들지 정해갈 것 같습니다.

지금은 새로운 URP 멘티분들의 담당 조교를 하고 있는데, 제가 했었을때보다 훨씬 잘하는 분들도 많고 4층에서 URP를 진행함에도 서로 잘 친해진 것 같습니다. 분명 반년전에 멘티였지만 제가 멘티였을때 멘토가 어떻게 해주면 좋을지나, 지금 멘토의 입장에서 멘티에게 어디까지 알려주면 좋을지를 잘 생각하면서 개개인에게 맞는 조언을 해주고 있다고 스스로는 생각하고 있습니다. 1주차 서브멘토로 멘티분들의 개개인 속도를 맞춰서 조언을 해주고 지금 2주차 3주차가 된 시점에서 담당멘티 뿐만 아니라 전체적인 속도에 너무 늦춰지지 않게 도와주려는 시도 자체가 저에게도 많은 도움이 되는 것 같습니다.
뭔가 이렇게 새로 배우는 사람들의 입장을 생각해보니 제가 지금 헤매고 있는건지, 돌아가고 있는 건 아닌지 불안한 상황에서도, 미래의 제가 지금의 저를 다시 돌아봤을때 하나씩 쌓아 올라가고 있었다고 생각할 것 같아서 좀 마인드컨트롤 하기 좋은 것 같습니다.

이부분은 조금 사담인데 원래는 제가 주에 최소 4일에서 6일정도는 운동을 꾸준히 했었는데 최근에 조금 논문 서베이도 하고 스스로 알아야할 것들이 많다고 생각해서 늦게 퇴근하다보니 운동을 주에 1번이나 2번밖에 못가고 있습니다.. 분명 연구실 초기에는 아침 6시, 7시에 일어나서 운동하고 출근을 했었는데, 뭔가 그런 스트레스를 풀 수 있는 취미활동에 대해서도 어느정도 열정을 보여야 롱런할 수 있지 않을까 싶습니다..

이렇게 회고록을 작성하는 것 만으로도 내가 올해 상반기동안 어떤 생각을 하며 살아온건지, 안일한 부분은 없었는지 돌이켜보게 되니 좀더 현실직시를 하게 되는 것 같습니다. 분명 매일매일 출근하는 일은 반복적인 일이지만 이런 글을 작성하는 것은 좀 유니크한 일이니까요. 연구실의 연구원 분들도 각자의 상황이 다르겠지만 상반기를 돌아보면서 자신의 현 상황을 한번 정리하고 지나가면서 연구적으로나 인생에 있어서의 방향을 확인해볼 수 있는 시점이 되었으면 좋겠습니다. 두서없이 적힌 글이지만 읽어주셔서 감사합니다.