안녕하세요. 박성준 연구원입니다. 벌써 2026년이 절반이 넘게 지나갔습니다. 연초에 세웠던 목표, 계획들을 돌아보면서 2026년 상반기 어떻게 지나갔는지를 회고하려합니다.
상반기 목표
먼저 상반기 목표는 크게 두가지 였습니다.
- 2저자로 참여한 ECCV 논문 제출
- 박사 과정 연구 큰 그림 고민
1. 2저자로 참여한 ECCV 논문 제출
작년말부터 근택님, 재윤님과 Long Video Understanding을 주제로 연구를 진행했습니다. 목표는 3월 초 ECCV 논문 제출이었습니다. 2저자로 참여하면서 연구 주제를 함께 고민했고 논문을 잘 마무리할 수 있도록 노력했습니다. 저는 근택님의 주도 아래 여러 실험을 나누어 진행했습니다. 중간에 제 실수로 제가 담당한 실험이 어긋나면서 원하던 결과를 100퍼센트 얻지는 못했습니다. 마감이 가까운 시점이라 다시 돌려볼 여유도 충분하지 않아 계획을 살짝 수정하여 논문을 마무리하게 되었습니다. 상반기를 돌아볼 때 가장 아쉬운 지점인 것 같습니다.
이 일을 계기로 배운 것이 많지만, 가장 깊게 생각해본 부분은 바로 스케줄링과 소통이었습니다. 특히 상황을 정확하게 공유하는 일이 중요하다는 것을 느꼈습니다. 실험이 제가 의도한대로 진행되지 않고 어긋났다는 사실을 조금 더 빨리, 조금 더 정확하게 공유했다면 대응할 시간이 있었을텐데 제가 임의로 판단하에 기한 내에 직접 수정할 수 있다고 잘못 판단했고, 결과적으로 기존 계획에 부족한 상태로 마무리되었습니다. 특히나 같이 작업을 진행할 때에는 정확하게 상황을 진단하고 공유하는 것이 중요하다는 것을 알고 있었음에도 불구하고 제가 해결할 수 있다는 오만함에 스스로 해보려다가 더 크게 문제가 되었던 것 같습니다. 같이 작업하며 많이 답답했을 근택님께 죄송하네요. 이 글을 읽는 다른 연구원분들도 혹시나 같이 작업하는 와중에 일정에 차질이 생기거나 문제가 생긴다면 가장 중요한 것은 상황 공유 그리고 같이 소통하는 것 같습니다.
근택님이 연구를 이끌어가는 방식을 옆에서 지켜보며 배운 것도 많았습니다. 무엇을 언제까지 확인할지 미리 정해두고, 결과가 나오면 바로 다음 질문으로 넘어가는 흐름으로 진행했고, 마감 전 2주 정도는 거의 매일 늦게까지 작업하며 남은 부분을 채웠습니다. 당연히 중간에 계획보다 지연되거나하는 일이 생길 수 있지만, 스케줄링한 일을 미루지 않고 바로바로 처리하는게 중요한 것 같습니다.
감사하게도 논문은 ECCV에 accept 되었습니다. 함께 고생해주신 근택님과 재윤님께 감사드립니다. 지금은 여기서 배운 것들을 토대로 개인 연구를 진행하고 있습니다. 하반기 목표 중 하나는 개인연구를 잘 마무리해서 CVPR 2027에 제출하는 것입니다.
2. 박사 과정 연구 큰 그림 고민
개인 연구 주제는 제 박사 과정 연구 큰 그림에서 잡게 되었습니다. 제 박사 과정 연구의 큰 그림은 1인칭 영상 이해(Egocentric Video Understanding)입니다.
지금까지 저는 비디오 연구를 하면서도 3인칭 영상에만 집중해왔습니다. 주도적으로 주제를 잡기보다는 팀 선배들이 진행하는 연구에 협업하거나 따라가는 경우가 많았습니다. 덕분에 비디오 자체에 대한 이해는 쌓였지만 정작 제가 하고 싶은 연구가 무엇인지에 대한 고민은 적었던 것 같습니다. 그러다 올해 초 석박사통합과정으로 전환하게 되면서 박사 과정 동안에 나는 무엇을 할 것인가에 대한 고민이 많아졌습니다. 그러던 와중에 정민님이 목표가 없는 전진은 길을 잃고 방황할 수 있다고 조언해주셨고, 재밌어 보인다는 이유로 시작한 연구는 흥미가 떨어지는 순간 의욕도 함께 사라지고 흐지부지된다고 말씀해주셨습니다. 맞는 말인 것 같습니다. 당연히 제가 재밌어서 시작하고 죽을때까지(?) 좋아하는 일만하면 좋겠지만, 좋아하는 일이라는게 바뀔수도 있고 저는 좋아하는게 많고 그 많은 좋아하는 일들도 관심도가 금방금방 식고 변할 수 있는 사람이라는 것을 알고 있기 때문입니다. 연구실에 있으면서도 거창하게 시작했다가 결국 마무리되지 못한 연구들이 한두번 있었습니다. 그래서 제가 이미 알고 있는 것과 제가 하고 싶은 것 사이에서 균형점을 찾아 박사과정 동안의 큰 주제, 목표를 정해보기로 했습니다.
제가 궁극적으로 만들고 싶은 것은 사람처럼 판단하는 인공지능입니다. 흔히 말하는 AGI, 조금 더 솔직하게 말하면 아이언맨에 나오는 자비스같은 인공지능입니다. 다만 이대로는 너무 막연하기에 구체화가 필요했고 그 접점에서 찾은 개념이 World Model 이었습니다. World Model은 AI가 복잡한 현실 세계의 구조와 동역학을 이해하고, 미래 상태를 예측하여 그에 기반한 의사결정을 수행하도록 하는 개념입니다. 제가 그리는 인공지능의 모습과 정확히 겹치는 방향이었습니다.
하지만 World Model은 아직 갈 길이 멉니다. 현실 세계의 구조와 동역학을 제대로 이해하지 못하고, 미래 상태 예측도 불안정하며, 그 위에서 내려지는 의사결정은 신뢰하기 어렵습니다. 저는 이 모든 것의 첫 단계가 결국 현실 세계에 대한 이해라고 생각했습니다.
여기에 추가로 저는 약간 홍대병이 있어서 남들이 다 하는 연구는 하기 싫어하면서 동시에 영양가 없는 연구도 하기 싫습니다. 까다롭죠. 그래서 이 기간동안 논문도 많이 읽으면서 좀 오랫동안 서베이를 진행했던 것 같습니다. 아무튼 저는 다음 네 가지 조건을 세워두고 서베이를 진행했습니다.
- 현실 세계에 대한 이해와 관련되어 있는 연구
- 영향력 있는 연구가 될 수 있는 연구
- 사람들이 많이 연구하지 않은 분야의 연구
- 제가 기존에 쌓아온 지식을 활용할 수 있는 연구
제가 서베이하면서 찾은 이 네 가지를 모두 만족하는 분야가 바로 1인칭 영상이었습니다.
인공지능이든 로봇이든 결국 1인칭 카메라를 통해 세상을 관찰하고 이해합니다. 그리고 카메라가 받아들이는 것은 정지된 이미지가 아니라 연속된 영상입니다. 이미지 한 장만으로는 세상을 온전히 담을 수 없습니다. 결국 1인칭 영상을 통해 주변 세계를 이해하는 문제로 귀결됩니다. 사람이 세상을 받아들이는 방식 역시 다르지 않습니다.
그런데 기존 비디오 연구는 대부분 3인칭 영상을 다룹니다. 제 생각에 그 이유는 단순하다고 생각합니다. 데이터가 훨씬 많고 사람들이 소비하는 콘텐츠 대부분이 3인칭이기 때문입니다. 저는 여기서 1인칭 영상 연구의 필요성과 동시에 아직 성숙도가 낮은 분야라는 점을 느꼈습니다. 게다가 비디오 팀에서 계속 비디오를 공부해왔기에 진입하기에도 적절한 위치였습니다. 네 가지 조건을 모두 만족하는 주제였던 셈입니다.
현재 개인 연구로는 Action Anticipation을 연구하고 있습니다. 1인칭 영상에서 행동 주체(사람일 수도, 로봇일 수도 있습니다)의 행동을 관측하고 이후에 이어질 행동을 예측하는 task입니다.
1인칭 영상 이해의 첫걸음으로 이 주제를 고른 데에는 몇 가지 이유가 있습니다. 우선 다른 1인칭 관련 task들에 비해 GPU 자원을 과하게 요구하지 않으면서도 제가 가고자 하는 방향과 잘 맞습니다. 그리고 제가 기존에 공부해온 Video Understanding, Temporal Grounding, Question Answering 등의 문제 구조가 상당히 유사합니다. 앞서 말한 네 번째 조건, 즉 기존 지식을 활용할 수 있다는 점이 여기서도 그대로 이어집니다.
미래를 예측하려면 현재 무슨 일이 벌어지고 있는지를 이해해야 하고, 그 이해는 결국 World Model이 필요로 하는 능력과 닿아 있습니다. 큰 그림의 가장 작은 첫 스케치를 저는 Action Anticipaiton으로 시작하려 합니다.
그 외 상반기 한 일들
상반기 목표 외에도 상반기에 많은 일들이 빠르게 지나간 것 같습니다.
먼저, ICML 참관입니다. ICML이 이번에 한국 코엑스에서 열리면서 참관으로 다녀왔습니다. ICML에서 느낀점은 제 ICML참관기를 확인부탁드립니다. 한줄 요약하면 “왜”를 생각하고 근거, 이유를 설명하는 태도의 중요성을 느낀 것 같습니다.
두번째로 우리팀 막내 재윤님의 JICROS 연구에 2저자로 참여했습니다. ECCV 연구에서도 2저자로 참여했지만 근택님이 멘토 역할에 제가 배우면서 서포트하는 거였다면 이번 연구에서는 재윤님 주도하에 진행하지만 제가 멘토로 참여한 느낌이었습니다. 실험부터 논문 작성까지 대부분 재윤님이 직접 작업했고, 저는 옆에서 타임라인을 함께 잡고 피드백을 드리는 역할을 맡았습니다. 언제까지 무엇을 확인해보자, 이 부분은 이렇게 접근하는 편이 좋을 것 같다, 여기는 다시 다듬어보면 좋겠다와 같은 이야기를 꾸준히 나눴습니다. 피드백을 드리는 과정에서 저도 함께 배운 것이 많았습니다. 논문을 검토하려면 제가 먼저 그 흐름을 정확히 이해해야 했고, 그러다 보니 평소보다 더 꼼꼼히 들여다보게 되었습니다. 저 역시 멘토 역할은 처음이었기에 재윤님이 배워가는 것이 많으면서 동시에 제가 실질적인 도움이 될 수 있도록 나름대로 최선을 다했습니다. 다음부터는 재윤님이 주도적으로 작업할 수 있어야 한다고 생각해서, 직접 해결해드리기보다는 옆에서 가이드라인을 만들어드리고 꼼꼼히 검토하는 방식으로 진행했습니다. 지금 생각해보니 재윤님 입장에서는 잔소리로 느껴졌을 수도 있었을 것 같네요.
같은 2저자라도 어느 자리에 서 있느냐에 따라 배우는 것이 완전히 다른 것 같습니다. ECCV에서는 근택님이 만들어주신 구조 안에서 제가 무엇을 놓쳤는지 무엇을 보완해야할지를 배웠다면, 이번에는 무엇을 먼저 확인해야 하는지 어디까지 정해주고 어디부터는 맡겨야 하는지를 판단해야 했습니다. 상반기 초에 근택님께 배운 스케줄링과 상황 공유의 중요성도 재윤님께 많이 강조했던 것 같습니다. 현재는 논문 작업을 마치고 제출을 앞두고 있습니다.
세번째로 인택님의 WACV 연구에 3저자로 참여했습니다. 제가 맡은 파트는 글 보완 및 Figure 보완이었습니다. Intro가 처음 완성되었을때 몇가지 조언을 했었고(나중에는 갈아엎었지만) 글 다듬기 조금 그리고 Figure를 다듬는 작업을 진행했습니다. 실험부터 논문 전반적인 작업까지는 인택님이 스스로 진행하셨고, 마지막에 글의 완성도 측면에서는 근택님이 큰 도움을 주셨습니다. 논문 작업하느라 고생 많으셨던 인택님께 감사드립니다.
상반기를 돌아보며
돌이켜보면 상반기에 배운 것들은 결국 세 가지로 정리되는 것 같습니다.
첫째는 상황을 정확하게 공유하는 일입니다. ECCV 연구에서 제 실수로 배운 것이고, JICROS 연구에서는 반대편 자리에서 다시 확인한 내용입니다. 문제가 생겼을 때 혼자 해결하려 드는 것보다 지금 어디까지 왔고 무엇이 막혔는지를 정확히 공유하는 편이 결과적으로 훨씬 빠릅니다. 알고 있다고 생각했지만 실제로 겪어보고 나서야 몸으로 이해하게 되었습니다.
둘째는 “왜”를 먼저 묻는 태도입니다. ICML에서 가장 크게 느낀 부분이기도 합니다. 좋은 연구들은 예외 없이 왜 이 문제인지, 왜 이 방법인지, 왜 이것이 동작하는지에 답하고 있었습니다. 생각해보면 상반기에 제가 박사 과정 주제를 고민한 과정도 결국 같은 질문이었습니다. 네 가지 조건을 세워두고 오래 서베이했던 것은 “왜 1인칭 영상인가”에 스스로 답하기 위한 시간이었습니다. 성능이 올랐다는 사실만으로는 다음 실험으로 이어지지 않지만 왜 올랐는지를 알면 그것이 다음 단계의 설계도가 됩니다. 하반기 연구에서는 실험을 시작하기 전에 이 실험으로 어떤 질문에 답하려는지를 먼저 고민하려 합니다.
셋째는 목표를 먼저 세우는 것의 중요성입니다. 정민님 말씀처럼 목표가 없는 전진은 방황이 되기 쉽습니다. 상반기의 절반이 넘게 주제 고민에 썼지만, 지금은 그 시간이 아깝지 않았다고 생각합니다. 남은 박사 과정 동안 무엇을 향해 갈지가 정해졌기 때문입니다.
하반기 목표
다가오는 하반기 목표는 심플하게 계획중입니다.
- CVPR 2027 제출 – 현재 진행 중인 Action Anticipation 연구를 잘 마무리하는 것입니다. 아직 1저자 논문이 없기에 개인적으로 가장 중요한 목표입니다.
- 과제 마무리 – 제가 담당하고 있는 과제가 2개 있는데, 두 과제 모두 신경을 써주지 않으면 큰일날 것 같은(?) 과제입니다. 당연히 연구에 집중하겠지만, 진행 중인 과제들 역시 기한 안에 잘 마무리하고 싶습니다.
- 후속 연구 방향성 검토 – CVPR 2027까지 잘 논문을 마무리한다면, Action Anticipation 다음에 어떤 문제로 넘어갈지를 미리 살펴두려 합니다. 물론 현재 연구가 지연된다면 그 연구부터 잘 마무리하고 싶습니다.
상반기가 방향을 잡는 시간이었다면 하반기는 그 방향으로 실제로 한 걸음 내딛는 시간이 되었으면 합니다. 첫 스케치를 그려둔 만큼 이제는 그것을 눈에 보이는 결과로 만들어보고 싶습니다.
읽어주셔서 감사합니다.
