2026년 상반기가 다가오고있습니다. 올해 초기의 연구목표를 되돌아보며 올해 회고를 시작하겠습니다. 우선 올해의 연구목표는 3월(ECCV) 혹은 5월(NeurIPS) 중에”Long Video Understanding을 위한 LLM 기반 Tool 활용에 있어, Agent의 의사결정 방법을 학습/구성하는 연구”를하려고 목표했으며 진행된 사항은 없습니다. 변동된 목표로 주제는 변동하지 않을 예정이며 실적은 올해 안에 저널로라도 제출하고 마무리 하려 합니다.
글은 시간순 작성을 기본으로 하며, [빠지는 글]로 작성 중 순간에 떠오르는 생각을 그대로 작성했습니다. 글의 시간축이 흔들려 이해가 어렵다면 [빠지는 글]을 제외하고 읽는것을 추천드립니다. 아마도(?) 그편이 이해에 더 나을 것 같네요.
그나저나 작성하다보니 극체, 독백체로 작성되었는데 어떠신가요? [빠지는 글]은 독백 정도로 읽어주세요.
📃 사건의 전말
(1월 경)본 글은 시간순으로 작성을 해보겠습니다. “Long Video Understanding을 위한 LLM 기반 Tool 활용에 있어, Agent의 의사결정 방법을 학습/구성하는 연구” 위 글은 올 초 쓰래드에 작성한 연구 주제 목표를 그대로 옮겨온 것입니다. —변명을 시작해보자면—위 글을 지금이라면 “Multi agent system” 연구라고 간단히 요약할 수 있을 것 같아요. 🔥그만큼 주제에 낯설었습니다. “지능”에 항상 관심이 있던 저는 비디오 요약 연구를 위해 당시 최신 연구였던 Video Summarization with Large Language Models[Link]를 보고, 아! 인공뇌! 드디어 구현이 가능한걸까? 하고 소지능(LLM)간의 소통을 통한 대지능 구현에 관심이 갔던 것 같습니다.
[빠지는글] 제가 관심있는 분야는 Multi agent system 입니다. 특히 LLM과 같은 모델을 하나의 지능 처리 노드로하고 엣지로 서로 소통을 한다면 하나의 모델 성능이 제약되더라도, 혹은 한 도메인에 특화된 전문가(export)라도 더 큰지능으로 확장할 수 있을 것입니다. 또한 엣지간 소통이 규제된 자연어 형태라면 XAI의 구현 역시 식은 죽 먹기 아니겠습니까?
(3월 경)한편, 제가 맡고있는 과제는 “차세대 OTT 편집 시스템”과 관련된 것으로 4가지 축(비디오 요약, 비디오 테그추출, 비디오 클립 생성, 추천시스템)에 대한 핵심 기술을 개발해야합니다. 저는 에이전트연구와 과제를 엮기위해 찬미님께 summarization로 비디오 분야를 먼저 부탁하고 멀티 에이전트 연구 동향을 우선해서 살펴보았습니다. 차후에 둘이 융합하여 비디오 멀티 에이전트 방법을 구현하기 위해서 였던것 같습니다. (@황찬미 검토 부탁드립니다~) 제가 처음 본 연구는 GPTSwarm[Link]이였는데 연구실에서 주로 보았던 이미지 연구보다 TRL이 낮아보였고 🔥비디오로 확장되기엔 추론 시간측면에서 어렵겠다는 생각이 들어 비디오 QA관련 multi agent로 넘어갔습니다. 이때 처음 발견했던 논문이 지금 분석중인 베이스라인인 LVAgent[Link]입니다.
[빠지는 글] 작년 회고록 혹은 박사과정 이후 최근 회고록에서 다루었는지 모르겠습니다. 제 연구 관심사는 항상 TRL이 낮은편이였습니다. Image Generation 혹은 Uncertainty와 같은 기술에 관심이 있었기 때문입니다. 그러한 탓에 항상 방향성에 어려움이 있었는데요, 그래서 박사과정간에는 현실에 닿는 기술에 집중하고싶었고, 제가 맡은 과제를 충실하게 이행한다면 이를 해결할 수있을 것이라 생각했었습니다.
(5월 경)LVAgent를 다루던 찰나에 제안서 작업이 요청되었던 것 같습니다. 작업 스트래스가 높지는 않았던것같습니다. 다만 3/5월에 실적을 내야겠다는 압박감에 —지난 1년간에도 논문 제출 실적이 없었기 때문이죠— 사용할 수 있는 리소스는 최대한 사용해놓자 라는 마음으로 클로드에게 바이브 리서치를 시켰습니다. 초반에 임근택 연구원과 LVAgent를 분석하는 방법을 논의했는데, 당시에는 LVAgent가 가장 직관적인 방법인 동시에 성능도 뛰어나 분석이 어려운 상태였습니다. 바이브 리서치를 시작한 이유는 제안서를 작성하며 어차피 남는 시간에 🔥뭐라도 진행시켜보겠다는 생각이였습니다. 제안서 마무리 이후 클로드와 진행한 내용이 너무 많아 이것을 정리하는데 애를 좀 썼습니다.
(8월 경) 시간이 많이 흘러 무엇이라도 마무리를 해야겠다는 생각에 만족스럽지는 않지만 클로드와 진행한 내용을 마무리 하고 이제는 다른 친구들처럼 체계적인 계획을 세워야겠다고 생각했습니다. 에이전트 연구는 TRL을 낮추기에는 수식관련 이해도가 높아야했고 높이기에는 서버의 리소스가 부족하다고 판단했습니다. 하여 관심있었던 분야(XAI)는 살리되 제가 감당할 수있는 수준의 TRL로 새로 잡아 6층 친구들의 열기에 힘입어 CVPR을 도전해보겠다고 마음을 먹었습니다.
[빠지는 글] 그러던 어느날 클로드와의 실험중 오류를 발견했고 큰 마음의 상처를 입어…
(9월 경) 그러는 지금은 마무리를 하려고 다시 잡은 LVAgent 분석 실험들이 마무리가 마무리가 될 듯 되지 않는 상황[🐦]에 약간의 키를 놓친 상황입니다. 그냥 중간 종료시키고 넘어가야하나 싶으면서도 마무리가 가는할 듯 하여 시간을 보낸지 몇일째, 이미 약간 늦은것같네요.
[빠지는 글] 요즘에는 기초부터 다시하자는 마음으로 multi agent 논문 몇가지를 다시 서베이해보고 있습니다. 특히 비디오를 위한 멀티에이전트가 아닌 multi agent system 최신 연구를 보고있는데 너무 재미있더군요. 저와 생각이 비슷한—agent 군단!— 저자들의 주장을 읽는다는것이! 최근에는 (전과 다름없이) 논문이 눈에 안들어와 고민이였는데 말입니다. 이를 통해 느낀것이 2. 아무래도 관심이 가는것이 있다면, 관심 가는 연구를 해야한다 입니다.
🎁 정리
시간순으로 진행했던 내용을 회고해보며 이번 목표달성 실패의 원인을 🔥 표기해보았습니다.
첫째, 서베이가 우선되어야 한다: “그만큼 주제에 낯설었습니다”는 너무나도 변명입니다. 서베이의 필수성은 너무 당연하고, 연구실에 들어온지 얼마 안된 연구원들도 알고있을 내용입니다. 낯설더라도 GPTSwarm이나 NLP 분야의 MAS(Multi agent system)연구도 책임감 있게 파악했어야 했습니다.
둘째, 서베이가 우선시되어야 했다: “비디오로 확장되기엔 추론 시간측면에서 어렵겠다는 생각”은 좋지 않았던 것 같습니다. 파악이 어려웠더라도 멀티에이전트 연구를 하고싶다면 “비디오를 위한”으로 제한하지 않고 파악하는게 더 좋았을 것 같습니다. 그것이 아니라면 손이 빨라서 비디오를 위한 에이전트 연구의 SOTA 성능을 찍었어야 합니다.
셋째, ToBe의 부재: 혼자 연구할때 뿐 만 아니라 클로드와 연구할때는 특히 목표 및 계획 수립이 중요합니다. 바이브 코딩의 경우 통제할 수 없는 지능이라는 변수가 추가되기 때문에 발산 및 진동하지 않기위한 계획수립의 중요성이 더욱 극대화됨을 느꼈습니다. 연구 분야를 파악한 상태에서 계획을 짜고, 계획에 맞게 구현등에 AI를 활용하는 등의 방식을 사용해야하며, AI 없이 혼자 연구할때도 마찬가지 입니다.
즉, 연구의 기초를 지키지 않아 발생한 문제인 것 같습니다. 지금은 agent 논문을 조금 더 읽어보면서 LVAgent 분석을 어떻게든 마치는것이 제 남은 목표입니다. 그리고 다음연구는 원래는 물리적으로 지문과 정합된 비디오 생성으로 넘어가려 했으나 (정합된 논리적 영상을 만드는것이 미래에 world model의 XAI에 좋을 것 같아서 였습니다. 연구실 초반에 image generation 에 관심이 있었던 것과 같은 논리인 것 같네요) 우선은 agent 연구를 조금 더 살펴보려고 합니다. 수식이 어려워도 우리에겐 GPT가 있으니까요!
지난 OO4AL 연구를 마무리한 이후에는 1. 연구를 지속하는 힘이 팀원이라는 생각을 했습니다.(빠지는글 마지막에 2.로 시작하는 이유입니다. 1.은 이미 존재) 초심보다는 뒷심이 약한편인데, 팀원과 함께한다면 책임감과 팀원들의 열정이 뒷심의 빈곳을 매워주었기 때문입니다. 이번에 논문이 안읽히는 권태기(?)를 지난다음 multi agent 연구를 읽은 기쁨으로 느낀점은 하고싶은 연구가 있다면, 상황에 타협하기 전에 하고싶은 연구를 파악하는 것은 완벽히 해야한다는 것입니다. 처음부터 비디오를 위한 에이전트가 아닌 에이전트 연구를 파악했다면 조금 더 나았을까 하는 생각이 들었기 때문입니다. 또한 언제나 느끼는 점이지만 시간을 쓰는 일에 체계적이어야한다는 생각이 강화되었습니다. 매번 드는 생각이였지만 지켜지지 않았던 만큼 저에게 어려운 조건인데 다음 회고록에는 해당 요소가 개선되어 나타나도록 하겠습니다. 감사합니다.
연구실에서 회고록 작성 시즌이 올때마다 힘들었습니다. 성격상 다듬어지지 않은걸 굳이 보이고 싶지 않아하는데, 실적이 항상 넘처나는 편은 아니였으니, 다듬어질 수 있는 것 중에 연구실에 도움이 될만한 정보를 추려내어 보여야했기 때문입니다. 이번 회고록은 나름 재미있게 작성해봤네요. 이번 시즌에는 제 본래의 성격이 연구라는 직무에 맞는지를 특히 더 고민했던 것 같습니다. 글을 보면서도 아시겠지만 원리/원칙을 무조건적으로 따르는것을 좋아하지 않습니다. 즉, X 리뷰는 모두가 이해하기 쉬워야하며, 이해하기 쉬운 글은 과학적 글쓰기, 두괄식으로 글을 작성해야한다는 연결고리를 스스로 발견해야하는 성격입니다. —그래서 규율이 많은 조직생활 자체를 어려워했었고 그래서 대기업이나 공기업은 머리속에서 항상 제가 감당할 수 없는 조직이였습니다. 하지만 조직에서 법/규율은 보이지 않는 실패를 예방하기 위해 만들어졌습니다. 간혹 대표적인 출근시간은 “알아서 열심히 하면 안지켜도 되는거 아니야?”라고 생각할 수 있지만, 모두가 한공간에 열기를 띄고 있을 때야, 토론이라는 결과가 생겨납니다.— 이러한 성격탓에 원론적인걸 연구라는 분야 역시 나에게 맞지 않는것은 아닐까 하는 생각을 갖고있습니다. 연구라는 것은 실리가 바로옆에 붙어있지 않은 주제를 다루는 동시에 협력과 규율로 이루어진것이 많으며 사실상 논문이라는것이 규율의 결정체라고 생각하기 때문입니다. 심지어 실적도 마음데로 나지 않는 탓에 이번시즌에는 더욱 많은 고민을 했던 것 같습니다. 고민의 결과 그럼에도 자리에 앉아있는 이유는 기술이 아직 좋기 때문이고, 연구실의 여러분께 항상 고맙고 대단하다는 생각을 갖고있기 때문입니다. 본 글을 빌려 연구실 여러분께 경의를 표합니다.—🙇—회고록을 마치며 읽어주신 분들께는 감사하고 더 나은 회고록을 작성할 수 있도록 나름의 최선을 다해보겠습니다. (본 문단의 가독성이 좋지 않은 이유는 의도된 것입니다. 부끄러우니 읽지 말아주세요. 그런데 다른 글도 안읽혔다면.. 그것은 유감입니다.🕴️)
