2026년 상반기 회고 – 홍주영

들어가며

벌써 2026년의 절반이 지나갔습니다.

작년 회고에서 저는 스스로를 ‘시동이 오래 걸리는 사람’이라고 적었던 기억이 납니다. 연구에 한번 빠지면 그것만 계속 생각하는 편인데, 정작 그 상태까지 들어가는 데 시간이 오래 걸린다는 이야기였습니다.

그래서 올해는 연구를 다시 한번 과몰입할 수 있는 대상으로 만들어보고 싶다고 했었는데요.

상반기를 지나고 보니, 어느 정도는 그 방향으로 가고 있는 것 같기도 하고… 동시에 새로운 문제도 하나 발견한 것 같습니다 허허

그 이야기를 하기 전에 우선 연초에 세웠던 목표부터 점검해보겠습니다.

연초 목표, 그래서 어떻게 됐나?

연초 교수님께서 전 연구원에게 우수학술대회 논문 도전을 목표로 잡아보라고 하셨고, 저희는 다음과 같이 계획했습니다.

As-is

• 홍주영, 정의철
  • MM 2026
  • Audio-Aware Text–Video Retrieval using Multimodal Large Language Models
• 정의철, 홍주영
  • AAAI 2026
  • Visual Token Pruning for VideoRAG

우선 첫 번째 연구는 제안서 작업 등을 병행하다보니, 제가 아닌 정의철 연구원 주도의 연구로 진행했고 일정 역시, MM이 아닌 EMNLP를 목표로 변경했습니다. 주제는 크게 바뀌지 않고 Multimodal LLM을 활용한 Text–Video Retrieval 연구였죠.

정의철 연구원이 대단하다 싶었던게 거의 혼자서 마감까지 연구를 해냈고, 게다가 최근 EMNLP 2026 Main Conference에 Accept되었습니다. Findings가 아닌 Main Conference였고, 올해 acceptance rate도 약 22% 정도였다고 하니 대단하다고 느낀 기분 좋은 결과였던 것 같네요

다만 이번 연구에서 결과만큼 기억에 남는 것은 같이 연구했던 의철이의 모습이었던 것 같습니다.

후배지만 옆에서 연구하는 모습을 보면 소위 점점 폐인(P)이 되어가는 게 보였습니다 ㅋㅋ. 계속 성능을 위해 몇 날 며칠을 붙잡고 고민하고, 실험 결과가 나오면 다시 의심하고, 또 방법을 바꾸고… 그 모습을 보면서 논문 한 편을 완성하기 위해 사람이 얼마나 오래 문제를 머릿속에 담아두어야 하는지를 다시 한번 느꼈던 것 같습니다.

지금까지가 상반기에 이뤘던 큼직한 연구였습니다. 그리고 하반기에는 희승이와 함께 CVPR을 목표로 새로운 연구를 진행하고 있습니다.

그래서 올해 초의 계획을 지금 다시 정리하면 대략 다음과 같습니다.

To-be

• 상반기: MLLM 기반 Text–Video Retrieval → EMNLP Main Accept
• 하반기: VLM의 Generaliztion과 관련된 주제로 CVPR 도전

물론 학회 이름 하나 바꾸는 것이 중요한 것은 아니겠죠.

오히려 이번에는 논문 한 편을 제출하는 것보다, 그 과정을 통해 제가 부족하다고 느끼는 연구적인 분석력과 비판적인 사고 능력을 조금 더 키워보는 것을 목표로 두고 있습니다.

좋은 연구를 고르는 안목?

회고를 작성하려고 보니 엊그제 인스타그램을 보다가 우연히 Anthropic에서 머신러닝 보안 연구를 하고 있는 Nicholas Carlini가 연구에 대해 이야기한 글을 봤습니다. (글이 제법 좋아서 링크 첨부해두겠습니다)

내용 하나하나가 꽤 인상 깊었는데, 그중 가장 기억에 남았던 문장은 이것이었습니다.

“안목이 나쁘면 백 편을 써도 소용없다.”

조금 과격한 표현이긴 한데, 요즘 제가 연구에 대해 고민하고 있는 부분과 상당히 닮아 있다는 생각이 들었습니다.

돌이켜보면 저는 연구를 할 때 ‘이 방법을 사용하면 성능이 얼마나 올라갈까?’, ‘기존 방법과 어떻게 차별화할까?‘를 먼저 고민했던 경우가 많았습니다.

그런데 요즘에는 그보다 앞에 있는 질문이 더 중요하다는 생각이 듭니다.

그래서 이 문제를 왜 풀어야 하는데? 그러니까 연구적으로 아직 풀리지 않은 문제인지, 누군가에게 정말 필요한 기술인지, 그리고 내가 가진 지식과 자원으로 의미 있는 답을 낼 수 있는 문제인지.

결국 이런 것들을 판단하는 것이 연구자의 안목이지 않을까 싶습니다.

그리고 이제야 교수님께서 계속 산업 동향을 팔로업하고, 기업들이 무엇을 하고 있는지 살펴보라고 말씀하셨던 이유도 조금은 알 것 같습니다.

예전에는 솔직히 ‘산업계에서 어떤 기술을 원하는지 알아야 취업할 때 도움이 되니까?’ 정도로 생각했던 것 같습니다. 물론 틀린 생각이 아니지만…

냉정하게 말하면 제가 연구하는 기술이 세상에서 필요로 하는 기술이어야 하는 것 같습니다.

그리고 연구자인 저는 세상이 필요로 하는 문제와, 현재 제가 가진 경험과 지식, 그리고 현실적으로 사용할 수 있는 자원 사이에서 합의점을 찾아야 하는 것이겠죠.

그러려면 결국 많이 알아야 하는 것 같습니다. 논문도 많이 읽어야 하고, 산업이 어떤 방향으로 움직이는지도 봐야 하고, 이미 무엇이 해결됐고 아직 무엇이 안 되는지를 알아야 합니다.

결국 교수님께서 말씀하신 산업 동향을 팔로업한다는 것도 단순히 정보를 많이 모으라는 이야기가 아니라, 무엇을 연구해야 할지를 판단하는 안목을 기르는 과정이 아니었나 싶습니다.

Carlini의 글 중에는 이런 내용들도 있었습니다.

• 출판된 논문을 최대한 많이 읽되, 그 논문들을 맹목적으로 믿지는 말 것.
• 여러 아이디어를 시작하고 실패 가능성이 높은 것부터 빠르게 검증할 것.
• 그리고 좋은 연구를 위해서는 때로는 비합리적으로 긴 시간을 한 문제에 사용할 것.

참 당연한 이야기 같지만, 막상 제가 그렇게 연구하고 있냐고 물으면 자신 있게 대답하기 어려운 것들인 것 같습니다. 그래서 저는 하반기에는 가끔 저 글들을 꾸준히 꺼내보려고 합니다.

내가 지금 하고 있는 문제가 정말 중요한가? 이 실험은 내가 주장하는 것을 정말 증명하고 있는가?

그런 질문을 이전보다 조금 더 집요하게 던져보는 것이 이번 하반기동안 달성하고 싶은 목표입니다

같이 연구하는 분위기

올해 개인적으로 좋았던 변화 중 하나는 근택이 주도로 635호 사람들끼리 연구 이야기를 훨씬 많이 하기 시작했다는 점입니다. 최근에는 비슷한 주제를 연구하는 사람들끼리 CVPR을 목표로 매주 연구 내용을 공유하고 있습니다.

확실히 이런 시간이 생기니 연구실 분위기도 조금 달라지는 것 같습니다.

옆 사람이 무슨 고민을 하고 있는지를 알게 되고, “그거 이렇게 해보면 안 돼?” 혹은 “이 결과는 왜 이렇게 나온 거지?” 같은 이야기를 자연스럽게 주고받다 보면 혼자 연구할 때보다 확실히 생각의 범위가 넓어지는 느낌이 있습니다.

저는 이런 분위기가 무척 좋은 것 같습니다. 다만 동시에 제 부족함도 잘 보이는 것 같아서 더 좋은 것 같습니다

다른 사람의 연구를 들었을 때 바로 의미 있는 질문을 던지거나, 실험 결과를 보고 문제점을 분석하거나, 주장의 빈틈을 비판적으로 보는 능력이 저는 아직 많이 부족한 것 같습니다.

듣고 나서 ‘오… 그렇게 생각할 수 있겠구나.’ 하고 끝나는 경우가 많았거든요

그래서 이번 CVPR 준비에서는 제 연구를 완성하는 것도 중요하지만, 다른 사람의 연구에 의미 있는 피드백을 줄 수 있는 연구자가 되는 것도 꽤 중요한 목표로 두고 싶습니다.

635호에서 지금 만들어지고 있는 분위기가 느슨해지지 않도록 저부터 열심히 해야겠다는 생각도 드네요!

병렬 처리 문제

그리고 상반기를 돌아보면서 또 하나 확실하게 느낀 것이 있습니다. 저는 아무래도 병렬 처리를 잘하는 사람은 아닌 것 같습니다 ㅋㅋㅋ…

한 가지 연구에 빠져 있을 때는 그것만 계속할 수 있는데, 중간에 제안서나 과제 준비 같은 일이 들어오거나, ICML 같은 일정이 생기면 연구의 흐름이 한번 끊겨버리는 경우가 많았습니다. 결혼 준비 역시 최대한 힘을 안 쓰려고 노력하고 있지만 허허… 완전히 자유로울 수 있었던 것은 아니었고요.

물론 해야 할 일이 많았다고 이야기할 수도 있겠지만, 사실 그것만이 문제였던 것은 아닌 것 같습니다. 오늘 좀 피곤하니까 내일 하지 뭐 하고 해야 할 일을 남겨둔 채 퇴근했던 날도 생각보다 많았던 것 같아요

그래서 다시 다이어리랑 스케줄링에 미쳐있던 24년도의 저로 돌아가보자 하는 다짐도 여기에 적어보려고 합니다. 그 당시에 하루에 무엇을 해야 하는지 적고, 일을 작은 단위로 쪼개고, 일주일 단위로 계획을 세우면서 꽤 강박적으로 살았는데, 지금 돌이켜보면 가장 효율적으로 열심히 살았던 시기였던 것 같아요

그리하여 연구를 많이 해야겠다는 거창한 목표보다, 오늘 해야 할 것을 오늘 하고, 연구 흐름을 다른 일정 때문에 완전히 끊어버리지 않고, 매일 조금이라도 문제를 계속 머릿속에 유지하는 것… 기본적인 걸 다시 챙겨야 겠습니다

마치며

작년에는 연구에 다시 한번 과몰입할 수 있는 사람이 되고 싶다고 적었습니다. 상반기를 지나고 보니 그 말에 하나를 조금 더 붙여야 할 것 같습니다: 아무 문제에나 과몰입하지 말 것.

내가 풀고 있는 문제가 정말 가치 있는 문제인지 충분히 고민하고, 기존 연구를 많이 읽고, 계속 의심하고, 그럼에도 풀어볼 가치가 있다고 판단했다면 그때는 꽤 오래 매달려보는 것.

그런 연구를 한번 해보고 싶습니다.

그리고 그 과정에서 단순히 방법론 하나를 잘 만드는 사람이 아니라, 좋은 문제를 찾고, 결과를 분석하고, 다른 사람의 연구에도 의미 있는 질문을 던질 수 있는 연구자가 조금씩 되어갔으면 좋겠습니다.

당장은 희승이와 진행하고 있는 CVPR 연구부터 잘 마무리하는 것이 첫 번째 목표겠네요! 희승이와 같이 연구를 잘 마무리해서, 다음에 희승이도 의철이처럼 훌륭한 곳에 1저자를 되길 바라며!

또 주저리주저리 했던 것 같네요, 우리 연구원들도 이번 하반기도 열심히 살아봅시다~!