안녕하세요, 허재연입니다. 정신없이 2025년을 보내고 나니 무엇이 남았나 하는 생각부터 듭니다. 학부 3학년때 연구실에 들어오고 벌써 3년 가까운 시간을 보냈는데요, 올해는 연구에 가장 집중했던 일년이었습니다. 열심히 달려온 것 같긴 한데 올바른 방향으로 가고 있는지 요즘 생각이 많습니다.
연구에 대한 고민의 일년
올해는 쭉 개인 연구를 발전시키는 동시에 연구 외적으로 저에게 주어진 자잘한 일들을 병행했습니다. 정리하면 ‘(미숙하지만)한 명의 연구자가 되기 위해 노력한 한 해 + (미숙하지만)1인분의 몫을 할 수 있는 사람이 되고자 노력한 한 해’라고 할 수 있을 것 같아요. 이번 회고록에서는 연구에 초점을 맞춰 풀어보도록 하겠습니다.
상반기에는 첫 개인 논문을 제출한 뒤 리비전을 거쳐 출판하였고, 논문을 제출한 이후에는 최근 연구 흐름을 팔로업하기 위해 노력했습니다. 작업했던 논문이 Self-Supervised Learning(contrastive learning 기반), multispectral PD를 주제로 하고 있었기에 근래 트렌드와는 좀 거리가 있었고, 논문 작업 기간에는 SSL / Detection 관련 논문을 위주로 읽어왔기에 근래 연구 동향을 잘 파악하지 못하고 있었죠. 하지만 VLM, LLM, 다양한 Foundation model 등이 학계/산업계를 휩쓸기 시작했기에 이에 대한 이해가 필요했고, 발전 흐름을 따라가며 팔로업하였습니다. 동시에 제가 도전해보고 싶은 주제가 무엇인지 고민하며 새로운 연구 주제 찾기도 병행했죠. 여름에는 미국 내슈빌에서 열린 CVPR2025에 참관할 기회가 생겨 다양한 최신 연구들을 접하고 학계 흐름을 살펴볼 수 있었습니다. CVPR 참관이 동기부여 및 시야 확장에 큰 도움이 되었습니다.
고민 끝에 결론 내린 제 개인적인 관심사를 요약하면 ‘시각 정보의 의미론적 요약’으로 정리 할 수 있을 것 같습니다. 조금 더 구체적으로 말하면 용량이 큰 이미지/비디오 등의 데이터 정보를 효과적으로 의미론적 정보 밀도가 높은 자연어/임베딩 벡터로 표현하고 싶었습니다. 이러한 시멘틱 요약이 원활하게 이뤄진다면 데이터 통신에 있어서 데이터 용량으로 인한 병목을 상당 부분 개선할 수 있고(초연결 가속화), 시멘틱 정보 자체를 활용해서 보다 다양한 task들을 쉽게 수행할 수 있게 될 것입니다(정보 처리 영역 확대).
임베딩 벡터로의 요약에는 우리가 익히 알고 있는 여러 비전 인코더를 활용 할 수 있습니다. 하지만 벡터/피쳐 형태의 정보는 사람이 직접 해석하거나 편집하기 어렵습니다. 농구 경기를 촬영한 이미지를 인코딩한 벡터에서 골대 정보만을 삭제한다거나, 두 명의 사람을 특정 위치에 추가하는 작업을 수행하기는 쉽지 않죠. 이런 작업을 직접적으로 수행하기에 임베딩 벡터에는 다양한 정보가 뒤얽혀있어 유연하게 활용하기 어렵습니다.
하지만 자연어는 다릅니다. 언어 모델이 이미 경이로운 수준의 발전을 이뤄내 모델이 자동으로 자연어를 읽고, 해석하고, 생성할 수 있게 되었기에 다른 모달리티 데이터의 정보를 캡션과 같은 자연어 데이터로 변환하여 다양한 작업을 수행 할 수 있게 되었고, 실제로 최근 연구들은 이러한 기법을 적극적으로 도입하고 있습니다. 아직 LLM들의 용량과 요구 연산량이 커서 활용에 제약이 있지만, 경량화가 이뤄지고 있으니 그 활용 범주가 빠르게 넓어질 것입니다. 자연어는 인간이 직접 해석하고 편집하기 매우 용이하고, 정보 밀도가 높아 데이터의 용량도 작습니다. 특히 LLM의 발전으로 이를 활용한 새로운 task로의 확장성이 무궁무진하기 때문에 특정 모달리티의 정보를 원하는 포멧의 자연어로 잘 가공할수만 있다면 정보를 다루고 편집하는 확장성과 효율성이 크게 개선될 것으로 기대됩니다.
이런 관점에서 저는 이미지 / 비디오 데이터를 자연어 캡션이나 지식 그래프 형태의 시멘틱 정보로 표현할 수 있는 방법 중 하나인 Scene Graph Generation(SGG)에 관심을 가지게 되었고 연구를 시작하였습니다. 하반기에는 계속 Video Scene Graph Generation 연구를 진행했고, 지금 계속 contribution을 발굴하고 있습니다. 성능은 많이 올렸는데 아직 novelty와 contribution이 부족하다고 생각해서 계속 다양한 실험을 수행하고 있습니다.
이 과정에서 문제를 정의하고, 논리적인 솔루션을 만들어가는 훈련을 많이 할 수 있었습니다. 한 때 잠깐 ‘그냥 잘 동작하는 모델 이것저것 갖다 붙여서 성능 잘 나오면 논문으로 써볼까’ 라는 생각도 해 본적이 있지만 가장 중요한 ‘그래서 문제 정의가 무엇이냐, 그 문제를 왜, 어떻게 정의하게 되었나, 그 문제에 대한 논리적인 해결법은 무엇인가’ 라는 질문에 계속 무너졌습니다. 언젠가 교수님이 하신 말씀이 있습니다. ‘결국 회사에서 엔지니어에게 요구하는 것은 크게 3가지다. 1. 현재의 비즈니스적/기술적 문제를 잘 정의하거나, 2. 그렇게 정의된 문제를 해결하는 방법을 논리적으로 제시하거나, 3. 해결 방향성이 구체화됐으면 그걸 빠르게 구현 및 적용할 수 있으면 된다.’ 이 말을 듣고 나니 새삼스럽게 지금까지 1과 2에 대한 훈련이 부족하다는 것을 느꼈고 연구 과정을 1,2,3 역량을 모두 훈련하는 기회로 삼고자 했습니다. 문제 정의에서 흔들리면 안된다는 점을 다시 명심하고, 문제 해결에 논리가 점핑되지 않도록 신경썼습니다. 매일 하루 종일 서베이와 논리 연결, 문제에 대해 고민했음에도 진행 속도가 매우 더뎠고(제가 성격이 급해서 그렇게 느꼈을수도 있습니다), 마음이 급해져 대충대충 하고 실험을 진행하고 싶어지더군요. 근데 이렇게 바로 실험으로 넘어가면 보통 개선이 잘 되지 않거나, 개선되더라도 결과 해석에 어려움을 겪게 됐습니다. 어느 정도 문제 정의가 잡힌 후, 더위가 꺾이는 9~10월부터는 무한 실험지옥에 빠졌고, 지금까지 기대를 안고 돌려본 수많은 실험을 폐기처분하고 의미 있는 개선점 몇가지만 건져서 다듬는 과정을 반복 중입니다. 야심차게 설계한 실험에 실패할 때마다 의욕이 계속 꺾였는데, 어쩌다 한번 개선에 성공할때마다 성공했다는 쾌감이 커서 계속 밀어붙일 수 있는 원동력이 되었네요. 계획했던 일정보다는 많이 지체되었지만, 집중해서 실험 마무리하고 논문으로 완성할 수 있도록 할 생각입니다.
2026년을 맞이하며
정신없이 시간을 보내다 보니 졸업이 다가오고 있습니다. 시간이 너무 빠르네요. 연구 이외에도 요즘 졸업 이후 취업에 대한 생각이 많아지고 있습니다. 회사에 입사하기 위해서는 회사에서 원하는 인재가 되어야 할 텐데, 회사에서는 어떤 사람을 원할까, 나는 무엇을 할 수 있을까.. 라는 고민을 하고 있습니다. ‘일을 믿고 맡길 수 있는 사람’, ‘1인분을 충실하게 해내는 사람’, ‘주변 동료들의 일을 덜어줄 수 있는 사람’이 되고 싶은데, 나는 지금 그러한 사람인가? 라는 질문에는 자신있게 ‘그렇다’라고 말하기 어려운 것 같습니다.
현재 진행중인 논문을 마무리하고, 졸업을 준비하면서 단순한 학생으로서의 고민 뿐만 아니라 예비 사회인으로서의 고민을 본격적으로 해보려고 합니다. 지금까지도 바빴지만, 다가오는 2026년은 가장 바쁜 한 해가 되지 않을까 싶어요.
연구원분들은 2026년 어떤 사람이 되고 싶으신가요? 또 어떤 목표를 세우셨나요? 그게 무엇이든, 목표한 바를 이루는 일년이 되기 바라겠습니다.
감사합니다.
