2025년 상반기 회고

벌써 2025년도 상반기가 마무리 되었습니다. 본 회고에서는 작성자의 상반기 회고와 산업 동향을 포함합니다.

---

🐈 상반기 회고

상반기 회고에 앞서 1월에 목표도 연구실 여러분께 공개했었는데요, 해당 목표를 수행하지 못했습니다. 그 이유와 앞으로의 계획을 말씀드리겠습니다.

먼저 제 올해목표는 작년 다크데이터 과제를 마무리하는 논문을 작성하는 것이였는데요, 주제는 Few-shot Learning을 위한 고가치 데이터선별이였습니다. 한 5월까지는 해당 주제에 대해 열심히 실험을 했었는데요, 애초에 카테고리당 10장 이하의 소량 데이터로 통해 학습하는 베이스라인이였기에 고가치 데이터를 선별하는 최적의 방법을 찾기는 어려웠고, 해당 베이스라인에서는 대표성이 높은 데이터를 학습에 활용하는게 좋다라는 직관적인 결론만 있었을 분, 성능을 유의미하게 개선하거나 다른 인사이트를 도출하기가 어려웠습니다.

해당 과정에서 제가 생각한 상황을 어렵게 했던 두 가지 요인이 있습니다. 첫째는 베이스라인 프레임워크의 선정이었습니다. 저의 경우 논문으로 하려하는 주장이 스스로를 충분히 납득시켜야 만족하는 사람입니다. 하지만 진행하던 실험의 세팅이 필요한 세팅인가에 대한 의문이 계속되었습니다. 의문이 발생한 이유로는 먼저, Few-shot Learning의 트랜드는 대형 모델 혹은 적어도 일반 모델(Transformer, ResNet 등등..)을 위한 학습 기법이 많았습니다. 그러나 진행하고 있던 베이스라인은 VAE 기반의 모델이였고, VAE 자체의 학습 렌덤성과 소량의 데이터라는 변수가 합쳐져 어떠한 데이터가 좋은 데이터인가에 대한 분석이 어려웠고, 해당 발견이 일반 모델에 확장 가능한지도 저로서는 미지수였습니다. 둘째로는 개인적으로 Few-shot Learning 보다 대형 모델을 위한 프롬프트 러닝이 더욱 유망하다고 생각했던 것 같습니다. 이러한 불만족스러운 지점이 실험에서 성능이 낮을때마다 추가적인 아이디어를 구현할 열정을 앗아갔던것 같습니다.

둘째로는 실험을 진행하면서 즉각적인 정리가 없었다는 점입니다. 아무리 실험이 맘에들지 않아도 아무것도 하지 않은것이 아니라면 문서로 남길수는 있습니다. 문서의 퀄리티가 일반적인 시선에서 볼때 매우 낮을 뿐. 작년 겨울부터 올해 4~5월까지 PCGrad를 붙여보기도 하고 다양한 고가치 데이터 선별 방식을 적용해보기도 하는 등 꽤 많은 실험을 진행했음에도 아무 결과가 남지 않았다는 것은, 실패한 실험을 그냥 날려버렸기 때문입니다. 논문을 쓰는데 있어서는 라이팅과 실험을 병행해야 한다는 말의 의미를 체감했던 계기였습니다.

위와 같은 이유로 위의 실험에는 더이상 손이 가지 않아, 우선 새로운 과제를 위한 비디오 요약 연구를 팔로우하며 실험 설계를 하고 있습니다. 하반기에 위 실험으로 돌아가지 않도록 지금 수행하는 과제에 대한 좋은 결과가 있으면 좋겠네요.

🐈 내가 보는 인공지능 시장

지난 8일 공간지능에 대해 김수환 교수님께서 세미나를 진행해주셨습니다. 공간을 모델링하는 연구에 대해 정반합(正反合)의 흐름으로 소개해주셨는데요, 제가 생각하는 인공지능 시장도 이와 유사한것 같습니다. 저의 관점에 대해 두가지로 나누어서 설명해보겠습니다.

1) 정반합

위는 제가 이해한 김수환 교수님의 공간지능 기술 발전입니다. 합의 기술(transformer)이 너프(정)나 가우시안 스플리팅(반)의 기술과 약간은 다른 페러다임으로 공간지능의 큰 문제를 성능적으로 해결한 것인데요, 그렇다고 하더라도 너프나 가우시안 스플리팅이 공간지능의 문제를 확장하고 한계를 파악하지 못했다면 이러한 폭팔적인 합(合)이 발생하지 않았을 것입니다. 이와 같은 관점에서 제가 예상하는 멀티모달 연구의 흐름은 아래와 같습니다.

제가 생각하기에 멀티모달은 연산량, 데이터와 같은 리소스가 충분히 한다면 텍스트라는 모달리티로 해결할 수 있을 것 같습니다(어쩌면 反일수도..). 그러면 해석 가능성도 높아지니 좋을것 같다는 제 희망도 들어있습니다. 그래서 기회가 된다면 해당 방향으로 연구를 확장하고 싶네요. 다음으로 전체적 인공지능 산업의 확장 방향도 이와 같을꺼라 생각합니다.

초기에 합, 혁신에 해당하는 대형 모델이 등장했을때, 저로써는 이것을 인공지능 프레임워크에 활용해도 되나? 하는 의문이 있었습니다. 그러나 높은 활용도로 고민할 새도 없이 모두가 대형 모델의 등장을 받아들였습니다. 정과 반이 문제를 확장하지만 합은 효율성의 측면에서 가장 좋은것을 선택하게 됩니다. GPT, 여러분과 제가 본인의 연구에만 눈을 가까히 대고 있으면 안되는 이유라고 생각합니다. 이번에 공개된 일론 머스크는 XAI에서 Grok4를 공개하며 이후 옵티머스 로봇에 이러한 지능을 적용할 것이라고 밝혔는데요, 산업체의 경우 인공지능에 대해 어느정도 해결되었다고 판단되자 로보틱스로 바로 확장하는 모습을 보인것 같습니다. 물론 인공지능 분야에서도 멀티모달과 같은 해결되어야할 문제는 남아있지만요.

2) 국가전략 AI? 이 귀한걸 왜 오픈소스로?

해당 번외적 시각은 짧은 저의 안목을 기반한 것임을 밝힙니다.

요즘 AI는 국가전략이라고 언급되고 있습니다. 그런데 아시다시피 좋은 모델들이 이미 오픈소스로 많이 공개가 되어있죠. 그렇다면 국가 전략, 국가 무기의 실체는 무엇일까요? 얼마전 진행했던 세미나에서 이성준 이사님께서는 스타트업과 기업에서 AI를 바라보는 시각을 공유해주셨습니다. 특히 모델 개발보다는 주변의 인프라, 데이터셋과 같은 요소의 중요성도 언급해주셨습니다. 즉, AI 전략의 핵심은 서비스로부터 수집한 데이터와 사용자 피드백에 있다는 것입니다. 오픈소스 열풍, 무료 API 공개와 같은 IT 기업들의 호혜는 단순히 기업들이 착해서가 아니라 그들의 역량 개선을 위한 전략적 선택이라는 것이죠. 즉, 어쩌면 기업에게 인공지능이란 전략적 데이터를 확보하기위한 깔때기(통로)의 역할일수도 있겠다는 생각이 듭니다. 이러한 기업에서의 인공지능의 입장을 고려하면 학위과정 중 단순히 모델 개발에만 집중하기보다 문제를 정의하고 시대를 읽은 후 해결하는 역량을 키우고 보일 수 있는 것이 더 중요할것 같다고 생각해봅니다.

🐈 어 대학원생 AI 보다 못하다?!

요즘 개발되는 인공지능 마다 비교대상이 대학원생이 되는것 같습니다. 일론 머스크의 경우 이번 모델의 경우 GPU 10만개로 학습했으며, 앞으로는 100만개의 GPU로 학습을 진행할 것이라고 예고했는데요, 어쩌면 이번에도 자본을 통해 멀티모달과 같은 문제까지 합의 혁신이 발생하며 해결될 수도 있을꺼라는 생각도 듭니다.

요즘의 대학원생은 연구의 영역이 따라가기 전에 발전해나가는 산업 기술로 인해 혼란을 받을 뿐 만아니라 다양한 인공지능과 비교되고 있습니다. 그러나 일론이 언급한 그록4의 박사과정 대비 우월성의 경우 수능과 같은 수학, 논리적 문제를 해결하는 능력에 관한것입니다. 그러니, AI와 차별성을 확보하기 위해서 우리는 필요에 의해 문제를 도출하는 능력을 잃지 말아야겠습니다. Grok의 경우 아주 사실기반의 인공지능으로 홍보되고 있는데, GPT 등의 인공지능이 할루시네이션으로 숨기려고했던 현재 인공지능의 한계를 대중에게 자극적으로 드러낸것이 아닌가 합니다. 개인적으로 Grok은 앞으로도 이러한 한계를 드러낼지, 안정성을 높일지 예측할 수 없다고 생각하는데요. 한편, 메타의 경우 수많은 우수 인재를 모집해서 이제 새로운 초지능을 개발하겠다고 밝히고 있습니다. 특히 메타의 초지능연구소 총괄로 97년생의 젊은 알렉산더 왕을 모셨습니다. 젊고 네크워크가 좋은 인재가 보일 앞선 두 인공지능과 다른 서비스가 궁금하네요. 이상으로 상반기 회고글을 마쳐보겠습니다.