2025년 상반기 회고

안녕하세요, 이번주는 논문 리뷰대신 25년 상반기를 되돌아보며 솔직한 후기를 기록해보려 합니다.. 안 그래도 요새 생각이 좀 복잡한데, 학부를 졸업하고 석사과정 한 학기를 마친 시점에서 여러모로 시의적절한 회고인 것 같습니다. 벌써 1년의 반을 넘어 7월이 끝나가고 있는 점이 참 무섭게 느껴지기도 하고, 아직 이곳 저곳에서 부족한 부분이 스스로도 많이 보여서 스트레스 받기도 하지만 한 편으로는 다양한 경험을 하면서 이 과정의 끝에는 어떤 사람이 돼있을까 기대를 품으며 지내기도 했습니다. 아직 남은 시간이 많지만 지금까지도 연구 내,외적으로 배운게 많은 시간인 것 같습니다.

연구실 생활

사실 작년 하반기도 RCV에서 시간을 보냈지만 24년 초에 URP가 끝나고 여름에 시작하기 전 몇 달동안 운동, 여행만 주구장창 하고 살아서 앉아있는 것에 익숙해지는 것과 졸업에 신경쓰고, 올해 본격적으로 ‘연구’에 대해 고민하며 대학원 생활을 시작한 것 같습니다. 혼자 찾아보지 않았던 논문들을 처음 뒤져보면서 세상엔 정말 많은 논문들이 쏟아져 나오고 있다는 것을 알게되고 읽는 논문들 마다 대단해 보이는 실험들과 아이디어를 보며 어떻게 이런 연구를 할 수 있는건지, 나랑은 정말 다른 사람이겠구나,, 라는 생각을 했었던 기억이 납니다.

그렇게 막연한 공포(?)감을 느끼며 6층으로 이사와 더불어 로봇을 들이고 교수님이 LLM 과제의 베이스라인을 구축하는 미니챌린지를 제안하셨습니다. (이때부터 시간이 어떻게 흘러갔는지 벌써 7월의 반이 지나갔다는게 무섭습니다 ㅠㅠ) 챌린지 진행을 위해 Real to Sim to Real 이라는 주제로 논문을 읽기 시작하고, 결과를 내기 위해 코딩도 해보고, 빡빡한 일정속에서 뭔가 진행이 더딘것 같은 압박감도 간간히 느끼면서 생활했던 기억이 납니다. 지금 돌이켜보면 미니챌린지 기간이 정말 좋은 촉진제가 되었다고 생각합니다. 덕분에 어느새 연구실 일과에 적응하고, 초반에는 많은 부담을 느끼고 빼먹던 x-review도 매주 루틴처럼 쓸 수 있게되지 않았나 싶습니다. 사실 x-review는 교수님의 뼈때리는 DM도 크지 않았나 싶습니다 하하,,

아무튼 현재는 다양하게 공부해보고, 안 되면 일단 당장엔 포기도 하고, 다양한 경험을 해보면서 무엇을 하던 성장의 밑거름이 되지 않을까 라는 마음으로 가끔 힘들지만 재밌게 연구실 생활을 하고있는 것 같습니다. 항상 공부할 거리를 제공해주시고 같이 고민해주시고 알려주시는 교수님과 팀원분들께 감사합니다,, ㅎㅎ

논문(연구)

논문은 우선 요번 기회에 IJCAS에 제출해보려고 합니다. 대학원생으로 연구를 하고 졸업하는 과정에 있어서 논문은 필수적인 과정이고, 성과를 보여주는 직접적인 요소라고 생각하는 만큼 항상 논문에 대해 생각할 때는 스트레스도 있는 것 같습니다. 논문을 쓰기 위해서는 엄청나게 많은 논문을 읽어야 하는 만큼 우선 논문을 꾸준히 찾아보고 읽기로 다짐했었습니다. 다만 미니 챌린지가 끝난 후 논문을 어떻게 작성할지 문제정의가 막막한 느낌을 받았습니다. 물론 지식이 부족한 부분도 많았지만 어떤 문제가 있었는지, 이를 해결하기 위한 연구들은 무엇이 있었는지, 활용할만한 아이디어가 있는 연구는 있는지에 대한 생각이 부족했었기 때문이었지 않나 싶습니다. 물론 다양한 논문을 보는것도 좋지만 매주 작성하는 x-review에는 제 연구에 대한 큰 흐름을 명확히 설정해서 놓치지 않고 그에 맞는 논문을 더 깊이 분석해서 적어야 하지 않을까 라는 생각을 하게 됐습니다.

사실 제가 처음 목표했던 것은 로보틱스 관점에서 sim 환경을 활용한 현실에서의 성능을 높이는 방법이었지만 Sim to Real이라는 주제를 가지고 3DGS와 같은 3D reconstruction 관련 논문들을 보기 시작하고, 중간에 강화학습을 공부하면서 매주 그 때 그 때 손에 잡힌 논문과 관련 논문들만 보고있었던 것은 아닌가 싶습니다. 앞으로는 좀 큰 단위의 목표를 명확히 해서 항상 그 관점에서 논문들을 접하고 하나의 큰 흐름이 있는 x-review를 논문 자체도 내가 왜 이 논문을 읽는건지, 그에대한 답이 있는지 어떤 문제정의와 생각을 하면서 썼을지 더 느끼면서(?) 작성하려고 합니다.

연구주제와 분야에 대한 고찰, 산업 동향

연구를 많이 경험해보지는 못 했지만 그런 제가 느끼기에도 로보틱스 분야는 정말 빠르게 움직이고 있는 것 같습니다. 아카이브를 조금만 내려봐도 종종 팀원들과 논의했던 내용이 연구주제로 담긴 논문들을 확인할 수 있었고, 때로는 제 입장에서는 생각지도 못한 방법의 논문들도 보였습니다. 챌린지 초반에만 해도 나중에는 사람 시연 영상으로 학습할 수 있지 않을까? 하는 말을 들었던것 같은데, 벌써 얼마전에 egocentric 한 human data로 학습하는 VLA 연구도 보였습니다. 정말 빠르게 움직이지 않으면 제대로 된 내 논문이 없을수도 있지 않을까 라는 생각이 들었습니다. 로봇 산업에서도 각종 스타트업 회사들 뿐만 아니라 빅테크에서도 일반화된 인공지능 로봇의 상용화 경쟁이 치열하다고 느꼈습니다. 각종 회사들의 데모 영상을 보면 항상 많은 감정들이 느껴졌습니다.

한 번 여태 습득한 지식을 정리해보자면 로봇을 제어하는 VLA 모델들에는 VLM과 액션을 담당하는 트랜스포머 구조를 분리해서 각각 인지와 제어를 담당하거나 아예 하나의 모델로 작동하는 종류가 있고 Vision과 명령을 직접 액션으로 반환하는 모델들이 있다 정도로 알고있습니다. 결국 큰 흐름은 일반화된 로봇 정책을 목표로 거대 모델을 만들거나 fine tuning 하는것 아닌가? 라는 결론에 도달했습니다. 일부 연구는 Agent 기반의 추론과 MPC를 활용하거나 강화학습을 활용한 연구들도 진행되고 있는 것으로 이해했습니다. 가만 생각해보니 언제나 5지 그리퍼가 정답은 아닐거라는 강병현 교수님의 말씀에 빗대어 생각해보면 일반화된 정책도 필요하지만 특정 상황에 최적화된 강화학습 기반의 연구들도 의미가 있을 것 같다는 생각도 들긴 합니다.

사실 저는 시뮬레이션을 활용한 연구들에 관심이 많습니다. 캡스톤을 진행하면서 Isaac Sim이라는 시뮬레이터를 알게 되었고, 로봇 데이터는 현실에서 취득하기 굉장히 까다로운 편이라는 것을 포함해 현실성 있는 시뮬레이터의 각종 로보틱스 연구에서의 활용 가능성을 엿볼 수 있었습니다. 더불어 BMW와 같은 대기업에서 이미 Omniverse 상에 공장을 재현해 로봇을 시뮬레이션하고 최적화 하고 있다는 것도 알게 되었습니다. 그에 반해 시뮬레이터 관련된 정보가 굉장히 제한적이라 직접 깊이 찾다보니 자연스레 관심도가 높아진 것 같습니다.

시뮬레이션을 활용한 연구에는 크게 Real to Sim, Sim to Real 연구가 있습니다. Real to Sim은 현실 세계의 데이터와 데모를 시뮬레이션에 반영해 로봇 학습에 활용하는 연구입니다. 크게 두가지로 정리할 수 있다고 생각합니다.

1. 현실 세계의 데이터와 환경을 시뮬레이션에 정확하게 반영하여 (Digital Twin) 가상환경을 구축하고 다양한 방법을 통해 로봇을 직접 학습시키거나 최적화하는 연구 – 이 부분은 실제 산업 현장에서도 활용되기 시작한 것 같습니다.
2. 현실에서 수집하기 어려운 로봇 학습 데이터 취득하기 위한 연구 – 환경, 조작 대상물체, 카메라의 뷰포인트 등의 증강을 포함한 거대한 양의 데이터를 취득해야 하는 경우에 필수적이라고 생각합니다. 또한 ACT 같은 VA 모델로 평가했을 때 훨씬 적은 시간을 들여 취득한 다량의 가상 데이터를 통해 학습한 모델이 한달이 넘게 모은 현실 데이터로 학습한 경우보다 좋은 결과를 보여준 만큼 시뮬레이터를 통한 데이터 취득 연구또한 가치가 있다고 생각합니다.

반대로 Sim to Real 연구들도 존재합니다. 시뮬레이터를 통해 대량의 학습 데이터를 안전하게 생성할 수는 있지만, 시뮬레이터는 현실적이긴 하지만 현실은 아니기 때문에 물리적인 부분이나 센서의 특징, 노이즈 등을 현실과 같게 모델링 하는것에는 한계가 존재합니다. 이를 위해 시뮬레이션의 환경 파라미터를 조작하는 domain randomization 연구나 시뮬레이터 자체에서 Sim 과 Real 격차를 줄이려는 연구, 시뮬레이션으로 학습한 모델을 현실에서 fine tuning 하는 연구들이 존재합니다.

Real to Sim to Real 연구들은 대부분 Digital Twin을 구축해 각종 현실 데이터를 기반으로 시뮬레이터 내에서 강화학습을 진행해 다시 현실에서 Sim to Real Gap을 줄인 정책을 사용하는 방향의 연구들이었습니다.

소통

사실 연구는 당연히 앞으로 더 배워가야 하는 부분이고 아직 부족한게 맞지만, 소통에 대한 피드백도 많이 들었고 저 스스로도 부족한 부분이 많아서 개선하려는 노력을 해야할 것 같습니다. 주어를 빼고 말한다거나 횡설수설 하는 경우들이 많은데, 최근 각종 회의에 참석하면서 느낀 점이지만 혼자서만 연구할 수 있는게 아닐 뿐더러 사실 살아가는데 소통 능력은 굉장히 중요하다고 생각해서 신경을 많이 쓰려고 합니다. 여태 이런 소통을 할 일이 없어서 깊이 고민해보지 못 했지만 이번 기회에 문제가 뭘까 생각을 해봤습니다.

1. 내 생각을 완벽히 정리하지 않은 채로 대화 시작 – 가끔 대화 주제가 퍽 떠올라서 무작정 말을 걸고 나면 막상 대화가 시작됐을 때 생각을 하면서 동시에 대화를 진행하려니 모호한 표현들과 방향없는 말들이 나가는 것 같습니다. 언제나 그럴 수는 없지만 고민이나 아이디어에 대해서 적어도 제 안에서 자기확신을 가지고 내용 정리를 제대로 하고나서 대화를 시작해야 하지 않을까 싶습니다.
2. 교수님과의 소통(연구미팅) – 항상 연구미팅이 진행되고 나서 선배님들께 피드백을 들을때면 아쉬움이 많이 남지만, 그 다음 연구미팅을 준비하면서 개선하는 것이 쉽지 않은 것 같습니다. 연구미팅을 하는 목적을 명확히 하고 교수님께 내용 전달을 어느 수준에서 시작하고 끝내야 하는지를 생각하면서 정리하고, 그 내용을 보조하기 위한 자료를 만들어야 할 것 같습니다. (역으로 진행돼서 항상 큰 그림에서 뭔가를 놓치는 것 같습니다)
3. 발표 – 연구실 세미나 발표뿐만 아니라 각종 발표에서도 내용 전달력에 아쉬운 부분이 있는 것 같은데, 경험을 늘리는 것도 중요하지만 조금 더 철저한 준비가 필요할 것 같습니다.

마치며

금방 작성할 줄 알았던 글이 쓰다보니 생각이 많아지고 오래 걸렸습니다. 사실 사람마다 다르겠지만 저는 현재 연구실 생활이 단순히 취업을 위한 준비단계 이상인 것 같습니다. 작년 뿐 만 아니라 올해도 생활하는 과정에서 크고작은 성취감을 느끼면서 여태 경험하지 못한 안정된 삶(?)을 살고있는 것 같습니다. 작년에 URP를 마치고 그새 방황하던 시기에 연락주신 교수님께 다시 감사합니다 ㅎㅎ,, 당연히 아직 지낸 시간이 짧고 힘든 순간들이 오겠지만 항상 지금 느끼는 감사한 마음을 가지고 열심히 연구하도록 하겠습니다.