안녕하세요. 2026년 1월부터 6월까지 6개월간 UDI 프로그램에 참여한 유지원입니다. RCV 연구실에 UDI 프로그램이 처음 도입된 해에 1기로 참여하게 되었습니다. 제가 경험한 내용이 앞으로 UDI 프로그램 참여를 고민하시는 분들께 참고가 되기를 바라는 마음으로 후기를 작성합니다.
1. 지원 동기
저는 캡스톤 프로젝트를 하면서 처음으로 모바일 로봇을 다뤄보았습니다. 당시에는 딥러닝 기반 객체 탐지 모델로 주변 장면을 인식했지만, 그 인식 결과를 바탕으로 로봇이 실제로 어떻게 움직여야 하는지는 사람이 직접 설계해야 했습니다. 이 과정에서 로봇이 단순히 보는 것에 그치지 않고, 인식한 정보를 바탕으로 스스로 판단하고 움직이기 위해서는 perception, planning, control이 더 잘 연결되어야 한다는 생각을 하게 되었습니다. 자연스럽게 Robot Learning 분야에 관심이 생겼고, 이 분야를 더 깊이 공부해보고 싶었습니다.
마침 RCV 연구실에서 UDI 참여자를 모집하고 있었고, 다양한 로봇 자원을 바탕으로 실제 연구 환경을 경험해볼 수 있을 것 같아 지원했습니다. 책이나 논문으로만 접하던 로봇 연구가 실제로는 어떻게 진행되는지 가까이에서 보고 배울 수 있는 좋은 기회라고 생각했습니다.
2. 활동 내용
6개월 동안 여러 로봇을 활용해 다양한 작업을 진행했습니다. 주로 로보틱스팀 연구원분들의 연구에 필요한 실험을 세팅하고, 데이터를 취득하며, 모델을 학습하고 평가하는 과정에 참여했습니다.
1월에는 본격적인 로봇러닝 실험에 들어가기 전, URP 세미나에 참여해 필요한 AI 지식을 다시 공부했습니다. 이미 인공지능 관련 수업을 들은 상태였지만, 세부적인 개념들을 이론과 실습으로 다시 접하니 새롭게 이해되는 부분이 많았습니다. 이후 실험을 따라가고 이해하는 데에도 큰 도움이 되었습니다.
2월에는 LeRobot SO-101 로봇을 이용한 작업을 주로 진행했습니다. 3D 프린팅된 로봇 부품을 조립하고 작업 공간을 세팅한 뒤, pick-and-place 데이터셋을 취득하고 SmolVLA 모델을 학습 및 평가하는 과정을 경험했습니다. 로봇을 조립하는 단계부터 데이터 수집, 모델 학습, 평가까지 이어지는 전체 흐름을 직접 경험할 수 있었습니다.
3월부터는 PiPER 로봇을 이용한 작업을 진행했습니다. PiPER arm을 LeRobot 파이프라인에서 사용할 수 있도록 LeRobot 0.4.3 버전에 맞춰 리팩토링을 진행했고, 이후 여러 물체를 대상으로 pick-and-place 데이터셋을 취득했습니다. 수집한 데이터를 바탕으로 Diffusion Policy와 VQ-BeT 모델을 학습시키고, 두 모델의 차이를 비교해보기도 했습니다. 다양한 물체와 task를 바꿔가며 실험하다 보니, 로봇마다 또 모델마다 어떤 특징이 있는지 조금씩 감을 잡을 수 있었습니다.
4월에는 PiPER arm을 이용해 hand-eye calibration 작업을 했습니다. Sim2Real, Real2Sim 실험을 위한 준비 작업이었는데, 정밀한 calibration을 얻는 과정이 생각보다 쉽지 않았습니다. 결과에 영향을 줄 수 있는 요소가 카메라 위치, 마커 인식, 좌표계 설정뿐 아니라 로봇 자체의 정밀도, zero position 세팅, 계산 수식 등 매우 다양했습니다. 이를 하나씩 점검해보면서 로봇 실험에서는 세팅의 작은 디테일도 결과에 큰 차이를 만들 수 있다는 것을 느꼈고, 실험을 대하는 태도 역시 더 꼼꼼하고 신중해져야 한다는 점을 배웠습니다.
이후에는 UR 로봇을 다뤄볼 기회도 있었습니다. 기존에는 UR 로봇을 이용한 peg-in-hole 작업이 어려웠지만, low-level control에 필요한 force 값을 얻어올 수 있도록 업데이트되면서 이 값을 모델에 활용하는 실험을 진행했습니다. 멘토님께서 작업해주신 코드를 바탕으로 OSC control을 실행하고, 데이터를 취득한 뒤 학습과 추론까지 해보았습니다. task는 플러그를 멀티탭의 콘센트 구멍에 맞춰 삽입하는 작업이었는데, 시각 정보만으로는 성공이 어렵고 촉각으로 힘을 느껴가며 구멍에 맞춰 넣어야 하는 정밀한 작업이었습니다. 처음 human demonstration 데이터를 취득할 때에도 사람이 직접 수행하는 것조차 쉽지 않아 몇 시간 동안 연습이 필요했는데, 모델이 이를 학습한 뒤 높은 성공률로 성공하는 모습이 신기했습니다. 모델이 힘을 조절하며 플러그를 삽입하는 모습을 보면서, 로봇 조작에서 force 정보의 필요성을 느낄 수 있었습니다.
실험 외에도 각 작업에 필요한 배경지식을 쌓기 위해 관련 논문을 읽고 공부했습니다. 논문의 본문뿐 아니라 appendix까지 꼼꼼히 읽으며 실험 설정과 구현 방식을 이해하려고 했습니다. 이전에는 논문을 필요한 부분 위주로만 읽는 경우가 많았는데, 이번 활동을 하면서 논문을 더 깊게 읽는 경험도 해볼 수 있었습니다.
3. 느낀 점
이번 UDI 활동을 통해 Robot Learning 분야에 대한 흥미가 더 커졌습니다. 혼자서는 쉽게 경험하기 어려운 로봇 실험들을 직접 해볼 수 있었고, 멘토님들과 계속 의견을 나누면서 책이나 강의만으로는 알기 어려운 부분들을 배울 수 있었습니다. 실제 연구를 위한 실험을 진행하다 보니, 요즘 로봇러닝 분야에서 어떤 문제들이 중요하게 다뤄지는지도 조금씩 이해할 수 있었습니다.
저는 이전부터 인공지능 모델이 물리 세계와 연결되어 실제로 행동할 때 가장 큰 가능성을 가진다고 생각해왔습니다. RCV 연구실에서 로봇러닝을 공부하고 실험하면서 이 방향에 대한 확신이 더 커졌고, 앞으로도 이 분야를 계속 공부하고 싶다는 생각을 하게 되었습니다.
1월부터 6월까지 긴 시간 동안 좋은 경험을 할 수 있도록 고민해주시고 아낌없이 도와주신 멘토님들께 진심으로 감사드립니다. 멘토님들께서 저희가 어떤 것을 해보고 싶은지 계속 물어봐주시고, 최대한 저희에게 도움이 되는 방향으로 프로그램을 이끌어주신 덕분에 여러 실험을 직접 해보며 스스로 생각하고 배울 수 있었습니다.
그리고 UDI 프로그램을 통해 이런 기회를 만들어주신 교수님께도 깊이 감사드립니다. 덕분에 로봇 연구를 더 가까이에서 경험할 수 있었고, 앞으로 어떤 공부와 연구를 이어가고 싶은지에 대해서도 더 분명하게 생각해볼 수 있었습니다.
마지막으로, 6개월 동안 모든 과정을 함께한 은아에게 고맙다는 말을 전하고 싶습니다. 처음 해보는 작업도 많았고 실험이 뜻대로 되지 않아 막막했던 순간도 있었지만, 옆에서 함께 고민하고 끝까지 같이 해준 덕분에 큰 힘이 되었습니다. 함께해서 정말 고마웠고, 덕분에 행복하게 활동을 마무리할 수 있었습니다.
