안녕하세요. AI로봇학과 24학번 정유진입니다.
2026년 하계 URP 프로그램을 마치며 8주 동안 경험하고 느꼈던 점들을 정리해보려고 합니다. 올해 새로운 환경에서 학교생활을 시작하면서 적응하는 것부터 앞으로 무엇을 공부하고 어떤 진로를 선택해야 할지까지 여러 고민이 많았습니다. 컴퓨터 비전과 로보틱스에 관심은 있었지만 직접 깊게 경험해본 것은 아니었고, 대학원이나 연구에 대해서도 막연하게 생각하고 있었습니다. URP를 통해 연구가 실제로 어떻게 진행되는지 직접 경험해보고, 여러 분야를 접하면서 제가 무엇에 흥미를 느끼고 어떤 부분을 어려워하는지도 알아보고 싶었습니다.
[지원 동기]
오픈랩과 연구실 소개를 통해 RCV 연구실에서 진행하고 있는 연구들을 접하게 되었습니다. 처음에는 로봇과 컴퓨터 비전에 대한 관심으로 연구실을 찾아보았지만, 설명을 들으며 컴퓨터 비전, 멀티모달 인지, 로보틱스와 같은 여러 분야가 실제 연구에서는 서로 연결되어 있다는 점이 인상 깊었습니다.
당시에는 특정한 연구 분야를 정한 상태도 아니었고 연구가 저와 잘 맞는지도 알 수 없었습니다. 계속 고민만 하기보다는 직접 연구 과정을 경험해본 뒤 생각해보고 싶었습니다. 또한 여러 내용을 직접 해보면서 앞으로의 관심 분야를 조금 더 구체화하고 싶어 URP에 지원하게 되었습니다.
[URP 과정]
1주차에는 인공지능 기초와 CNN을 학습하고 직접 구현하는 실습을 진행했습니다. 저는 NumPy, PyTorch와 인공지능의 기초가 충분히 익숙하지 않은 상태에서 프로그램을 시작했기 때문에 초반에는 따라가는 것 자체가 많이 어려웠습니다. 개념을 들었을 때에는 이해한 것 같아도 막상 직접 코드로 구현하면 생각대로 되지 않는 경우가 많았습니다. 당시에는 기초를 충분히 공부하고 실습을 시작했으면 좋았겠다는 생각도 했지만, 지금 돌아보면 일단 직접 해보고 막히는 부분을 다시 찾아가며 공부했던 과정도 도움이 되었습니다. 직접 부딪혀보면서 제가 무엇을 제대로 모르고 있는지를 알 수 있었기 때문입니다.
2주차에는 Object Detection의 기초를 학습하고 SSD 논문을 읽은 뒤 Pascal VOC Dataset을 이용해 SSD를 원복했습니다. 논문을 읽는 것도 익숙하지 않았지만, 논문의 내용을 실제 코드와 연결해 이해하는 과정이 특히 어려웠습니다. 그래도 직접 구현하고 코드를 따라가면서 글로만 읽었을 때에는 잘 보이지 않던 부분들을 조금씩 이해할 수 있었습니다.
3주차부터 6주차까지는 KAIST Pedestrian Detection Dataset을 이용한 챌린지를 진행했습니다. 기존 SSD를 새로운 데이터셋에 맞게 수정해 baseline을 구축하고, 결과를 분석해 문제를 정의한 뒤 성능을 개선하는 과정을 경험했습니다.
개인적으로 챌린지는 URP 과정 중 가장 힘들었던 부분이었습니다. 이전까지는 주어진 내용을 공부하거나 정해진 구현을 완성하는 경우가 많았다면, 챌린지에서는 어떤 문제가 있는지부터 스스로 생각하고 이를 해결하기 위한 방법을 찾아야 했습니다. 특히 제가 해결하고 싶은 문제와 관련된 논문을 직접 검색하고 읽어보는 과정도 처음 경험했습니다. 키워드를 생각해 관련 연구를 찾고, 논문에서 현재 문제에 적용할 수 있는 아이디어가 있는지 살펴본 뒤 직접 적용해보았습니다.
짧은 시간 안에 익숙하지 않은 논문을 제대로 이해하는 것은 쉽지 않았고, 논문의 방법을 현재 모델에 맞게 적용하는 것도 어려웠습니다. 그럼에도 기존 연구를 직접 찾아보고 다른 연구자들이 문제를 어떤 방식으로 바라보는지 살펴보는 과정은 신기했고 흥미롭게 느껴지는 부분도 있었습니다. 실험 결과도 항상 예상한 대로 나오지는 않았습니다. 생각했던 것과 반대의 결과가 나오기도 했고, 하나의 문제를 해결하려다 다른 문제가 보이기도 했습니다.
단순히 성능을 높이는 것보다 왜 이러한 결과가 나왔는지를 생각하고, 그 결과를 바탕으로 다시 다음 실험의 방향을 정하는 과정도 중요하다는 것을 알게 되었습니다. 문제를 정의하고, 관련 논문을 찾아보고, 방법을 적용하고, 다시 결과를 분석하는 과정을 반복하면서 연구가 어떤 식으로 진행되는지 조금이나마 경험할 수 있었습니다.
7주차에는 Camera Calibration과 Stereo Vision을 학습했습니다. 앞선 과정과 달리 카메라가 실제 공간을 이미지로 표현하는 과정을 좌표계와 기하학적인 관점에서 공부했습니다. 개인적으로 좌표계나 공간적인 관계를 이해하는 내용이 흥미롭게 느껴졌고, 직접 카메라를 Calibration하고 Depth Map을 구해보는 실습도 재미있었습니다.
마지막 8주차에는 Jetson Orin Nano와 카메라를 이용해 ROS2를 학습하고 Open Vocabulary Detection을 연결하는 실습과 미니프로젝트를 진행했습니다. ROS2는 처음 접하는 내용이라 이론으로 들었을 때와 실제로 여러 Node와 카메라, 모델을 연결해 하나의 시스템을 구성하는 것은 많이 달랐습니다. 짧은 시간 안에 미니프로젝트까지 진행해야 해 쉽지는 않았지만, 실제 하드웨어를 직접 다뤄볼 수 있다는 점은 흥미로웠습니다.
또한 실제 카메라를 사용해보니 모델의 성능뿐만 아니라 물체의 종류, 거리, 카메라의 위치와 각도, 빛과 같은 환경적인 요소도 결과에 큰 영향을 준다는 것을 알게 되었습니다. 컴퓨터 비전 모델이 실제 시스템에서 사용될 때에는 생각보다 훨씬 다양한 요소를 함께 고려해야 한다는 것을 경험할 수 있었습니다.
[느낀 점]
URP는 제가 생각했던 것보다 훨씬 힘든 과정이었습니다. 짧은 시간 안에 많은 내용을 공부해야 했고, 완전히 이해하지 못한 상태에서도 직접 구현하며 계속 다음 단계로 넘어가야 하는 경우가 많았습니다. 챌린지에서는 방향을 잡는 것부터 어려웠고, 생각했던 결과가 나오지 않아 좌절한 순간도 많았습니다.
세미나 역시 개인적으로 많이 어려웠습니다. 제가 공부한 내용을 이해하는 것과 그것을 다른 사람에게 설명할 수 있을 정도로 정리하는 것은 전혀 다른 일이었습니다. 발표를 준비하고 질문에 답하는 과정에서 부담을 많이 느꼈고, 제가 앞으로 어떤 부분을 더 보완해야 하는지도 알게 되었습니다.
하지만 힘들었던 만큼 얻어간 것도 정말 많았습니다. 8주 동안 배운 기술적인 내용도 중요하지만, 저에게는 제가 어떤 사람인지를 조금 더 알 수 있었다는 점이 가장 크게 남았습니다. 새로운 내용을 공부할 때 어떤 부분에서 막히는지, 어떤 상황을 어려워하는지, 반대로 어떤 내용에 흥미를 느끼는지를 직접 경험하면서 알 수 있었습니다.
챌린지처럼 스스로 방향을 정해야 하는 과정은 많이 힘들었지만, 관련 논문을 찾아보거나 예상하지 못한 결과가 나온 이유를 고민하는 과정에서는 흥미를 느끼기도 했습니다. 반대로 Camera Calibration에서 좌표계와 카메라 기하를 다루거나 ROS2에서 실제 카메라와 하드웨어를 연결하는 과정에서는 또 다른 종류의 재미를 느낄 수 있었습니다.
처음에는 기초가 부족한 상태에서 실습을 바로 진행하는 것이 부담스러웠지만, 직접 해보지 않았다면 제가 무엇을 모르는지도 제대로 알기 어려웠을 것 같습니다. 잘하지 못하는 것을 마주하는 과정이 쉽지는 않았지만, 그 덕분에 앞으로 무엇을 더 공부하고 어떤 부분을 보완해야 할지도 조금은 알게 되었습니다.
올해 새로운 환경에서 학교생활을 시작하면서 적응과 진로에 대한 고민이 많았습니다. 교수님께서는 URP 활동뿐만 아니라 제가 가지고 있던 진로 고민과 앞으로의 방향에 대해서도 함께 고민해주시고 여러 조언을 해주셨습니다. 새로운 환경에서 여러 고민을 가지고 있던 저에게 그런 말씀들이 제 생각을 정리하는 데 큰 도움이 되었습니다.
URP를 끝냈다고 해서 앞으로 어떤 길을 가야 할지 명확한 답을 얻은 것은 아닙니다. 앞으로도 여러 경험을 해보며 진로에 대해서 계속 고민하게 될 것 같습니다. 다만 프로그램을 시작하기 전에는 막연하게 섞여 있던 생각들이 8주 동안 여러 일을 직접 해보면서 조금씩 정리된 것 같습니다. 제가 무엇을 잘하는 사람인지에 대한 답보다는, 무엇을 어려워하고 어떤 부분에 흥미를 느끼며 무엇을 더 보완해야 하는 사람인지를 이전보다 조금 더 알게 되었습니다.
잘 해냈다고 느낀 순간보다 부족함을 느끼거나 좌절했던 순간도 많았지만, 그런 경험까지 포함해 저 자신을 알아갈 수 있었던 시간이었습니다. 그런 의미에서 이번 URP는 저에게 단순히 방학 동안 하나의 연구 프로그램을 경험했다는 것보다, 앞으로의 진로와 제 자신에 대해 생각해볼 수 있었던 값진 경험으로 오래 남을 것 같습니다.
[앞으로 URP에 참여하실 분들께]
개인적인 경험을 바탕으로 말씀드리자면, 가능하다면 프로그램을 시작하기 전에 NumPy와 PyTorch의 기본적인 사용법, 인공지능과 CNN의 기초적인 내용은 한 번 정도 공부하고 오시는 것을 추천드립니다. 모든 내용을 완벽하게 알고 시작할 필요는 없다고 생각합니다. 저 역시 부족한 상태에서 직접 부딪히면서 배운 것이 많았습니다.
다만 프로그램의 진행 속도가 빠르고 배운 개념을 바로 코드로 구현해야 하는 경우가 많기 때문에, NumPy의 기본적인 연산이나 PyTorch의 Tensor, Dataset과 DataLoader, 모델 학습의 기본적인 흐름 정도가 익숙하다면 초반 과정을 따라가는 데 훨씬 도움이 될 것 같습니다.
그리고 모르는 부분이 있다면 주변에 많이 질문하고 도움을 받으셨으면 좋겠습니다. 지금 돌아보면 저 역시 주어진 환경과 도움을 조금 더 적극적으로 활용했다면 더 많은 것을 얻어갈 수 있었을 것이라는 아쉬움이 남습니다. URP가 쉬운 과정은 아니지만, 짧은 시간 안에 직접 부딪히며 다양한 내용을 경험하고 연구가 어떤 과정인지 느껴볼 수 있다는 점에서 얻어갈 수 있는 것이 많은 프로그램이라고 생각합니다.
[마무리]
프로그램을 진행하면서 정말 많은 분들께 도움을 받았습니다. 교수님께서는 URP 활동에 대한 것뿐만 아니라 제가 가지고 있던 여러 고민과 앞으로의 방향에 대해서도 함께 고민해주시고 많은 조언을 해주셨습니다. 제 상황을 이해해주시고 이야기를 들어주신 것이 제 생각을 정리하는 데 큰 도움이 되었습니다.
조교님들께서도 공부와 실험 과정에서 모르는 부분을 알려주시고, 제가 진행한 내용과 결과에 대해 함께 고민하며 정말 많은 도움을 주셨습니다. 돌이켜보면 제가 받을 수 있었던 도움이나 주어진 기회를 충분히 활용하지 못했다는 아쉬움도 남습니다. 그럼에도 계속 알려주시고 도와주신 덕분에 혼자였다면 경험하지 못했을 많은 것들을 8주 동안 배울 수 있었습니다.
함께 프로그램을 진행한 동기들에게도 감사하다는 말을 전하고 싶습니다. 잘했던 순간뿐만 아니라 부족함을 느끼고 좌절했던 순간까지 모두 저에게는 의미 있는 경험이었다고 생각합니다.
좋은 기회를 만들어주시고 많은 도움과 조언을 주신 교수님과 조교님들, 그리고 함께한 모든 분들께 진심으로 감사드립니다.
