2025년의 상반기가 지났고 이제 하반기도 거의 한달이 지나고 있습니다. 굉장히 정신 없는 상반기를 보냈고 열심히 지낸 것 같은데, 이렇게 정리해보니 아쉬움도 많이 남는 것 같습니다.
연구 관련
로보틱스팀은 로봇의 시각 인지 기술을 실제 로봇의 조작까지 고려하는 연구를 수행하고 있습니다. 5월 초에 팀에서 진행한 Vion Language Action(VLA)분야에 대한 서베이를 통해, 최근 빠르게 발전하고 있는 로보틱스 분야의 기술에 대하여 확인할 수 있었습니다. 최근에는 단순 반복 작업을 넘어, 다양한 작업에 대해 로봇 스스로 환경과 수행할 작업에 대해 이해하고 딥러닝이나 강화학습, 모방학습 등의 다양한 기술을 활용하여 문제를 풀려는 시도가 이루어지고 있었습니다. 특히, VLM과 VFM의 발달로 로봇의 이해 능력이 크게 증가하였고, 이를 로봇에 적용하므로써 큰 도약이 이루어졌습니다. 로봇 데모 영상들을 보며 이게 정말 사람이 개입하지 않은 데모 영상이라는 점에서 놀랐던 기억이 있습니다.
그러나 결국은 데이터가 또 중요한 문제라는 것을 다시 한번 느꼈습니다. 미니 챌린지 과정에서 로봇 데이터를 수집하는 작업에 참여하였는데, 시간과 노력이 참 많이 든다는 것을 느꼈습니다. 장비가 갖춰져 있어야 하고, 로봇 작업도 일정 수준 이상 숙련이 되어야 원활하게 데이터를 수집할 수 있었고, 저의 경우 로봇 조작이 미숙해서 데이터 취득 시간이 예상보다 더 길어졌습니다. 그런 경험을 한 뒤, 다시 보니 논문에 간단하게 적혀있는 ‘N시간의 로봇 데모’가 굉장히 소중한 결과물이라는 생각이 들었습니다.
이러한 로봇의 인지 기술 중 저는 로봇이 물체와 상호작용을 위한 영역을 찾는 affordance연구에 집중하고 있습니다. 제 연구 목표는 단순히 로봇이 물체를 잡을 수 있는 영역을 찾아 물체를 잡는 것 보다는, 이후 어떠한 행동을 수행하기에 적절하고 상식적인 영역을 인식하는 것 입니다. 그러나 기존의 VFM과 VLM은 영상에 대한 grounding 능력이 물체 중심적으로 이루어져 있어, 특정 행동에 해당하는 영역을 직접적으로 찾는 능력에는 한계가 있습니다. 따라서 최근 affordance 연구들이 VLM이나 affordance로 사전학습된 모델을 이용하여 pseudo label을 만들고, 다양한 데이터 큐레이션을 통해 affordance를 학습하는 방향으로 연구가 이루어지고 있습니다. 저는 상반기에 학습을 하지 않고 zero-shot 방식으로 접근해보고자 하였으나 아직 성능적으로 이렇다 할 결과를 내지는 못한 상태입니다. 일단 몇가지 실험도 더 해보고, VLM으로 생성된 데이터를 활용한 실험도 해보려 하고 있습니다.
상반기를 돌아보며
올해는 상반기에 2건의 농업 관련 과제 제안서 작업을 진행하였습니다. 작년에도 제안서 주 역할을 맡아 작성을 해보았지만, 당시에는 주도적으로 이끌지 못해 아쉬웠던 기억이 있습니다. 그래서 이번에는 보다 적극적으로 주도해보자고 마음먹었고, 다행히 어느 정도 역할을 잘 수행하지 않았나 싶습니다. 물론 아쉬운 점도 있었습니다. 연구 방향을 설정하는 데 어려움을 겪어 태주님의 도움을 많이 받았고, 다른 기관과의 그레이 존을 파악하는 것도 아직 많이 부족한 것 같습니다. 이런 점들은 앞으로 더 신경 써서 보완해야 할 역량이라고 생각합니다.
2024년을 마무리하며를 다시 읽어보니 올해의 가장 큰 목표는 연구적 성과 달성하기, 즉 논문 쓰기였습니다. 아직까지는 목표를 달성하지 못한 상태이고, 과제와도 연관되어있다 보니 마음이 많이 편하지 않습니다. 하반기안에는 이 목표를 꼭 달성할 수 있도록 집중해보려 합니다. 또한, 자기개발과 건강 관리를 열심히 하겠다고 했었는데 또 바쁘다는 핑계로 마지막으로 사실 연구실 생활 외에 자기개발이나 건강 관리는 이번 상반기동안 너무 소홀함이 있었던 것 같습니다. 하반기에는 조금 더 균형 있는 생활을 위해 생활 루틴을 재정비해보려 합니다.
리뷰 재밌게 읽었습니다.
특히 ‘논문에 적힌 N시간의 데모’라는 표현이 마음을 후벼 파네요. 혹시 그런 데이터를 수집하는 과정에서 가장 기억에 남는 에피소드나 시행착오가 있었을까요?
그리고 제안서 주도하면서 배운 점이나 새롭게 알게 된 부분이 있다면 나중에 꼭 공유 부탁드려요. 특히 다른 기관과의 그레이 존 파악은 저도 늘 어려운 부분이라서요 ㅠ
마지막으로 상반기 동안 자기개발과 건강 관리에 소홀했다고 하셨는데, 그건 저와 함께 같이 다져봅시다 ^^
저는요?
안녕하세요 상반기 회고 보러 방문했습니다 ^^
로보틱스 팀에서 항상 최신 기술을 세미나에서 소개해주심에 감사한 마음이 항상 있네요 ^^
저 또한 N시간의 데모가 아주 슬프네요.
초기 ImageNet과 같이 해당 분야의 연구진들이 힘을 합쳐 데이터를 수집하고 있는데요, 어서 충분한 데이터로 유의미한 성능 개선이 그들에게 보답하길 바랍니다 ^^~ 즐건 하루~~
안녕하세요 승현님 회고록 잘 읽었습니다.
작년부터 affordance 관련 논문을 많이 읽으셔서 저도 승현님 엑스리뷰를 재밌게 읽었던 것 같은데 이제 그 주제로 논문을 작성할 준비를 하고 계시는군요 !
연구실 들어와서 작년 논문 작성부터 시작하여 승현님에게 많은 도움을 받아 감사하게 생각하고 있습니다. 제가 필요하면 언제든지 불러주세요 ㅎ.ㅎ
또 운동도 같이 열심히 해봐요 연구실 일과 건강 둘 다 챙길 수 있도록 둘 다 화이팅 !
개인적으로 제안서 작성하던 시기가 힘든 시기였는데… 승현님 덕분에 문제 없이 잘 넘어 갈 수 있었던 것 같아 감사드린다는 말 전해야겠네요.
전부터 부사수가 아닌 co-worker가 되었으면 좋겠다고 하는데 이제는 co-worker라고 생각이 듭니다.
더 잘해보죠 ㅋㅋ 화이팅 ㅌㅌ