격변과 적응의 시기
올해는 저에게 격변과 적응의 시기였습니다.
아실 분들은 아시겠지만, 올해 제 메인 연구 주제를 변경하였습니다.
이전까지는 무인화 플랫폼을 타겟으로 시각 강인성을 가진 인지 알고리즘 개발을 목표로 삼았습니다.
지금은 로봇의 자율성 확보를 위한 시각 인지 및 로봇 작업 계획 알고리즘 개발로 목표를 변경하게 되었죠.
연구 주제를 변경한다는 것은 박사 과정 2년차에게는 꽤나 큰 결정일 수 있다고 생각합니다.
기존 연구와 유사하다면 큰 문제가 안되겠지만… 다르다면 어려운 결정이겠죠… 이번 결정이 이에 해당하는 상황이라고 봅니다.
그런데도 주제 변경을 다짐한 이유에 대해서 공유하고자 합니다.
저와 비슷한 고민을 하시는 분들에게 도움이 될 것이란 생각이 들기도 하며,
더 나아가, 이번 기회를 통해 제 생각을 정리하고자 합니다.
왜 연구 주제를 변경했는가?
솔직히 말씀드리자면, 자율 주행을 연구 주제로 졸업 후 취업에 대한 확신이 없었습니다.
최근 자율 주행 관련 기사와 뉴스, 연구 동향을 살펴보며, 자율 주행 시장이 점점 축소되고 있다는 인상을 받았습니다.
결정적인 계기가 되었던 것은 자율 주행을 수행하는 회사가 프로젝트를 중단하고 관련 인력들을 다른 부서로 재배치했다는 소식을 접했을 때였습니다.
이 소식은 저에게 자율 주행 시장의 현주소를 더욱 명확히 보여주는 신호와도 같았습니다.
하지만 역설적으로, 저는 자율 주행 시장의 전망이 마냥 어둡다고만 생각하지는 않았습니다.
자율 주행 시장은 왜 작아졌는가?
(여기서부터 제 주관이라는 점 미리 알려드립니다.)
앞서 전 현 상황 대비 자율 주행 시장 전망이 어둡지 않다는 대비되는 이야기를 하였습니다.
이에 대해서 설명을 드리려면 우선 자율주행 시장이 작아진 이유에 대한 제 견해를 정리해야 할 것 같습니다.
최신 AI 분야에서 부양 중인 트렌드를 보면 자율 주행 시장이 작아진 이유가 어느정도 납득이 됩니다.
아래는 GPT4o에게 “2024년도 컴퓨터 비젼 분야의 기술 트렌드를 소개해줘”에 대한 답변을 정리한 내용입니다.
(핵심적인 내용만 요약한 내용으로 구체적인 답변을 보시고 싶으신 분들은 해당 링크를 참조바랍니다.)
- 대규모 멀티모달 모델과 비전-언어 통합: LLM -> Multi-Modal LLM
- 3D Vision -> Novel-View Synthesis (NVS; e.g. NeRF, 3DGS)
- 자율주행을 위한 실시간 비전
- Generative AI와 합성 데이터: Generative Models (e.g. Diffusion Model)
- Edge AI와 최적화 -> 경량화 등
- 로봇 비전과 강화학습
- 윤리적 인고지능과 프라이버시
실제로 위 기술들은 각 분야에서 놀라운 성과를 보였으며, 특히 LLM, NVS, Diffusion는 사회적으로도 큰 영향을 미친 혁신적 기술임을 부정할 수 없습니다.
그러나 자율 주행의 관점에서 보면, 이 세 가지 기술들은 치명적인 단점을 가지고 있습니다.
자율 주행에서는 실시간 비전이 필수적이지만, 위 기술들은 다음과 같은 이유로 지연 속도(latency) 문제를 해결하기 어렵습니다:
- LLM: 모델 크기가 지나치게 커 실시간 처리가 어려움.
- NVS: 장면 학습에 많은 시간이 필요하며, 정적 장면에만 제한적으로 활용 가능.
- Diffusion: 입출력을 반복적으로 연산하여 결과를 추론하는 구조로 인해 처리 속도가 느림.
결론적으로, 지연 속도가 매우 중요한 자율 주행 기술에 있어 이러한 트렌드 기술들은 적용이 어렵다는 근본적인 문제가 존재합니다.
저는 자율 주행 시장이 축소된 이유를 기술적 관점 뿐만 아니라 AI 기술에 대한 투자와 시장 관심의 부족이라는 측면에서도 설명할 수 있다고 봅니다.
앞서 언급한 바와 같이, 현 AI 트렌드 기술들은 지연 속도 문제로 인해 자율 주행에 직접적으로 접목하기 어렵습니다. 이러한 기술적 한계 뿐만 아니라, 혁신적인 기술들을 자율 주행에 접목시키지 못하면서 다른 AI 트렌드 기술들로 흩어지는 투자자들의 관심을 모으지 못한 점도 자율 주행 시장 축소에 큰 영향을 미쳤다고 생각합니다.
하지만 제가 예상한 기술적 한계가 시장 축소의 큰 영향을 차지한 것이 맞다면 자율주행 시장은 굉장히 긍정적인 상황이라고 생각합니다.
이러한 기술적 한계는 결국에는 극복될 것이며, 혹여 새로운 키플레이어가 등장하여 자율 주행에 보다 적합한 혁신 기술을 선보인다면 시장은 빠르게 활기를 찾을 것이라고 생각합니다.
그렇다면, 왜 주제를 바꾼 것인가?
앞선 주장에서 저는 자율 주행 시장이 다시 부흥할 가능성을 강조했습니다. 그러나 주제를 바꾼 이유는 제 개인적인 상황과도 밀접하게 연관되어 있습니다.
현재 박사 과정 3년 차인 저는 졸업을 위해 보다 안정적이고 확실한 연구 방향을 선택할 필요성을 느꼈습니다.
“자율 주행 시장이 살아날 것이다”라는 낙관적 전망에 모든 것을 걸기에는, 제가 마주할 학문적, 그리고 개인적 부담이 너무 컸습니다.
간단한 이유죠…
그럼, 바꾼 주제는 현실적인 선택이 맞는가?
지연 속도 문제는 고속 이동과 안정성이 요구되는 자율 주행과는 달리, 저속 주행 및 저속 작업 환경에서 운용되는 로봇 도메인에서는 보다 관대하게 허용될 수 있습니다.
이러한 기술적 허용은 현시점의 AI 트렌드 기술들을 로봇 AI에 효과적으로 접목할 여지를 제공합니다.
결과적으로, 이는 투자와 관심으로 이어져 기존 자율 주행 시장의 자본들이 로봇 AI로 점차 이동하는 추세를 만들어 내고 있습니다.
따라서 로봇 AI로 연구 주제를 변경한 것은 제가 우려했던 졸업 후 취업 문제에 대한 현실적이고 전략적인 선택이라고 볼 수 있습니다.
새로운 연구 주제와 과제 선정
이러한 결정 이후, 교수님과 면담을 진행하며 연구 방향성을 구체화했습니다.
또한, 교수님과 저희 팀 외의 다른 동료 연구원들의 도움을 받아
감사하게도 변경된 연구 주제와 관련된 두 과제에 선정될 수 있었습니다.
(이 자리를 빌어, 도움을 주신 교수님과 연구원들에게 감사의 인사를 올립니다.)
이후, 변경된 연구 주제에 적응하기 위해 새로운 분야에 대한 공부를 하며 구체적인 연구 설계를 진행해왔습니다.
이번 아듀 세미나에서는 새롭게 설계한 연구 주제에 대해서 다루고자 합니다.
이렇게 새롭게 설계한 연구 주제는 추후 년도에 이뤄가면서 차차 졸업 준비를 해보고자 합니다.
결론?
저와 같은 고민을 하는 연구원들에게 직접적인 도움을 주기 위해서는 제가 한 결정이 올바르거나, 틀리다는 결론이 나와야 본보기가 되거나, 반면 교사가 될 텐데… 아직 진행 중이기에 조금 더 지나야 할 것 같아요. 그래도 나름 진지하게 고민했던 흔적은 담고자 노력했으니… 단순하게 흥미 위주를 선택은 아니라는 점이라도 전달되었으면 좋겠습니다. 하하…
추가로 상반기 회고에서 설정한 목표 달성을 체크해보고자 합니다.
- 에어로졸 상황에서의 3차원 인지
(7월 중) 데이터 셋 가공 완료-> 완료- (8월 중) RGBD-T 깊이 보완 혹은 Thermal stetreo로 논문 작성 -> (보류) 가동원전 데모
(~ 10월?) 에어로졸 상황에서의 RGB 기반 6D Pose estimation 논문 서포트 (희진)-> 완료- (25년 4월) RGBD-T를 활용한 6D Pose estimation 논문 작성 -> 흠… 건화랑 논의 필요 (25년 4월까지이니깐…)
(미정) 에어로졸 상황에서의 3D detection… (구상 중)-> 보류- 연구비 삭감으로 2.5D로 변경됨
- 로봇 파지
- (겨울방학 전) 로봇 파지를 위한 매니퓰레이터 ROS2 & Moveit! 튜토리얼 제작 -> (80% 완료) 자료 정리 필요
- 준비 가능한 튜토리얼 수준과 대상 독자를 고려하면 튜토리얼 필요한지에 대해서 재검토 필요
(여름 방학 중) 로봇 파지를 위한 프롬프트 엔지니어링 스터디 진행-> (완료) 재찬님 KROS 논문- 코드 레벨까지 확장 필요 -> 겨울 방학 중 완료 예정
- (11월 중) OWOD 혹은 3DLF 방법론 논문 작성 진행 -> 3월 중 작성 완료 목표
- (겨울방학 전) 로봇 파지를 위한 매니퓰레이터 ROS2 & Moveit! 튜토리얼 제작 -> (80% 완료) 자료 정리 필요
정리해보니… 전반적으로는 예상한 계획대로 수행하긴 했습니다.
RGBD-T 깊이 보완 논문을 놓쳤네요… 3월 작성 목표인 OWOD 혹은 3DLF 방법론 논문 중 어떤 것을 우선으로 둘지 고민해봐야겠습니다…
