안녕하세요 ! 연구실에 들어온지 어느덧 URP를 포함하여 약 1년이 되어갑니다.
지난 1년동안의 생활을 되돌아보고 앞으로의 1년을 어떻게 보내야할 지에 대해 적어보려고 합니다. 상반기는 이미 회고록을 작성하였기에 하반기를 중점으로 작성하고자 합니다.
2023년을 되돌아보며
저의 상반기를 마무리하며에서 작성한 내용과 더불어 1년을 되돌아보았을 때 하반기에 세부 연구 분야 정하기와 캘리브레이션 공부, 그리고 논문작업 참여까지 목표로 하고 있었네요.
먼저 세부 연구 분야 이야기에 앞서서 하반기 저의 메인 task라고 함은 데이터셋 구축이었다고 말할 수 있을 것 같습니다. 최근 데이터셋 자료를 정리하며 첫 촬영인 9월을 시작으로 11월 말까지 진행한 촬영본을 보니 그래도 여러 시행 착오를 겪으면서 꾸준히 데이터셋 구성이 발전해나가고 있는 것을 느꼈습니다. 항상 비슷한 환경을 구성하였지만 생각해보면 매번 다른 목적을 가지고 촬영을 진행하였습니다. 초반에는 저희 팀에서 설정한 고밀도 에어로졸이라는 이상 환경에서 RGB와 depth 센서로 취득한 영상이 일반적인 환경에 비해 얼마나 영향을 받는지를 확인하였고, 특히나 depth 센서의 성능 저하를 확인하고는 이를 보완할 수 있는 수단으로 열화상 카메라까지 추가하여 촬영을 진행하였습니다. 처음에는 한 개의 realsense만을 사용하였던 것과 다르게 점점 경향성을 확인하기 위한 센서가 늘어나더니 마지막엔 4개의 depth 센서를 촬영하고 있었네요 🫠 하지만 무엇보다 어려웠던 것은 이상환경 구상이었던 것 같습니다. 처음에는 스팀을 주로 사용했었는데 넓은 공간을 커버하면서 센서의 경향성을 확인하기에 스팀은 한정적인 요소가 많아 결국엔 포그머신을 사용하고 있습니다. 고온이라는 특성 때문에 계속 활용하고 싶었는데 구성적인 측면에서 부족했던 것 같아 조금 아쉽네요 . . 이렇게 센서가 늘어나고 환경을 구성할 수록 신경써야 할 요소들도 많고 무한 촬영 굴레에 빠지기도 했지만 . . 계획한 촬영을 잘 마칠 수 있어서 다행입니다. 항상 6층에 퍼지는 연기를 연구원분들께서 양해해주셨는데 앞으로의 촬영 때도 잘 부탁드립니다 하하
캘리브레이션도 앞선 데이터셋 촬영과 연결지어 얘기할 수 있는데요, 처음에는 무작정 이론 공부부터 시작하여 막연함을 많이 느꼈었습니다. 그러나 데이터셋 촬영을 위해 사용할 센서를 직접 캘리브레이션을 해야했고, 이후에 GT 데이터 구성을 위해 진행한 3D reconstruction에서도 기하학적인 지식들이 필요했기에 여름방학 때 공부하였던 캘리브레이션 공부가 차후 task를 차질없이 진행하는 데 많은 도움이 되었다고 생각합니다. 완전히 캘리브레이션과 더불어 기하학 공부를 마쳤냐고 묻는다면 그렇다고 할 순 없겠지만 적어도 현재 task에서 필요한 부분을 끌고와서 적용 가능할 정도의 지식을 쌓았다고 대답할 수 있을 것 같습니다.
11월에 KRoC 논문을 작성하면서 논문 작업 참여라는 목표에 달성할 수 있었습니다. 사실 제일 막연하기도 하고, 작은 바람이었어서 논문을 쓸 수 있을까 생각했었는데 목표를 이루게 되어 뿌듯합니다. 비록 저만의 contribution을 가진 것이 아니라 촬영한 데이터셋을 기반으로 작성한 것이기는 하나 오히려 저의 하반기를 응집한 논문처럼 느껴져 의미있는 경험이었습니다. 이러한 경험이 다음번의 논문을 작성할 때 기반이 되어 저에게 도움이 될 거라고 생각합니다.
제가 일년동안 작성한 x-review를 보면 크게 3D Object Detection과 Depth completion/estimation으로 나뉘어집니다. 앞서 촬영한 데이터셋이 이러한 여러 3차원 인지 task로 확장할 수 있기 때문에 결론적으로 이야기하면 아직 세부 분야를 정하지는 못하였습니다. 여러 갈래에 흥미가 있기에 완전히 하나로 정하지 못하여 석사 진학을 앞둔 현재 조금 걱정이 되긴 합니다. 특히 3D Object Detection은 가장 논문을 많이 읽었으면서도 실험적으로는 거의 다루어보지 못해서 고도화 관점이든 데이터셋 관점에서든 꼭 한번 다루어보고 싶은 task 입니다. 뭔가 두 갈래의 task가 어우러져서 발전시킬 수 있는 방법이 있을까 싶어 이와 관련해서 논문 서베이도 진행해보았는데 CVPR 2022에 depth completion을 통해 3D Object Detection을 고도화하는 논문이 게재되긴 했지만 ( 아직 읽어보지는 못해 . . 조만간 읽어보려고 합니다 ) 아직 잘 모르겠네요 . . . 조금 더 고민해보아야 할 것 같습니다.
여담으로 운동도 열심히 해보겠다는 말을 했었네요 . . 운동을 시작하긴 했지만 열심히 . . 는 잘 모르겠습니다. 연말에는 운동에 살짝 소홀했었는데 새해가 된 만큼 다시 열심히 다녀보려고 합니다 ㅎ . . ㅎ
2024년 계획
24년도에는 석사에 진학하는 만큼 무언가 대단한 목표를 세워야할 것만 같은데요 . . 우선 세부 분야를 겨울방학까지 완전히 정하고자, 고민하고 있는 task들에 대해서 다양한 서베이를 진행할 예정 입니다. 또한 데이터셋 촬영을 병행하게 될텐데 이전까지 촬영한 경험을 잘 정리하여 보다 효율적으로 진행할 수 있도록 고민하면서 데이터셋 취득에 우선적으로 집중하고자 합니다. 특히 이상환경의 정도를 측정할 기준은 현재 세워져있지만 그러한 가시적인 기준이 보이면서 각 센서의 특징이 효과적으로 드러날 수 있는 scene 구성을 어떻게 해야할 지는 계속 고민하고 있는 단계 입니다. 또한 현재 reconstruction이 좁은 영역에 대해서는 가능한데, scene 레벨로 확장하여 가능한지에 대한 검증을 통해 reconstruction을 통한 GT depth까지 데이터셋 구성에 포함하고자 합니다. 이러한 점들을 잘 보완하여 23년에 KRoC를 작성하였으니 24년에도 데이터셋 벤치마킹을 기반으로 논문 한편에 도전 . . 해보고자 합니다. 데이터셋이 잘 마무리되면 취득한 데이터셋의 feasibility를 확인할 수 있는 베이스라인 모델을 찾아 검증하고 추가적인 아이디어를 통해 고도화된 모델까지 구축하는 것을 목표로 잡고 열심히 해보고자 합니다.
2024년도 잘 부탁드립니다. 감사합니다 ! !
