기존 Localization 데이터 셋들은 데이터가 현대 도시들의 데이터를 담고 있지 않고, 여러 센서의 데이터를 제공하지도 않으며, 큰 용량의 데이터를 제공하지도 않는다. 하지만, 자율주행을 할때 현대 도시를 지나가지 않는 상황은 없기 때문에 무조건 적으로 필요하다. 또한 현대 도시들에는 사람들이 많고 고층 건물이 많기 때문에 여러 센서들로 상호 보완한 데이터셋이 필요하다. 따라서 이 논문에서는 그림 1 과 같은 다양한 센서로 촬영된 데이터셋을 제공한다.
- 표 1 과 같이 논문에서 제공하는 데이터셋은 다른 데이터셋 들과 비교했을때 데이터의 양이며 센서의 종류가 다 완전히 충족된 상태이다. 라이다 한대, 6대의 카메라를 통해 생성한 360도의 영상, 그리고 한대의 IMU, 그리고 GNSS 한대의 총 센서를 calibration 해서 제공한다고 한다.
- 현대 데이터 셋을 평가하기 위한 새로운 평가 방식을 제안한다
1. Urbanization Measure
GNSS는 비용적으로도 직관적으로도 좋은 장비이지만 현대 도시에서는 많은 결함을 드러낸다. 고층 빌딩들로 인해 위성의 신호가 막혀서 막히지 않은 인공위성의 신호로만 위치를 추정하니 성능이 떨어지는 것인다. 게다가, 건물에 반사된 신호는 다른 방향을 유도하기도 한다. 따라서 도시별로 도시화 비율을 측정하는 것이 오류에 대한 검중을 할 수 있게 된다.
도시의 도시화를 결정하는 방식으로는 Skyplot을 사용했다. 그림 2의 사진과 같이 360 영상의 마스크를 따서 하늘이 보이는 곳의 마스크를 따서 도시화를 결정한다.
2. UrbanLoco Dataset
현대 도시의 데이터 셋을 모으기 위해 센프란시스코와 홍콩을 각각 촬영했고 각각의 도시를 덴스하게 촬영하여 도시의 풍경의 특징들을 많이 담고있다. 또한 당연하게도 보행자와 차들 오토바이 자전거타는 사람등이 많ㅎ이 포함 되어있다. 합서 말한다로 센서는 라이더 1, 카메라 6(홍콩은 fisheye 카메라1) ,IMU 1 , GNSS 1 로 이루어져있다. GPS의 GT로는 두 도시다 GNSS와 IMU를 통합한 내비게이션 시스템인 Novatel SPAN-CPT에서 구한다.
- LIDAR Velodyne HDL 32E, 360 Horizontal Field of View (FOV), -30 +10 vertical FOV, 80 meters in range, 10 Hz;
- Camera Grasshopper3 5.0 MP (GS3-U3-51S5C-C), fish eye lens Fujinon FE185C057HA-1, 185 HFOV, 185 V-FOV, 10 Hz;
- IMU Xsens Mti 10, 100 Hz
- GNSS Ublox M8T, GPS/BeiDou, 1Hz;
각각 홍콩에서 촬영한 센서의 종류는 위와 같고 ,시스템의 설계도는 그림 3(a) 와같다.
원시 GNSS 신호를 받기위 M8T를 사용했고 이것은 향후의 NLOS 측정을 수정하는등의 GNSS positioning 연구를 위함이다. 그리고 fish eye 카메라를 기반으로 GNSS의 보정을 가능하게 합니다. 그리고 3d HDmap을 위해 3D LIDAR를 사용했다.
- LIDAR RS-LIDAR-32, 360 Horizontal Field of View (FOV), -25 +15 vertical FOV, 80 meters in range, 10 Hz;
- Camera Six FLIR Blackfly S USB3, 2048*1536, 10 degree overlap on each side, 10Hz;
- IMU Xsens Mti 10, 100 Hz;
- GNSS Ublox M8T, GPS/GLONASS, 1Hz
캘리포니아의 촬영 센서의 종류는 위와 같고 시스템은 그림 3(b) 와 같다.
여섯대의 카메라와 라이더는 동기화를 맞춰 동시에 촬영이 됩니다. Lidar를 마스터로 트리거링을 진행 합니다.
5. Evaluation
그림 4 와 같이 촬영한 데이터셋을 슬랩으로 맵을 만든 후 실제 지도와 비교를 진행 했다.
6 개인적인 생각
Localization 관련 논문을 ICRA에서 찾아보다가 찾은 논문인데 실험할때 사용해보면 좋을 것 같다는 생각에 리뷰로 작성 했다. 만약 이 데이터셋에 pd정보 또한 준다면 새로운 평가데이터셋으로 널리 쓰일 수 있을 것 같다.
만약 이 데이터셋이 PD 정보를 준다면이라고 표현한거면 실제 해당 데이터셋은 object에 대한 라벨링은 주어지지 않는거 맞나요?? 또 논문에서 Urbanization Measure를 새롭게 정의하였는데 혹 이에 따른 실제 GPS fail 혹은 위치인식 성능하락 정도와의 상관관계를 분석해 나타내고 있나요?
라벨링도 주어주지 않고, 따로 측정법에 ㅐ한 성능에 대한 리포팅 또한 없었습니다. 사실 후자 같은 경우는 필요할거 같은데 따로 없어서 논문이 미완성된걸 올렸나 싶기도 하고 그렇습ㄴ디ㅏ
좋은 글 감사합니다.
궁금한게 있어 질문을 드리자면
1. 홍콩에서는 Fisheye 카메라를 사용하였고, 샌프란시스코에서는 6대의 카메라를 사용했는데 논문에서 그 이유에 대한 내용이 있나요?
2. 이건 질문은 아니지만 중간중간에 오타가 있거나 문맥이 어색하여 글 읽는 흐름이 살짝 끊기는데 앞으론 고쳐주셨으면 합니다^^
1. 따로 그런 이유는 명시 되어있지는 않고 제 생각에는 다양한 데이터셋을 제공하고 싶었나… 싶습니다.
2. 노력해보겠습니다
이 논문에서 공개한 데이터셋은 localication을 하기 위해 부족한 다른 센서를 보완하기 위한 것으로 보면 될까요? 위 댓글처럼 object를 찾는 등을 하기에는 부적합해보여서요.