Introduction
여전히 저자들은 로봇이 path planning을 잘못하고 있다고 시작합니다. 먼저 local한 path planning 관점에서는 outdoor의 변화무쌍한 환경으로 인해 traversability map을 제대로 감지 못한다고 합니다. 이를 해결하기 위해서 3가지 접근들이 있습니다.
- 갈수 있는 지형을 일일히 annotation해서 데이터셋 만들기
- 다양한 센서를 fusion
- perception과 decision-making, action generation을 섞은 end-to-end 모델 사용
그러나 세개 전부 비용적으로나 현재 기술적으로 한계가 있다고 얘기합니다.
이번엔 global path planning입니다. global은 SLAM이나 overhead map과 같은 prior map을 사용합니다. SLAM의 경우 scene map을 만들어야하는데 야외 자연환경에서 map을 정확히 복원하는건 어렵습니다. 반면 overhead map(위성 사진 같은) top-down 방식의 지도는 얻기 쉽습니다. 그러나 이 역시 해상도가 낮고, 정보가 제한적이라는 단점을 가집니다.
해당 논문은 이 문제점에서 출발합니다. Dual-layer BEV-based 휴리스틱 경로 플래닝 프레임워크를 제안합니다. 두개의 모듈 Local BEV Planning Model(LBPM)과 heuristic Global BEV Planning Model(GBPM)을 사용합니다. LBPM은 e2e 모델을 통해, 주행가능한(traversable)한 feature와 latent goal feature를 추출합니다. GBPM에서는 overhead map을 이용하여 주행가능한 영역에 대한 힌트를 제공합니다. 더 자세한건 method에서 소개하겠습니다.
Method
Local BEV Planning Model
먼저 LBPM은 크게 두가지로 구성되어 있습니다. Local BEV perception encoder와 task-driven goal decoder.\
1. Local BEV Perception Encoder
- input은 이전 context observation과 현재 observation으로 이루어져있습니다. 먼저 이미지를 BEV view로 바꾸어서 outdoor의 주행가능 영역을 쉽게 파악하고 적응하게 하였습니다. bev로 바꾸는 것이 3D scene의 integrity를 더 잘 보존하고 정밀한 거리 정보도 보존한다고 합니다. BEV로 변환하는 과정은 lidar 같은 엄밀한 거리 정보가 없기에 LSS method과 BEVDet의 방법을 사용한다고 합니다.
2. Task-driven Goal Decoder
- ViKiNG의 아키텍처를 가져와 decoder를 설계했습니다. ViKiNG은 관측과 목표 이미지를 받아 목표까지의 스텝수와 action을 내놓는 image-goal 정책이고, 목표 이미지가 없는 exploration task에서는 사전분포에서 latent를 샘플링해서 가상의 목표처럼 사용합니다. 해당 논문도 Gaussian prior 분포에서 latent를 샘플링하여 사용합니다. 이때 VIB 방법론을 가져와서 두 task 간 latent의 일관성을 보장합니다. VIB objective는 latent로부터 temporal distance, waypoint, GPS offset을 예측하는 회귀 항과, KL divergence 규제를 통해 latent가 Gaussian 분포를 따르도록 하는 항으로 구성됩니다. 그 결과 사전분포에서 샘플링한 latent도 encoder가 만드는 latent와 같은 분포 공간에 놓이게 되어, 목표 이미지 없이도 유효한 waypoint를 생성할 수 있습니다.
Global BEV Planning Model
LBPM은 여러개의 Waypoint를 내놓습니다. 그런데 그 중 실제 어떤것을 골라야할지 global hint가 필요합니다. 이를 위해 GBPM을 제안합니다.
GBPM은 overhead map(위성사진)을 이용합니다. 이는 일종의 BEV 표현이라 볼 수 있고, 환경 정보를 잘 담고 있습니다. 이러한 overhead map에는 여러가지를 segment할 수 있습니다. 집, 도로, 자연물 등등. 그러나 논문은 간결하게 주행가능한지 여부만 segment하고자 했습니다.
또한 binary segmentation을 하지 않았습니다. 이는 로봇이 급선회를 하게 만들고, 가까울때만 잘 작동했기에 위 Fig 3의 (c)처럼 probability map을 사용했습니다. 이런 맵은 주행불가능한 영역에 접근하면 점진적으로 value가 상승하여 로봇이 미리 회피가능하도록 합니다.
이때 GBPM의 학습 라벨은 로봇의 과거 주행 궤적을 사용했습니다. 로봇이 생성한 궤적은 주행이 쉬울수록 더 많은 궤적으로 덮이므로, 궤적 분포자체가 좋은 traversability 신호가 된다고 합니다. 로봇이 지나간 영역을 foreground, 그렇지 않은 영역을 background로 둡니다. 그러나 궤적은 모든 영역을 덮지 못하므로, binary focal loss를 사용하여 이를 완화한다고 합니다.
Integration of Local and Global BEV Planning
local이 waypoint를 예측하고 global은 주행가능성에 대한 확률 맵을 줬습니다. 이제 이 둘을 합치는 과정입니다.
결국 local이 만들어낸 waypoint path은 아래 수식 (4)에 의하여 cost로 변환됩니다.
여기서 k는 preset paramet이고, 이 값이 local과 global의 가중치를 결정합니다. 이 수식을 통해 robot은 maximum feasibility path에 해당하는 waypoint를 결정하게 됩니다. 그리고 이 과정은 로봇이 task를 끝마칠때까지 반복입니다(fig. 1)
Experiment
Experimental Settings
public dataset에 대한 simulation과 실제 deploy로 평가했습니다.
시뮬레이션에 대해서는 RECON dataset으로 학습하였습니다(5000개의 궤적을 9개의 다른 장소). 그리고 overhead 위성 사진은 google maps API를 사용했다고 합니다(약관보면 사용하면 안될거 같은데, 이 논문도 그렇고 gsv-cities 데이터셋도 그렇고 다 그냥 쓰는거 같습니다). real-world 시나리오에 대해서는 학교 주변 야외에서 했다고 합니다.
1. Simulations on Public Dataset
- Temporal Distance는 현재 위치에서 sub-goal에 도달하는데 필요한 timestep을 의미합니다. 이는 tranversability를 평가하는데 중요한 지표입니다. goal 이미지 중에 temporl distance가 0-10은 close, 10-20은 far로 labeling했습니다.
- Table I은 ViKiNG과 GNM 그리고 Ours(중 LBPM만)을 비교합니다(temporal distance를 보기에 global X). GNM과 다르게 BEV view 변환을 통합하기에 far_or_close에서 높은 %를 달성했고, temporl-distance 예측도 아주 높은 성능 향상을 보였는데 이를 더 scale-invariance한 BEV를 뽑았기 때문이라고 얘기합니다.
2. Real-world Deployment Experiments
- 전방 카메라와 GNSS가 달린 4발 로봇으로 실험했습니다. 저자들은 RECON과 환경이 꽤 달라 일반화 성능을 보여줄 수 있다고 합니다(65m 이상의 긴 off-policy + multiple sharp turn).
- 결과로는 Global hint를 사용하지 않는 ViKiNG, GNM, LBPM는 다 실패했습니다. ViKiNG과 GNM은 주행가능성을 잘 판단하지 못하여 경로 이탈을 했습니다. 반면 LBPM(Ours)는 일정거리까지는 잘 갔지만, global hint가 없어서 충돌과 경로 이탈을 했습니다. 결국 LBPM과 GBPM을 모두 사용한 저자의 최종 방법론만 완주할 수 있었습니다.
- 저자들은 거리(easy, medium, hard)로 구분지어 success rate를 평가해봤습니다. 거리가 길어질수록 대부분 성능이 하락한 반면 저자의 최종 방법론만 높은 성능을 유지하였습니다. 이는 global hint가 먼거리 주행에 도움을 준다는 것을 보여줍니다.
Conclusion
저자들은 overhead map의 정보를 이용하여 local과 global 정보를 통합하였습니다(+더 정교한 BEV 투영). 이를 이용해 높은 성능향상을 취했지만, 저자들은 overhead map의 각도차이, 지형정보 mismatch등의 문제가 여전히 남아있다고 합니다. 그래서 UAV를 통해 실시간 real-time aerial view를 얻는 것으로 대체하면 좋겠다~로 마무리 짓고 있습니다.
