해당 논문은 아직 Under Review 중인 논문입니다. 이번에 할당받은 논문인데 어느정도 읽었기 때문에 리뷰를 진행합니다.
혹시 위의 사진을 보신적 있으신가요??
혹시 이런 동영상을 보신적 있으신가요?
기존 좋은 성능을 보이던 보행자 검출기들이 단순히 들고있는 저 사각형 패널때문에 성능저하가 일어난다면 믿어지시나요?
하지만 이는 현실입니다. 그리고 저 패널을 우리는 Adversarial Patch 라고 부릅니다. Adversarial 어디서 많이 들어본것같지 않으신가요?
네 실제 딥러닝 모델에 어떠한 노이즈가 들어가면 성능이 완전히 달라지는데, 이때 말하는 노이즈를 Adversarial attack이라 부르고 저런 노이즈를 딥러닝을 통해서 만들기도하며, 저러한 노이즈를 해결할 수 있는 더욱 강인한 딥러닝 모델을 만들기도 합니다. 실제 산업에서 딥러닝을 적용하기 위해서 이러한 문제는 반드시 해결되어야하는 문제입니다. 특히 보행자 검출기에서는 사람의 목숨과 직결되기 때문에 반드시 해결해야할 문제입니다.
자 그러면 Adversarial attack의 내용을 대략적으로 설명했다고 가정하고 기존 Adversarial attack과 관련된 연구들은 대부분 RGB도메인에서 이뤄졌습니다. 그도 그럴것이 많은 연구들이 RGB이미지를 기반으로 이뤄지고 있기 때문이죠. 제가 오늘 소개할 논문은 Thermal 도메인에서 RGB도메인과 같이 보행자 검출기의 성능을 크게 저하시키는 Adversarial Patch연구를 수행한 논문입니다.
위의 왼쪽 그림에서 왼쪽에 있는 사람은 보행자 검출기가 못찾고 있습니다. 그리고 왼쪽에 있는 사람은 특이한 패치를 들고있죠. 또 오른쪽 그림을 보시면 두 사람 모두 패치를 들고 있습니다. 다만 두 사람이 들고있는 패치가 다른것 같습니다. 이번 논문에서는 이 패치에 대해서 이야기하고 있습니다.
해당 논문의 Overview 입니다. 먼저 디지털 환경 즉 온라인 환경에서 기존에 공개된 데이터셋(FLIR 데이터셋)으로 보행자 검출기를 학습한 모델이 있습니다. 이때 모델은 YOLO v3를 사용했다고 합니다. 그리고 이 보행자 검출기 모델을 기반으로 해당 논문에서 제안하는 패치를 실제 보행자에 합성합니다. 그리고 모델의 성능을 평가하죠. 이때 패치는 다양한 Transformation module을 통해서 가장 성능저하를 크게 일으키는 패턴을 찾게 됩니다.
자 그러면 가장 성능저하를 크게 일으킬 수 있는 패치를 만들 수 있게되고, 실제 이러한 패치는 기존 YOLOv3 기반의 보행자 검출기 모델의 성능을 AP기준으로 64.12%나 감소시킵니다. 이는 아무런 패턴이 없는 일반 패치를 사용할때 29.69%가 감소한것에 비하면 자신들이 제안하는 패치가 효과적임을 이야기합니다.
여기서 그치지 않고 저자는 온라인에서 만들어진 패치를 실제 오프라인으로 제작합니다. 이때 하드보드지에 전구들을 사용하여 동일한 효과가 나타나도록 설계합니다.
바로 이렇게 말이죠.
그리고 이렇게 제작한 실제 패치는 실제 환경에서도 동일하게 작동함을 논문에서는 이야기하고 있습니다.
이 논문은 Thermal 이미지가 환경 강인성을 제공하기때문에 자율주행차와 같은 분야에서 RGB와 함께 많이 사용되고 있음을 이야기하면서, Thermal 기반의 모델들도 이러한 보안 문제를 해결해야할 필요성을 이야기합니다. 그리고 이런 보안문제 해결의 실마리를 제공하는 것이 자신들의 논문이라고 소개합니다.
이것으로 리뷰는 마치고, 더 자세한 내용은 세미나에서 진행하도록 하겠습니다.
