안녕하세요. 이번에 리뷰로 가져온 논문은 ICML 2026에 게재된 EMBGUARD: Constructing Hazard-Aware Guardrails for Safe Planning in Embodied Agents라는 논문입니다. 해당 논문의 핵심만 먼저 간단하게 말씀드리면 embodied agent가 생성한 action을 실제로 실행하기 전에 해당 action이 물리적으로 안전한지를 검사하는 MLLM 기반 safety guardrail 모듈을 제안한 논문입니다.

바로 리뷰 시작하도록 하겠습니다.

Introduction

먼저 저자들은 최근 MLLM 기반 embodied agent가 복잡한 household task를 수행할 수 있게 되었지만 task completion에 집중한 나머지 실제 환경의 물리적인 위험을 놓칠 수 있다는 문제를 지적합니다.

예를 들어 로봇에게 창가에 있는 식물에 물을 주라는 지시문이 들어왔다고 했을 때, 이때 식물에 물을 주는 행동은 task 수행 관점에서는 올바른 플랜입니다. 근데 만약 식물 아래에 전원이 연결된 멀티탭이 있다면 동일한 행동이 감전의 위험을 발생시킬 수 있게됩니다. 즉, 여기서 저자들은 valid한 플랜이라고 해서 반드시 safe한 프랜인 것은 아니다 라고 주장합니다.

위 fig는 멀티탭의 존재 여부에 따라 동일한 식물 물주기 action이 Safe와 Risky로 달라지는 예시인데, 여기서 중요한 점은 멀티탭이라는 물체 자체가 항상 위험한 것은 아니라는 점입니다. 멀티탭을 다른 곳으로 옮기는 action은 안전하지만, 식물에 물을 주는 action은 물과 멀티탭이 상호작용하기 때문에 위험합니다.

그래서 결국 위험 판단은 단순히 이미지 안에서 위험해 보이는 물체를 찾는 문제가 아니라

\text{Scene}+\text{Action}\rightarrow \text{Risk}

형태로 현재 환경과 수행하려는 action을 함께 봐야 하는 문제다 라고 저자들은 주장합니다.

기존 embodied agent는 task 수행을 우선하면 위험을 놓치고, 반대로 safety를 지나치게 강조하면 실제로 안전한 행동까지 거부하는 문제가 발생할 수 있기 때문에, 저자들은 task policy가 직접 안전까지 모두 판단하도록 하지 않고, policy가 candidate action을 생성한 다음 별도의 EMBGUARD가 action을 검사하도록 구성합니다.

그리고 이외에 이 논문의 핵심 contribution은 EMBGUARD 모델뿐만 아니라 해당 모델을 학습시키기 위한 15.1K개의 image-action pair로 구성된 학습 데이터셋 EMBHAZARD와 329개의 실제 촬영 이미지로 구성된 평가 데이터셋 EMBGUARDTEST를 함께 제안했다는 점입니다.

Method

저자들이 제안한 EMBGUARD 모듈의 입출력 구조는 현재 RGB observation I와 policy가 생성한 candidate action a를 입력받는 구조이고 아래 세 가지 정보를 출력합니다.

\mathcal{R}(I,a)\rightarrow(r_{\text{bin}},r_{\text{type}},h)

여기서 r_{\text{bin}}은 action이 safe한지 unsafe한지를 나타내고, r_{\text{type}}은 Electrical Risk나 Fire Risk와 같은 위험 category를 의미한다라고 보시면 좋을 것 같습니다.

마지막 h는 위험의 원인이 되는 hazard에 대한 캡션정보라고 보시면 좋을 것 같습니다. 예를 들어 “감전될 수 있다” 와 같은 결과가 아니라, 식물 아래에 놓인 멀티탭이나 전원이 연결된 toaster처럼 이미지 안의 구체적인 물체나 상태를 설명하는 캡션이다라고 이해하시면 좋을 것 같습니다.

그래서 결국 EMBGUARD가 직접 action을 생성하는 것은 아니라 기존 policy가 생성한 action을 검사하고, 위험하다면 그 이유를 policy에 다시 전달하는 안전장치의 역할로 보시면 좋을 것 같습니다.

EMBHAZARD 데이터셋 구축

위 fig는 Risk taxonomy 정의부터 compositional augmentation, 이미지 생성 및 검증까지의 전체 데이터 구축 과정을 한번에 정리한 그림이고 사실 해당 그림이 거의 해당 논문의 전체를 압축요약했다고 보시면 됩니다.

intro 부분에서는 저자들이 뭔가 가드레일 모듈이라는 구조를 설계하고 제안한 것처럼 보이지만 사실 가드레일 모듈은 가드레일 목적에 맞게 파인투닝한 Qwen 모델이고 결국 해당 논문에 담겨있는 대부분은 이 파인튜닝을 위한 데이터 생성에 대한 내용이라고 보시면 좋을 것 같습니다. 해당 논문은 가드레일 모듈 학습을 위한 데이터 생성을 어떻게 할 것인가에 대한 내용에 초점을 둔 논문이라고 보시면 좋을 것 같습니다.

다시 돌아와서 데이터셋 구축은 크게 세 단계로 이루어집니다.

첫 번째 단계에서는 WHO ICD-11과 CPSC NEISS라는 관련 문서에 올라와있는 사고 데이터를 참고하여 household environment에서 발생할 수 있는 위험을 일곱 가지로 정의했다고 합니다.

위험 카테고리에는 위와 같이 7개로 정의했고, 저자가 말하길 Collision Risk는 motion planner나 collision avoidance policy가 처리해야 하는 영역이라고 보고 제외했다고 합니다. 그래서 EMBGUARD는 충돌 회피보다는 household manipulation에서 발생하는 위와 같은 7개 카테고리를 대상으로 합니다.

그리고 여기에 각 카테고리에 대해 총 24개의 위험 발생 패턴을 정의하고, 사람이 작성한 seed 시나리오를 GPT-5.1로 확장하여 총 2.4K개의 기본 시나리오를 만듭니다.

Compositional Scenario Augmentation

그리고 두번쨰 단계입니다. 저자들은 데이터를 만들 때 위험한 시나리오만 만드는 것이 아니라 hazard와 action을 각각 변경하여 네 가지 시나리오를 구성하고자 합니다. 그리고 저자들은 hazard를 scene graph로 표현하여 이러한 변화를 통제합니다. 예를 들어 식물과 멀티탭의 관계를 다음과 같은 triplet으로 표현합니다.

(\text{power strip},\text{beneath},\text{plant pot})

이렇게 구성하면 핵심 hazard 관계를 유지하면서 주변 물체를 추가하거나, action을 바꾸거나, hazard를 제거하기 용이하다고 합니다.

그리고 아래와 같은 데이터 agumentation 과정을 거칩니다.

먼저 Causal Risky Scenario는 식물 아래 멀티탭이 있고 식물에 물을 주는 것처럼, hazard와 action이 결합하여 실제 위험을 발생시키는 경우인데 이런 시나리오에서 좀 더 장면을 풍부하게 만들고자 Hazard와 관계없는 구성을 추가하여 Scene Graph를 확장 시킵니다.

그리고 Selective Risky Scenario는 한 scene 안에 여러 hazard가 있고 현재 action이 어떤 hazard와 상호작용하는지를 구분해야 하는 경우를 모델이 잘 학습하기 위한 시나리오로 현재 scen graph에 여러가지 다른 hazard 상황을 추가하여 데이터를 증강시킵니다.

그리고 Decoupled Benign Scenario는 hazard는 존재하지만 현재 action이 hazard와 상호작용하지 않는 경우입니다. 예를 들어 멀티탭이 있지만 식물에 물을 주는 대신 멀티탭을 옮긴다면 안전하기 때문에 이런 안전한 상황에 대해서도 모델이 잘 이해하기 위해서 Hazard와 관련된 요소는 잇지만 action 자체를 Hazard와 상관 없는 action으로 라벨링을 진행하여 데이터를 증강시킵니다.

마지막으로 Absent Benign Scenario는 동일한 action을 유지하면서 hazard만 제거한 경우입니다. 식물에 물을 주지만 아래에 멀티탭이 없다면 안전한 action이 되기 때문에 앞선 Decoupled Benign Scenario와 같이 안전한 시나리오에 대해서 학습하지만 이 경우는 action이 아닌 scene graph에서 위험한 Hazard 요소를 제거함으로써 안전한 데이터를 증강시켰다고 보시면 좋을 것 같습니다.

이러한 데이터 구성은 모델이 멀티탭이 보이면 위험하다라고 단순하게 외우는 것이 아니라, 현재 action이 해당 물체와 실제로 상호작용하는지를 학습하도록 만들 수 있다고 합니다.

Image Generation, 모델 학습

앞선 agumentation을 통해 생성한 scene graph는 GPT-5.1을 사용해 자연어 설명으로 변환하고, Gemini 3 pro image model을 통해 포토리얼리스틱한 이미지로 생성했다고 합니다.

근데 생성된 이미지가 scene graph의 관계를 정확하게 반영하지 않을 수 있기 때문에 검증차원에서 ”멀티탭이 식물 바로 아래에 있는가?”와 같은 VQA question을 자동으로 생성하여 관계를 검증합니다.(VQA question 생성도 Scene graph와 GPT를 통해 생성 ) 이를 통해 핵심 관계가 보존되지 않은 이미지는 제거하는식으로 필터링 합니다.

그래서 결과적으로 최종 EMBHAZARD는 8.7K개의 이미지와 15.1K개의 image-action pair로 구성되고, risky pair 7.8K개와 benign pair 7.3K개를 포함합니다.

그리고 평가용 EMBGUARDTEST는 앞선 생성한 synthetic image가 아니라 저자들이 실제 집과 연구실에서 직접 구성하고 촬영한 329개의 real-world image로 구성했다고 합니다.

그리고 EMBGUARD는 Qwen-3-VL 2B와 4B 모델을 EMBHAZARD로 파인튜닝 하여 학습합니다.

그리고 여기서 Vision encoder는 freeze하고 language model 부분을 중심으로 학습했다고합니다. 저자들은 vision encoder까지 학습하면 binary risk detection은 가능하지만 hazard를 구체적으로 설명하는 성능이 감소했다고 설명합니다.

Experiments

논문에서는 먼저 EMBGUARD 자체의 위험 판단 성능을 평가하고, 이후 EMBGUARD의 출력을 실제 planning policy에 제공했을 때 mitigation action 선택에 도움이 되는지를 평가합니다.

평가 지표는 세 가지입니다.

Potential Risk Accuracy는 safe와 unsafe를 구분하는 binary accuracy이고, Risk Type Accuracy는 위험 category를 맞추는 성능입니다. Hazard Accuracy는 이미지 안의 구체적인 hazard를 자연어로 정확하게 설명했는지를 평가합니다.

위는 EMBGUARD와 open/closed-source MLLM의 성능 비교결과입니다. 여기서 저자들은 4B의 작은 모델이 큰 모델과 비교적 경쟁력 있는 성능을 보인다고 주장합니다. 근데 여기서 절대적인 성능은 주의해서 볼 필요가 있는게 EMBGUARDTEST의 329개 sample 중 179개가 risky이기 때문에, 모든 sample을 risky라고만 예측해도 약 50퍼 이상의 accuracy가 나옵니다. 이부분에 대해서 저자들은 해당 가드레일 기술은 아직 더 발전해야할 부분이다라고 언급하고 넘어갑니다.

Over-conservative Bias 분석

Gemini 2.5 pro 모델 같은 경우는 risky scenario를 잘 찾는 대신 benign scenario도 위험하다고 판단하는 경향을 보입니다. 반면 EMBGUARD는 Decoupled Benign과 Absent Benign sample을 학습했기 때문에 이러한 false positive를 상대적으로 줄이는 모습을 보입니다.

또한 기존 MLLM은 불, 전기기기, 칼처럼 시각적으로 눈에 잘 띄는 Immediate Risk는 잘 탐지하지만 contamination이나 chemical exposure처럼 action 이후의 결과를 reasoning해야 하는 Causal Risk는 자주 놓치는 모습을 보입니다. 저자들이 분석하기를 모델이 물리적인 인과관계를 이해하기보다는 이미지 안의 위험해 보이는 물체에 의존하는 perceptual shortcut을 사용하고 있다라고 합니다.

그리고 위는 실제 사람 평가랑 비교 결과인데 현재 MLLM과 사람의 physical risk reasoning 사이에는 여전히 큰 차이가 존재한다는 점을 한계로 언급합니다.

Safe Planning 적용

다음 실험에서는 OmniGibson 기반의 IS-Bench에서 EMBGUARD를 실제 planning loop에 적용합니다.

IS-Bench의 161개 scenario 중 중간 실행 과정에서 safety condition을 만족해야 하는 59개 task를 사용하고 Policy는 OPEN, CLOSE, TOGGLE_ON, WIPE, CUT, POUR_INTO 등 17개의 semantic action primitive 중 하나를 선택하는 식으로 동작합니다.

각 trajectory에는 딱 하나의 risky step이 포함되어 있고 policy는 해당 action을 실행하기 전에 hazard를 제거하는 mitigation action을 수행해야 합니다. 예를 들어 상크대 안에 전기 블렌더가 있는 상황에서 싱크대를 닦으려고 한다면, 먼저 블렌더를 옆으로 옮긴 뒤 싱크대를 닦아야 하는 식의 평가를 한다고 보시면 좋을 것 같습니다.

위는 IS-Bench trajectory step에서의 가드레일 성능결과 입니다. Gemini-2.5-Pro는 위험한 step은 잘 잡지만 안전한 step까지 너무 많이 위험하다고 판단하기 때문에 Recall은 높게 나오고 Precision이 낮게 나오는 결과를 보입니다. EMBGUARD 도 마찬가지로 이런 FP 문제가 해결된 것은 아닌데 단순히 recall을 최대화하는 것이 아니라 safe와 unsafe를 균형 있게 판단해야 한다는 방향성을 보여주는 느낌입니다.

위는 가드레일 모듈의 출력의 정확도에 따른 mitigation action alignment와 성공,실패 사례를 보여준 결과 입니다. Risk type과 hazard가 모두 정확하면 policy의 mitigation action alignment가 가장 높게 나오는 결과를 보입니다.

Conclusion

정리하면 이 논문은 task planning과 safety reasoning을 하나 policy한테 안맡기고 safety를 별도의 modular 가드레일로 분리하자!라는 연구로 이해하시면 좋을 것 같습니다. 제가 생각에는 이 논문의 가장 중요한 노벨티가 scene과 action의 상호작용을 중심으로 위험을 정의한 데이터셋 설계에 있지 않았나 싶습니다. 그리고 이런 가드레일 모듈의 장점은 기존 policy를 다시 학습시키지 않고도 action 실행 전에 safety layer를 추가할 수 있다는 점인거 같고 단순한 safe/unsafe 판단을 넘어 risk type과 hazard를 설명하기 때문에 어느 정도 해석 가능성도 제공한다는 점에서 이런 부분이 기존 연구들과의 차이점이지 않나 싶습니다. 근데 사실 리포팅된 성능만 봤을 때에는 한계가 더 명확한 것 같습니다. 현재 이런 가드레일 연구가 많이는 없지만 슬슬 Embodied Agent 관련 기술이나 서비스들이 등장하게 된다면 이런 연구도 많이 진행되지 않을까 싶습니다.

이만 리뷰 마치도록 하겠습니다. 감사합니다.