Scenario-Aware Rule-Conditioned Reinforcement Learning for Ethical Autonomous Driving = 규칙 조건부 심층 강화 학습을 이용한 상황 인지 기반 윤리적 자율주행

국문 초록 (Abstract)

자율주행 기술의 발전에도 불구하고, 복잡한 도심 환경에서는 보행자, 이륜차, 차량 등이 혼재된 상황에서 불가피한 충돌이 발생할 수 있다. 이때 자율주행차는 어느 객체의 위험을 우선적으로 줄이고, 어떤 위험을 상대적으로 감수할 것인지에 대한 윤리적 의사결정을 수행해야 한다. 본 연구는 이러한 문제를 단일한 고정 규칙이 아닌, 상황과 사회적 선호에 따라 조정 가능한 윤리 기준의 관점에서 다룬다.

이를 위해 윤리적 판단 기준을 명시적으로 표현하는 윤리 규칙을 정의하고, 이를 정책의 조건으로 활용하는 규칙 조건부 심층 강화 학습 프레임워크를 제안한다. 해당 프레임워크는 동일한 주행 장면에서도 규칙만 변경하면 정책의 의사결정 경향이 체계적으로 달라지도록 설계되었다. 윤리 규칙은 어린이 보행자, 성인/노인 보행자, 자차 승객, 기타 도로 이용자(타 차량, 이륜차 등)에 대한 상대적 중요도를 벡터 형태로 표현하며, 에이전트는 이 규칙을 기반으로 중요도가 높은 객체를 우선적으로 보호하면서 모든 도로 사용자의 부상 가능성을 최소화하도록 학습된다. 주행 상황 인식은 자율주행차의 전방 카메라를 통해 이루어지며, CNN 기반 인코더와 FiLM을 통해 윤리 규칙에 따라 특징 표현을 선형적으로 변조함으로써, 규칙이 주행 상황 해석에 직접적으로 작용하도록 하였다. 정책 학습은 PPO를 사용하였으며, Actor Network에는 FiLM 변조를적용했고 Critic Network에는 적용하지 않았다.

환경은 CARLA 기반 도심 건널목 시나리오로 구성하였으며, (1) 적절한 조향 및 감속을 통해 충돌을 회피할 수 있는 경우와, (2) 차선 구조 및 교통 밀도 등의 제약으로 충돌이 불가피한 경우의 두 가지 평가 시나리오를 설계하였다. 상태는 최근 K 프레임의 카메라 이미지를 시계열로 쌓은 텐서로 정의하였고, 행동은 조향 · 가속 · 제동을 조합한 9개의 이산 제어 기본 동작으로 단순화하였다. 보상 함수는 실제 교통사고 통계를 기반으로 한 중상 가능성(MAIS3+) 로지스틱 모델을 사용하였다. 각 객체의 특성에 따른 피해 가능성을 구분하여 도출하고, 윤리 규칙 벡터로 가중합한 총 피해 위험을 핵심 보상 항으로 정의하였다. 여기에 종 · 횡가속 기반 안정성 페널티와 주행 진행도 보상을 결합하여, 도로 이용자들의 안정성, 주행 안정성, 효율성을 모두 고려한 주행이 가능하게 했다.

실험에서는 어린이 우선과 자차 우선 두 가지 규칙 프리셋을 설정하고, 규칙 변경에 따른 보행자, 자차, 기타 도로 이용자의 충돌 위험과 보상 구성 요소의 변화 양상을 분석하였다. 규칙 변화에 따라 각 객체 유형의 위험 지표와 행동 경향이 체계적으로 달라짐을 확인하였으며, 이를 통해 제안된 프레임워크가 ’조정 가능한 윤리 기준’을 정책 수준에서 성공적으로 구현함을 입증하였다. 이는 사용자 선호나 특정 주행 상황에 기반하여 윤리적 기준을 설정하고, 이에 따라 자율주행 정책을 유연하게 조정할 수 있는 가능성을 제시한다.

다국어 초록 (Multilingual Abstract)

Despite recent advances in autonomous driving technology, unavoidable collisions can still occur in complex urban environments where pedestrians, two-wheelers, and vehicles coexist. In such situations, an autonomous vehicle must make ethical decisions about whose risk to reduce. This study addresses this problem not from the perspective of a single fixed rule, but through adjustable ethical standards that can be tuned according to context and social preferences.

To this end, we define explicit ethical rules that represent ethical priorities and propose a Rule-Conditioned Deep Reinforcement Learning framework that uses these rules as conditions for the policy. The framework is designed so that, even under the same driving scene, the decision-making tendency of the policy changes systematically when only the rule is switched. The ethical rule is represented as a vector encoding the relative importance of child pedestrians, adult/elderly pedestrians, ego-vehicle occupants, and other road users (such as other vehicles and two-wheelers). The agent learns to minimize the overall injury risk for all road users while prioritizing the protection of high-importance categories as indicated by the rule-vector. Scene understanding is performed via a front-facing camera, and a CNN-based encoder combined with FiLM (Feature-wise Linear Modulation) linearly modulates the feature representation according to the ethical rule, allowing the rule to directly influence scene interpretation and policy behavior. Policy learning is conducted with PPO (Proximal Policy Optimization), where FiLM modulation is applied only to the Actor network and not to the Critic network.

The environment is constructed using a CARLA-based urban crosswalk scenario, with two evaluation settings: (1) a case where collisions can be avoided through appropriate steering and deceleration, and (2) a case where collisions are unavoidable due to constraints such as lane structure and traffic density. The state is defined as a tensor formed by stacking the most recent K camera frames in temporal order, and the action space is simplified to nine discrete control primitives combining steering, acceleration, and braking. The reward function uses logistic models of serious injury probability (MAIS3+) derived from real-world traffic accident statistics. Injury risks are computed separately for each object type and aggregated into a total risk term via the ethical rule vector, which serves as the core component of the reward. This is combined with stability penalties based on longitudinal/lateral acceleration and a progress reward,
enabling driving behavior that simultaneously considers road-user safety, vehicle stability, and driving efficiency.

In the experiments, two rule presets Child-priority and Ego-priority are defined, and the effect of rule changes is analyzed in terms of collision risk and reward components for pedestrians, the ego vehicle, and other road users. The results show that risk indicators and behavioral tendencies for each object category change systematically with the ethical rule, demonstrating that the proposed framework successfully implements “Adjustable ethical criteria” at the policy level. This suggests that ethical standards can be configured based on user preferences or specific driving contexts, and that autonomous driving policies can be flexibly adapted accordingly.

목차 (Table of Contents)

• I INTRODUCTION 1
• 1.1 Overview 1
• 1.2 Decision Making with DRL in Autonomous Driving 4
• 1.3 Research Objectives 5
• 1.4 Thesis Outline 6
• 1.5 Thesis Contributions 7
• II BACKGROUND 10
• 2.1 Deep Reinforcement Learning 10
• 2.2 Multi-Objective Reinforcement Learning (MORL) 12
• 2.3 Feature-wise Linear Modulation (FiLM) 14
• 2.4 CARLA Simulator 17
• III Scenario Aware Rule Conditioned Reinforcement Learning for Ethical Autonomous Driving 20
• 3.1 Overview 20
• 3.2 Ethical Rule 22
• 3.3 CARLA-Based Simulation Environment 23
• 3.4 FiLM-Based Conditional Feature Modulation 30
• 3.5 Network Architecture (PPO) 32
• 3.5.1 Policy Network (Actor) 32
• 3.5.2 Value Network (Critic) 33
• IV Experimental Results 34
• 4.1 Experimental Setup and Implementation Details 34
• 4.2 Training Performance Analysis 36
• 4.3 Evaluation on Scenarios 37
• 4.3.1 Scenario 1: Avoidable Collision 37
• 4.3.2 Scenario 2: Unavoidable Collision (Ethical Dilemma) 40
• V Conclusion and Future Work 46
• 5.1 Summary of Research 46
• 5.2 Key Contributions and Findings 47
• 5.3 Limitations and Future Work 48
• References 50
• Abstract (In English) 55
• Abstract (In Korean) 58