하이브리드 자동차를 위한 강화학습 기반 에너지 관리 전략 개발 및 파라미터 튜닝

다국어 초록 (Multilingual Abstract)

In recent years, the rapid growth of the electric vehicle market has slowed because of chasm phenomenon. As a result, Hebrid Electric Vehicles (HEVs) are receiving renewed attention as a practical alternative. HEVs can be categorized into series, parallel, power-split configurations, among which the parallel architecture employs both an internal combustion engine and an electric motor as power sources. Depending on the motor position, parallel hybrids are further classified into configuration ranging from P0 to P4. This study adopts the P2 layout – one of the most widely commercialized architectures – in which the electric motor is positioned between the engine and the transmission. In the P2 configuration, the engine and motor can be operate independently, and therefore, vehicle performance and fuel efficiency are highly dependent on the applied control strategy. Consequently, establishing an effective Energy Management Strategy (EMS) is a ctrical facotr in determining the overall efficiency of such systems.
This study applies Model-Based Reinforcement Learning (MBRL) to design an optimal power-split control strategy and performs a comparative analysis with a conventional rule-based strategy. MBRL offers advantages over Model-Free Reinforcement Learning, including higher sample efficiency, faster computation, reduced uncertainty during training, and stronger real-time applicability—features that are particularly beneficial in complex and unpredictable real-world driving environments. In contrast, rule-based control provides simplicity and consistent performance regardless of driving conditions but shows limitations in capturing diverse operational scenarios. To examine the characteristics, limitations, and fuel-economy differences between the two approaches, both control strategies were evaluated under identical simulation conditions.
A forward-looking HEV simulation environment was developed in MATLAB/Simulink based on a detailed vehicle model. Using standard driving cycles, which are UDDS and HWFET, the performance of MBRL-based control and the conventional rule-based strategy was compared. The proposed approach incorporates the Dyna-Q algorithm, and extensive cost-function tuning was conducted to optimize fuel economy. The results demonstrate that the MBRL-based strategy achieves superior fuel-efficiency performance compared to the rule-based control method.

국문 초록 (Abstract)

최근 전기차 시장은 빠른 성장 이후 캐즘 현상에 직면하면서 성장세가 둔화되고 있으며, 이에 따라 대안으로서 Hybrid Electric Vehicle (HEV)에 대한 관심이 다시금 높아지고 있다. HEV는 구조적으로 직렬형, 병렬형, 그리고 동력 분기형으로 구분되며, 이 중 병렬형 하이브리드는 내연기관 엔진과 전기 모터라는 두 가지 동력원을 함께 활용할 수 있는 구조를 가진다. 특히 병렬형 하이브리드 시스템은 모터의 배치를 어떻게 하느냐에 따라 P0에서 P4까지 다양한 형태로 구분되는데, 본 연구에서는 가장 보편적으로 상용화된 엔진과 변속기 사이에 모터를 배치하는 P2 모드를 채택하였다. P2 구조는 엔진과 모터가 독립적으로 구동될 수 있어 제어 전략에 따라 주행 성능과 연료 효율성이 크게 달라진다. 따라서 이러한 시스템에서 효율적인 에너지 관리 전략 (Energy Management Strategy)의 수립은 차량의 성능을 좌우하는 핵심 요소로 자리한다. 본 연구에서는 모델 기반 강화학습 (Model-Based Reinforcement Learning)을 적용하여 최적의 동력원 분배 전략을 설계하고, 기존의 규칙 기반 제어 전략과 비교⦁분석을 수행하였다. 모델 기반 강화학습은 기존의 모델 프리 강화학습 (Model-Free Reinforcement Learning)에 비해 샘플 효율성이 높고 계산 속도가 빠르다는 장점을 가지며, 학습 과정에서 발생하는 불확실성을 줄이고 실시간성을 강화할 수 있다. 이러한 특징은 실제 차량 환경과 같이 예측 불가능한 요소가 많은 복잡한 시스템에서 특히 유리하다. 반면 규칙 기반 제어는 단순성과 환경과 무관하게 일정한 성능을 낸다는 장점이 있지만, 다양한 주행 조건을 잘 반영하지 못한다는 한계가 있다. 따라서, 본 연구에서는 모델 기반 강화학습과 규칙 기반 제어 전략을 동일한 조건에서 비교⦁분석하였으며, 각 방법의 특성과 한계, 그리고 연비 성능상의 차이를 도출하였다. 연구 수행을 위해 MATLAB/Simulink 환경에서 HEV 모델을 기반으로 전방향 (Forward) 차량 시뮬레이션을 개발하였다. 개발한 차량 시뮬레이션에 모델 기반 강화학습과 규칙 기반 제어 전략을 적용하여 주행 데이터를 비교 및 분석하고자 하였다. UDDS와 HWFET를 사용한 표준 주행 사이클을 적용하여 모델 기반 강화학습 기반 제어 전략과 기존 규칙 기반 전략을 비교하였다. 본 논문에서는 모델 기반 강화학습 알고리즘으로 Dyna-Q를 사용하였으며, 연비 최적화를 위한 여러 차례의 비용 함수 튜닝 과정을 거쳤다. 그 결과 제안된 방법이 연비 향상 측면에서 우수한 성능을 보임을 확인하였다.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1.1 연구 배경 1
• 1.2 선행 연구 동향 4
• 1.3 연구 목적 7
• Ⅱ. 본론 8
• 2.1 하이브리드전기차 시뮬레이션 모델 8
• 2.2 강화학습 알고리즘 23
• 2.2.1 강화학습 알고리즘 이론적 정의 24
• 2.2.2 하이브리드 전기차의 에너지 관리 전략을 위한 최적 제어 문제 정의 31
• 2.2.3 모델 기반 강화학습 32
• 2.2.4 하이브리드 전기차의 규칙 기반 제어 전략 38
• 2.3 시뮬레이션 결과 42
• 2.3.1 규칙 기반 제어 전략 시뮬레이션 결과 42
• 2.3.1.1 UDDS에 따른 규칙 기반 제어 전략 결과 43
• 2.3.1.2 HWFET에 따른 규칙 기반 제어 전략 결과 45
• 2.3.1.3 복합 주행 사이클에 따른 규칙 기반 제어 전략 결과 47
• 2.3.2 모델 기반 강화학습 제어 전략 시뮬레이션 결과 50
• 2.3.2.1 Learning rate α에 따른 MBRL 기반 제어 전략 결과 50
• 2.3.2.2 SOC 편차 계수 C_soc,reg에 따른 MBRL 기반 제어 전략 결과 54
• 2.3.2.3 Engine On/Off penalty Eng_on,cost에 따른 MBRL 기반 제어 전략 결과 58
• 2.3.2.4 power command penalty C_pwr에 따른 MBRL 기반 제어 전략 결과 64
• Ⅲ. 결론 67
• 참고문헌 69
• Abstract 73