AI-driven Stochastic Control of Energy Systems = 에너지 시스템에 대한 인공지능 기반 확률론적 제어

국문 초록 (Abstract)

재생에너지 중심 에너지 시스템으로의 전 세계적인 전환은 재생에너지원과 사용자 행동의 내재적 불확실성으로 인해 상당한 운영상의 어려움을 일으킨다. 확률론적 모델 예측 제어 (SMPC)는 이러한 불확실성을 관리하기 위한 첨단 프레임워크로 인정받고 있다. 그러나 기존의 시나리오 기반 SMPC는 중대한 한계점을 보인다. 첫째, 시나리오 수가 증가함에 따라 계산 부하가 상당히 증가하여, 짧은 샘플링 주기를 갖는 실시간 적용이 어렵다. 둘째, 이 프레임워크는 긴 예측 구간을 처리하는 데 어려움이 있으며, 이는 장기 목표를 만족시키지 못하는 근시안적인 결정을 초래한다. 본 학위논문은 이러한 한계점을 극복하기 위해 세 가지 새로운 제어 프레임워크를 개발하는 것을 목표로 한다. 제안하는 프레임워크는 클러스터링, 심층 신경망, 강화학습을 포함한 인공지능(AI) 기술을 SMPC 구조와 통합하여 계산 효율성과 효과적인 장기 예측을 모두 달성했다.

첫째로, 자동차 전자 제어 장치에서 실시간 구현이 가능한 플러그인 병렬 하이브리드 전기차의 계산 효율적인 에너지 관리 전략을 개발하기 위해 주행 패턴 인식 네트워크-하이브리드 모델 예측 제어(DPRN-HMPC)를 제안했다. 이 프레임워크에서, k-평균 클러스터링은 과거의 휠 토크 수요 데이터를 유한한 수의 대표적인 주행 패턴으로 분류하는 데 활용된다. 이후 심층 신경망 분류기는 최근 차량 운행 데이터를 기반으로 가장 가능성 높은 주행 패턴을 예측하도록 학습되었다. 온라인 구현 단계에서 이 분류기는 단일의 미래 외란 경로를 MPC에 제공했다. DPRN-HMPC 프레임워크는 시나리오 기반 하이브리드 모델 예측 제어 (scHMPC) 대비 계산 시간을 77.3% 단축하여 실시간 적용 가능성을 확보했다. 나아가, 10개의 표준 주행 사이클에서 기준 선형 결정론적 모델 예측 제어 (LDMPC) 대비 평균 연비를 1.08% 향상했으며, 이는 계산 비용이 높은 확률론적 제어기와 비슷한 성능 수준이었다.

둘째로, 고정 경로를 주행하는 PHEV의 장기 예측을 구현하기 위해 적응형 참조 선택기 (Adaptive Reference Selector) 기반 확률론적 모델 예측 제어(ARS-SMPC)를 제안했다. 이 방식에서는, 방대한 양의 과거 주행 사이클 데이터셋에 대해 전역 최적 SOC 경로가 사전 계산된다. 주성분 분석과 k-medoids 클러스터링이 서로 다른 주행 조건과 이에 대응하는 최적 SOC 경로로 구성된 잠재 벡터를 생성하기 위해 활용되었다. ARS 모듈은 누적 주행 경로를 잠재 공간에 투영하고 가장 가까운 사전 계산된 medoid로부터 최적 SOC 참조를 선택하는 방식으로, 온라인상에서 현재 주행 조건을 주기적으로 식별한다. 이후 추종 SMPC는 단기적 불확실성을 관리하는 동시에 이 장기 지침을 따른다. 처음 접하는 실제 주행 사이클에서 ARS-SMPC는 완전한 미래 정보를 보유한 이론적 최적 제어 대비 0.9% 높은 연료 소비를 기록하여, 준최적(near-optimal) 성능을 입증했다. 또한 본 프레임워크는 선형 참조 경로를 따르는 MPC 대비 최종 SOC 오차를 92% 감소시키며 장기 목표를 성공적으로 달성했다.

마지막으로, MPC와 강화학습의 강점을 결합하여 그린 암모니아 생산 시스템을 위한 강건한 제어 전략을 개발하는 확률론적 Q-러닝 기반 모델 예측 제어(SQMPC)를 제안했다. 이 프레임워크에서, Deep Double Q-network(DDQN)은 고신뢰도 플랜트 모델을 기반으로 Q-function을 학습하도록 훈련되며, 이 Q-network는 짧은 예측 구간의 SMPC 내에 터미널 비용으로 통합된다. SMPC는 제약 조건의 명시적 만족을 보장하고 단기 외란을 관리하는 반면, Q-network 터미널 비용은 미래의 주기적인 암모니아 수요를 충족시키기 위한 결정을 안내하는 데 필요한 장기적 예측력을 제공한다. 시뮬레이션 결과, SQMPC는 기존의 비선형 MPC (NMPC), DDQN, QMPC 제어기에서 발생한 모든 암모니아 탱크 오버플로 및 수요 부족 사례를 제거하며, 테스트된 제어기 중 유일하게 제약 조건 위반 없는 운전을 달성함을 보였다. 또한 가장 낮은 총 운영 비용을 달성하여, 상당한 불확실성 하의 복잡한 산업 공정에서 우수한 경제적 성능과 강건성을 입증했다.

본 연구는 AI 방법론을 SMPC와 통합하는 것이 강력하고 실용적인 솔루션을 제공함을 성공적으로 입증했다. 이 접근법은 재생에너지 중심 에너지 시스템 제어에서 발생하는 계산 부담 및 근시안적 의사 결정이라는 중대한 문제를 해결했다. 제안된 프레임워크는 안전하고 효율적이며 고성능의 제어를 제공하며, 이는 미래 에너지 응용 분야에서 진보되고 강건한 자동화를 위한 기반을 마련한다.

다국어 초록 (Multilingual Abstract)

The global transition toward renewable-centered energy systems presents significant operational challenges stemming from the inherent stochasticity of renewable sources and user behavior. Stochastic model predictive control (SMPC) is recognized as a state-of-the-art framework for managing such uncertainties. Conventional scenario-based SMPC, however, exhibits critical limitations. First, its computational load increases substantially with the number of scenarios, rendering it impractical for real-time applications with short sampling intervals. Second, the framework struggles with long prediction horizons, which results in myopic decisions that fail to satisfy long-term objectives. This thesis aims to overcome these limitations by developing three novel control frameworks. The proposed frameworks strategically integrate Artificial Intelligence (AI) techniques, including clustering, deep neural networks, and reinforcement learning, with the SMPC structure to achieve both computational efficiency and effective long-term prediction.

First, a driving pattern recognition network-hybrid MPC (DPRN-HMPC) is proposed to develop a computationally efficient energy management strategy for plug-in parallel hybrid electric vehicles (PHEVs) feasible for real-time implementation on automotive electronic control units. In this framework, offline k-means clustering is utilized to categorize historical wheel torque demand data into a finite set of representative driving patterns. A deep neural network (DNN) classifier is then trained to predict the most likely driving pattern based on recent vehicle operation, subsequently providing a single future disturbance trajectory to the MPC during online implementation. The DPRN-HMPC framework reduced computation time by 77.3% compared to a scenario-based HMPC (scHMPC), ensuring real-time feasibility. Furthermore, the framework improved average fuel economy by 1.08% across ten standard driving cycles compared to a baseline linear deterministic MPC (LDMPC), achieving performance comparable to the computationally expensive stochastic controller.

Second, an adaptive reference selector-SMPC (ARS-SMPC) is proposed to enable long-term prediction for PHEVs on fixed routes. In this approach, globally optimal battery state of charge (SOC) trajectories are pre-computed for a large dataset of historical driving cycles. Principal component analysis (PCA) and k-medoids clustering are employed to create a latent vector of distinct driving conditions and their corresponding optimal SOC paths. The adaptive reference selector module periodically identifies the current driving condition online by projecting the accumulated trajectory into the latent space and selecting the optimal SOC reference from the closest pre-computed medoid. A tracking SMPC then follows this long-term guidance while managing short-term stochasticity. On an unseen real-world driving cycle, ARS-SMPC achieved fuel consumption only 0.9% higher than a prescient MPC (PMPC) with full future knowledge, demonstrating near optimal performance. The framework successfully met the long-term objective, reducing the terminal SOC offset by 92% compared to a nominal MPC that follows a linear reference.

Finally, a stochastic Q-learning-based MPC (SQMPC) is proposed, synergizing the strengths of MPC and reinforcement learning to develop a robust control strategy for a green ammonia production system. In this framework, a deep double Q-network (DDQN) is trained on a high-fidelity plant model to learn a Q-function, which is then integrated as the terminal cost within a short-horizon SMPC. The SMPC ensures explicit satisfaction of constraints and manages short-term disturbances, while the Q-network terminal cost provides the necessary long-term foresight to guide decisions toward meeting future periodic ammonia demands. Simulation results show that the SQMPC was the only controller tested to achieve violation-free operation, eliminating all instances of ammonia tank overflow and demand shortfall encountered by baseline NMPC, DDQN, and QMPC controllers. It also achieved the lowest total operational cost, demonstrating superior economic performance and robustness for a complex industrial process under significant uncertainty.

This research successfully demonstrates that integrating AI methodologies with SMPC provides a powerful and practical solution. This approach addresses the critical challenges of computational burden and myopic decision making in the control of renewable-centered energy systems. The proposed frameworks deliver safe, efficient, and high performance control, paving the way for advanced and robust automation in future energy applications.

목차 (Table of Contents)

• Abstract i
• 1. Introduction 1
• 1.1 Renewable Energy Systems 1
• 1.2 Research Motivation and Objective 2
• 1.3 Outline of the Thesis 4
• 2. Backgrounds and Preliminaries 6
• 2.1 Energy System 6
• 2.2 K-means Clustering and K-medoids Clustering 6
• 2.3 Principal Component Analysis 7
• 2.4 Stochastic Model Predictive Control 8
• 2.5 Reinforcement Learning 9
• 3. Stochastic Control of Hybrid Electric Vehicles using Pattern Recognition Network 11
• 3.1 Introduction 11
• 3.2 Plug-in Parallel Hybrid Electric Vehicle Control Problem 15
• 3.2.1 PHEV control structure 15
• 3.2.2 Battery dynamic model 16
• 3.2.3 Fuel consumption model 19
• 3.3 Model Predictive Control with Driving Pattern Recognition Network 20
• 3.4 Results and Discussion 27
• 3.4.1 Driving pattern recognition network 27
• 3.4.2 Simulation results 36
• 3.5 Conclusion 45
• 4. Stochastic Control of Hybrid Electric Vehicles with Adaptive Reference Selector 48
• 4.1 Introduction 48
• 4.2 Plug-in Parallel Hybrid Electric Vehicle System 52
• 4.2.1 PHEV control structure 52
• 4.2.2 Battery dynamic model 52
• 4.2.3 Fuel consumption model 53
• 4.2.4 Longitudinal dynamic model 55
• 4.3 Adaptive Reference Selector-based Stochastic Model Predictive Control 57
• 4.3.1 Overall framework 57
• 4.3.2 Offline procedure 57
• 4.3.3 Online procedure 61
• 4.4 Results and Discussion 67
• 4.4.1 PCA and clustering results 67
• 4.4.2 Sensitivity analysis on the number of segments 69
• 4.4.3 Simulation results using real-world driving cycle 72
• 4.4.4 Extension to variable distance scenario 74
• 5. Stochastic Q-learning-based Control for Green Ammonia Production 79
• 5.1 Introduction 79
• 5.2 Green Ammonia Production System Control Problem 83
• 5.2.1 Green ammonia production system control structure 83
• 5.2.2 Photovoltaic cells and wind turbine 84
• 5.2.3 Air separation unit 84
• 5.2.4 Cooler 86
• 5.2.5 Compressor 88
• 5.2.6 Electrolyzer 88
• 5.2.7 Haber-Bosch process 89
• 5.2.8 Battery energy storage system and storage tanks 90
• 5.3 Stochastic Q-learning-based Model Predictive Control 93
• 5.3.1 Overall framework 93
• 5.3.2 Deep double Q-network 94
• 5.3.3 SQMPC optimal control problem 99
• 5.4 Results and Discussion 100
• 5.4.1 Training of Q-network 100
• 5.4.2 Training of neural network-based plant model 105
• 5.4.3 Training of disturbance predictor 108
• 5.4.4 Simulation results 112
• 6. Concluding Remarks 118
• 6.1 Conclusions 118
• 6.2 Future Work 120
• Bibliography 122
• 초록 130