Resilient hybrid MV AC/DC distribution through coordinated MMC control for adaptive DC fault current limiting and dynamic stability

다국어 초록 (Multilingual Abstract)

Hybrid medium-voltage AC/DC (MV AC/DC) distribution networks provide enhanced efficiency and controllability while enabling compact integration of DC native resources and loads. However, converter-dominated operation increases vulnerability to rapid DC fault current escalation and to dynamic stability degradation. Existing approaches typically rely on hardware-intensive solutions such as full-bridge submodules or DC circuit breakers, or employ control strategies that lack formal constraint guarantees during severe transients. This dissertation proposes and validates a coordinated, software-centric control framework for half-bridge modular multilevel converters (HB-MMCs) that enhances DC fault ride-through (FRT) while limiting peak DC fault currents. By managing fault energy, the proposed framework relaxes the speed requirements
for DC protection, potentially enabling the use of cost-effective mechanical circuit breakers instead of ultra-fast hybrid or solid-state devices.
The first contribution is a safety-constrained model predictive control (MPC) layer for real-time DC fault current limiting and submodule energy management. The MPC explicitly enforces hard constraints (envelope bounds) on circulating current magnitude, submodule energy deviation, and AC-side power exchange. A momentum-accelerated projected-gradient solver with a fixed iteration budget, 120 iterations during normal operation, scaled to 420 during fault conditions, enables bounded, deterministic runtime execution at the converter control rate. This preserves effective control action during rapid transient and recovery.
The second contribution is a reinforcement learning (RL) supervisory layer based on Twin Delayed Deep Deterministic Policy Gradient (TD3), which adapts selected MPC meta-parameters, objective weights and envelope limits, to accommodate diverse operating conditions and model uncertainty, while retaining hard-constraint enforcement in the MPC inner-loop. The RL supervisor is trained via curriculum learning over representative MVDC contingencies and deployed with bounded action spaces to maintain stability of the hierarchical architecture.
A high-fidelity electromagnetic transient (EMT) test bench of a point-to-point MVDC link was used to validate the proposed framework. Across the tested fault resistance range (0.1–20 Ω), peak fault currents were reduced by 7.46% to 24.33% relative to PI-based vector control (VC). The TD3 supervisor achieved an additional 18.9% peak current suppression relative to fixed-parameter MPC under severe fault conditions. These results demonstrate that software-enabled FRT offers a viable alternative to hardware-based fault current limiting, providing a verifiable pathway towards adaptive resilience across diverse fault severities and operating conditions, and positioning hybrid MV AC/DC distribution systems to meet the reliability and resilience demands of future converter dominated distribution networks.

국문 초록 (Abstract)

하이브리드 중전압 AC/DC(MV AC/DC) 배전망은 DC-네이티브 자원 및 부하를 컴팩트하게 통합할 수 있게 하면서 효율과 제어성을 향상시킨다. 그러나 컨버터 지배형 운전은 DC 고장전류의 급격한 상승과 동적 안정도 저하에 대한 취약성을 증가시킨다. 기존 접근법은 통상적으로 하드웨어 집약적 해법(풀브리지 서브모듈 또는 DC 차단기)에 의존하거나, 심각한 과도 구간에서 정형적 제약 보장이 결여된 제어 전략을 사용한다. 본 학위논문은 하프브리지 모듈형 멀티레벨 컨버터(half-bridge modular multilevel converter, HB-MMC)를 대상으로, DC 고장 시 운전 지속(fault ride through, FRT) 성능을 향상시키는 동시에 피크 DC 고장전류를 제한하는 협조된 소프트웨어 중심 제어 프레임워크를 제안하고 검증한다. 제안 프레임워크는 고장 에너지를 효과적으로 관리함으로써 DC 보호의 요구 동작속도를 완화하며, 초고속 하이브리드 또는 반도체 차단기 대신 비용 효율적인 기계식 차단기의 적용 가능성을 잠재적으로 열어준다.
첫 번째 기여는 실시간 DC 고장전류 제한 및 서브모듈 에너지 관리를 위한 안전 제약 기반 모델 예측 제어(safety-constrained model predictive control, MPC) 계층이다. 해당 MPC는 순환전류 크기, 서브모듈 에너지 편차, 그리고 AC 측 전력 교환에 대해 하드 제약(포락선 경계, envelope bounds)을 명시적으로 강제한다. 정상 운전 시 120회 반복을 수행하고 고장 조건에서는 420회까지 확장되는, 고정 반복 예산을 갖는 모멘텀 가속 투영 경사 솔버를 통해 컨버터 제어 주기에서 유한하고 결정론적인 실행시간을 보장한다. 이는 급격한 과도 및 복구 구간에서도 유효한 제어 작용을 유지하도록 한다.
두 번째 기여는 Twin Delayed Deep Deterministic Policy Gradient(TD3) 기반의 강화학습 (reinforcement learning, RL) 감독 계층으로, 다양한 운전 조건과 모델 불확실성을 수용하기 위해 선택된 MPC 메타-파라미터(목적함수 가중치 및 엔벨로프 제한)를 적응적으로 조정한다. 이때 MPC 내부 루프에서는 하드 제약 강제를 그대로 유지한다. RL 감독기는 대표적인 MVDC 고장 시나리오들을 대상으로 커리큘럼 학습을 통해 훈련되며, 계층형 아키텍처의 안정성을 유지하기 위해 제한된 행동공간으로 실시간 운용에 적용된다.
제안 프레임워크의 검증을 위해 점대점(point-to-point) MVDC 링크에 대한 고정밀 전자기 과도(electromagnetic transient, EMT) 시험벤치를 구축하였다. 고장 저항 범위 0.1–20 Ω에서, 피크 고장전류는 PI 기반 벡터 제어 대비 7.46%에서 24.33%까지 감소하였다. 또한 심각한 고장 조건에서 TD3 감독기는 고정 파라미터 MPC 대비 피크 전류를 추가로 18.9% 더 억제하였다. 이러한 결과는 소프트웨어 기반 FRT가 하드웨어 기반 고장전류 제한의 실현 가능한 대안임을 보이며, 다양한 고장 심각도 및 운전 조건에 걸친 적응형 회복탄력성으로의 검증 가능한 경로를 제공한다. 더 나아가, 하이브리드 MV AC/DC 배전 시스템이 미래의 컨버터 지배형 배전망이 요구하는 신뢰도 및 회복탄력성 요구를 충족하도록 하는 데 기여할 수 있음을 시사한다.

목차 (Table of Contents)

• 1. Introduction 1
• 1.1. Context: The Shift Towards Hybrid MV AC/DC Grids and DER Integration 1
• 1.2. Motivation: Need for Enhanced Efficiency, Controllability, and Resilience 2
• 1.3. Problem Statement 3
• 1.4. Research Goal and Objectives 4
• 1.5. Thesis Contributions 5
• 1.6. Thesis Organization 7
• 2. Literature Review and Background 8
• 2.1. Hybrid MV AC/DC Distribution Network Concepts 8
• 2.2. Modular Multilevel Converter (MMC) 10
• 2.2.1. The DC Fault Challenge in Half-Bridge MMC Systems 13
• 2.2.2. Analysis of DC Fault Current Dynamics in the HB-MMC Topology 13
• 2.2.3. Fault Ride-Through (FRT) vs. Fault Blocking 16
• 2.3. DC Fault Current Limitation (FCL) in MV Systems 17
• 2.4. Advanced Control Methodologies 19
• 2.4.1. Model Predictive Control (MPC) 19
• 2.4.2. Reinforcement Learning (RL) 26
• 3. Model Predictive Control for DC fault Current Limiting 34
• 3.1. Introduction 34
• 3.2. MMC System Modeling 35
• 3.2.1. Continuous-Time State-Space Model 35
• 3.2.2. Discrete-Time Model Formulation 39
• 3.3. Multi-Criteria DC Fault Detection 44
• 3.4. Predictive Horizon Formulation 48
• 3.4.1. Lifted System Representation 48
• 3.4.2. Adaptive Horizon Selection 50
• 3.5. Multi-Objective Cost Function Design 51
• 3.5.1. Tracking Objective 52
• 3.5.2. Control Effort Penalties 53
• 3.5.3. Power Regulation Objective 55
• 3.5.4. Virtual Impedance for Damping 55
• 3.5.5. Energy Rate Objective 57
• 3.5.6. Adaptive Weight Scheduling 58
• 3.5.7. Total Cost Function 59
• 3.6. Constraint Formulation 60
• 3.6.1. Modulation Constraints 60
• 3.6.2. Power and Energy Constraints 62
• 3.6.3. Common-Mode Feasibility Constraints 63
• 3.7. Quadratic Program Structure and Solution 64
• 3.7.1. Standard QP Formulation 64
• 3.7.2. Projected Gradient Descent Solver 65
• 3.8. Implementation 68
• 4. Reinforcement Learning-Enhanced MPC for Resilient DC Fault Management in Half-Bridge MMCs 69
• 4.1. Introduction 69
• 4.2. Hybrid RL-MPC Architecture 70
• 4.2.1. Control Hierarchy and Information Flow 70
• 4.2.2. MPC as Nominal Controller and RL as Adaptive Weight Scheduler 72
• 4.3. Action Space formulation 73
• 4.3.1. Identified Tunable MPC Parameters 73
• 4.3.2. Action Bounds and Safety Constraints 74
• 4.4. Observation Space formulation 75
• 4.4.1. Design Requirements for State Representation 75
• 4.4.2. Plant State Components (9D) and MPC Performance Indicators (11D) 76
• 4.5. Reward Function Design 78
• 4.6. Twin Delayed Deep Deterministic Policy Gradient (TD3) Algorithm 80
• 4.6.1. Motivation for TD3 over DDPG 80
• 4.6.2. Actor-Critic Architecture 80
• 4.6.3. Loss Functions 82
• 4.7. Curriculum Learning Strategy 83
• 5. Simulation Studies and Results 85
• 5.1. Simulation Environment &Test System Configuration 85
• 5.1.1. Point-to-Point MVDC Link Configuration 85
• 5.1.2. Baseline Control Implementation 86
• 5.1.3. Fault Scenarios and Test Matrix 87
• 5.2. Autonomous MPC Performance Under DC Faults 88
• 5.2.1. Steady state verification 89
• 5.2.2. Low-Impedance Fault Response 90
• 5.2.3. Sensitivity to Fault Resistance 91
• 5.2.4. AC side sensitivity 92
• 5.2.5. Remote Fault and Multi-Terminal Considerations 93
• 5.2.6. Constraint Activation Analysis 95
• 5.2.7. Solver Convergence and Determinism 98
• 5.3. RL-Enhanced MPC Performance and Adaptation 101
• 5.4. Discussion 102
• 6. Conclusions 105
• References 107
• Korean Abstract 116