Data-efficient Offline Reinforcement Learning for Safe and Explainable Chemical Process Control = 데이터 효율적 오프라인 강화학습을 통한 안전하고 설명 가능한 화학 공정 제어

국문 초록 (Abstract)

강화학습은 환경과의 상호작용을 통해 최대 보상을 얻을 수 있는 행동 정책을 학습하는 방법이지만, 실제 화학 공정에서는 단 한 번의 불안정한 동작도 큰 경제적 손실이나 안전사고로 이어질 수 있으므로, 실험적 탐색을 수반하는 온라인 강화학습의 적용은 현실적으로 어렵다. 이에 본 논문은 공정 모델 없이 기 확보된 운전 데이터만으로 제어 정책을 학습하는 오프라인 강화학습 기반 접근법을 제안하며, 안전성·효율성·해석 가능성을 동시에 달성하는 방법론을 연구하였다.

첫째, 과거 공정 운전 데이터를 효율적으로 활용하기 위해 의사결정 트랜스포머(Decision Transformer, DT)를 공정 제어용으로 재설계한 ChemDT를 제안하였다. 데이터 전처리 파이프라인을 구축하고, 외란과 불확실성을 고려해 확률적 행동을 출력하도록 구조를 수정하였다. 또한 출력 변동성을 감시하고 완화하기 위해 안정성 모니터링 변수 λ를 도입하고, 정책 출력을 소프트 업데이트하는 안정화 전략을 설계하였다. 그 결과, 연속 교반 탱크 반응기(CSTR) 에서는 기존 오프라인 강화학습 알고리즘들보다 정확한 출력 제어를, 유가식(Fed-batch) 페니실린 발효 반응기에서는 유의미하게 향상된 생산 수율과 누적 보상을 보여주었다. 제어 궤적에 약간의 잔 진동이 존재하지만, 각 학습 실행 간의 분산은 비교적 작게 유지되어 두 벤치마크 모두에서 무작위 교란 조건에서도 안정적인 학습 성능을 보였다. 특히 복잡한 데이터 전처리 없이도 데이터 토큰 자체로부터 시계열적 특성을 정교하게 학습하여, 트랜스포머 기반 시퀀스 모델링이 공정 동역학을 유연하게 포착하고 빠른 제어 신호 전환이 가능함을 확인하였다.

둘째, 제한된 데이터를 보다 효과적으로 활용하기 위해 그래프 기반 운전 영역 분할 기법을 제안하였다. 공정 데이터를 그래프 형태로 변환한 뒤, 그래프 어텐션 네트워크(GAT) 인코더와 상호정보량(MI) 기반 손실함수를 결합하여 비지도 클러스터링 프레임워크 (GATE) 를 구축하였다. 연속 교반 탱크 반응기에서는 상태값의 절대 크기와 관계없이 안정·불안정 정상상태 근방을 의미적으로 구분하였으며, 유가식 발효 공정에서는 데이터 분할 결과가 생물학적으로 의미 있는 네 가지 성장 단계 (유도기, 대수기, 정지기, 사멸기) 전환과 일치함을 확인하였다. 또한 그래프 어텐션 가중치 분석을 통해 각 영역의 주요 변수 간 상호작용을 해석할 수 있었고, 그 결과 제안한 알고리즘이 시계열적·인과적 정보를 고려해 운전 영역을 자율적으로 탐지함을 확인하였다.

셋째, 분할된 영역 정보를 오프라인 강화학습 구조에 통합한 전문가 혼합 형태 Q 트랜스포머 (Mixture-of-Experts Q-Transformer, MOEQT)를 구현하였다. 각 영역별 Q 트랜스포머를 학습하고, GATE 모듈에서 얻은 소속도를 가중치로 사용하여 영역별 Q 추정값을 집계한 뒤, 정책 에이전트가 이를 기반으로 행동을 산출하도록 구성하였다. 연속 교반 탱크 반응기에서는 운전 구간별 적절한 Q 헤드 전환을 통해 ChemDT 및 기존 오프라인 강화학습 알고리즘 대비 진동이 크게 감소한 매끄러운 셋포인트 추종을 달성하였고, 유가식 발효 공정에서는 운전 도중 성장 단계간 전환 시점을 적절히 포착하여 Q 헤드 전환이 일어나면서 전략적인 운전이 실행된 결과, 높은 수율과 낮은 시행 간 분산을 유지하며 특히 안정적인 특성을 보였다. 전반적으로 ChemDT보다 즉각적인 반응성은 약간 낮지만, MOEQT는 특히 운전 영역의 경계 전환 구간에서 더 높은 안정성과 해석 가능성을 확보하였다.

종합하면, 본 연구는 공정 모델에 의존하지 않고 한정된 데이터만으로도 효과적인 오프라인 강화학습 제어기를 구현할 수 있는 방법론을 제시하였다. ChemDT는 빠른 의사결정과 유연한 제어가 필요한 공정에 적합하며, GATE–MOEQT는 안정성과 해석 가능성이 요구되는 안전 중심형 공정에 유용한 대안으로 작동한다. 두 접근법은 상호 보완적인 스펙트럼을 형성하며, 데이터 효율성과 안정성을 균형 있게 결합한 화학 공정 제어용 오프라인 강화학습의 포괄적인 프레임워크를 제시한다.

다국어 초록 (Multilingual Abstract)

Reinforcement learning (RL) optimizes action policies through interaction with an environment; however, in chemical processes, even a single unstable action can result in significant economic losses or safety incidents, making exploratory online RL impractical. Accordingly, this thesis proposes an offline RL–based framework that learns control policies solely from pre-collected operation data without explicit process models, aiming to achieve safety, efficiency, and interpretability simultaneously.

First, this thesis proposes ChemDT, a redesigned Decision Transformer (DT) tailored for chemical process control. The architecture is modified to generate stochastic actions in the presence of pervasive random disturbances and uncertainty. To further suppress output volatility, a stability monitoring variable, λ, is introduced together with a soft-update stabilization strategy. On the CSTR-based Van de Vusse reactor, ChemDT reduced control error and exhibited precise setpoint control compared with conventional offline RL, while on the penicillin fed-batch reactor, it improved product yield and cumulative reward under the volume constraint. Although there exist some oscillatory behaviors on its control trajectory, the variance across each training run remained relatively small, confirming stable learning performance even under random disturbances in both benchmarks. Notably, the model accurately captured temporal dependencies directly from data tokens without complex preprocessing, demonstrating that transformer-based sequence modeling can flexibly represent process dynamics and enable rapid control.

Second, to utilize limited data more effectively, a graph-based operating-regime segmentation method is proposed. Process data is transformed into graph structures and encoded through a Graph Attention Network (GAT), combined with a mutual-information (MI) based loss to construct an unsupervised clustering framework. In the CSTR benchmark, the method semantically distinguished neighborhoods of stable and unstable steady states regardless of the magnitude of state variables. In the fed-batch process, the resulting clusters corresponded closely to the biologically meaningful four-phase transitions—Lag, Exponential, Stationary, and Death phases. Analysis of graph attention revealed key interactions among process variables in each regime, confirming that the proposed algorithm autonomously detects operating regions while accounting for both temporal and causal relationships.

Third, a mixture-of-experts Q-Transformer (MOEQT) is implemented by integrating the discovered regime information into the offline RL structure. Each regime-specific Q-head is trained independently, and its Q estimates are aggregated using the membership scores obtained from the GATE module, from which a policy agent derives control actions. In the CSTR benchmark, appropriate Q-head switching across operating regions achieved smoother and less oscillatory setpoint tracking compared with ChemDT and other offline RL algorithms. In the fed-batch process, Q-head transitions were triggered during phase changes, leading to a strategic operation that maintained high yield and low rollout variance, achieving particularly stable control. Overall, although MOEQT showed slightly lower responsiveness than ChemDT, it achieved higher stability and interpretability, especially near operation regime boundaries.

In summary, this thesis demonstrates practical pathways to effective offline RL control from limited process data alone, without relying on explicit modeling. ChemDT serves as a fast and flexible solution for processes requiring agile decision-making, whereas the GATE–MOEQT framework provides a stable and interpretable alternative suited for safety-critical operations. Together, these approaches form a complementary continuum, presenting a comprehensive offline RL framework for chemical process control that balances data efficiency with operational stability.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• 1.1. Motivation 1
• 1.2. Statement of Contributions 3
• 1.3. Outline of the Thesis 6
• Chapter 2. Backgrounds and Preliminaries 8
• 2.1. Online RL 8
• 2.2. Offline RL 10
• 2.3. Decision Transformer 12
• 2.4. Graph Attention Transformer 15
• 2.5. Chemical process benchmarks 18
• 2.5.1. CSTR: Van de Vusse reactor 18
• 2.5.2. Fed-batch reactor: penicillin fermentation 26
• Chapter 3. Model-Free, Data-Driven Chemical Process Control via Sequence Modeling Approach 31
• 3.1. Introduction 31
• 3.2. ChemDT: a stochastic sequence modeling approach for chemical process control 33
• 3.2.1. Overall framework 33
• 3.2.2. Data preprocessing 33
• 3.2.3. ChemDT algorithm 35
• 3.3. Benchmark system and model descriptions 44
• 3.4. Evaluation results and discussions 48
• 3.4.1. Analysis on the effect of λ regulation 48
• 3.4.2. Comparison with existing algorithms 55
• 3.5. Conclusion 66
• Chapter 4. Graph Attention-Based Identification of Semantic Regime in Process Operation Data 70
• 4.1. Introduction 70
• 4.2. GATE: Graph Attention Transformer based Encoding and Regime Partitioning 74
• 4.2.1. Overall framework 74
• 4.2.2. Data preprocessing: graph generation 77
• 4.2.3. GATv2-based encoder module 78
• 4.2.4. Loss metrics and final objective 81
• 4.2.5. Remaining meaningful clusters via adaptive pruning strategy 84
• 4.2.6. Graph explanation 88
• 4.3. Benchmark system and model descriptions 90
• 4.4. Evaluation results and discussions 96
• 4.5. Conclusion 107
• Chapter 5. Regime-Aware Offline RL Framework Based on a Mixture-of-Experts Q-Transformer 111
• 5.1. Introduction 111
• 5.2. MOEQT: Mixture-of-Experts Q-Transformer 114
• 5.2.1. Overall framework 114
• 5.2.2. Q-Transformer module 117
• 5.2.3. Penalizing OOD data 119
• 5.2.4. Training strategy 121
• 5.3. Benchmark system and model descriptions 127
• 5.4. Evaluation results and discussions 131
• 5.5. Conclusion 154
• Chapter 6. Concluding Remarks 157
• 6.1. Summary of the contributions 157
• 6.2. Future works 161
• Bibliography 163
• 초록 169