Reinforcement Learning-Based Parallel Compressor Control Strategy to Reduce Fluctuations in the Tank of a Large-Scale HVAC System = 대형 공조 설비 저장 용기의 압력 산포 저감을 위한 강화학습 기반 병렬 압축기 제어 전략 제시

다국어 초록 (Multilingual Abstract)

This study analyzes the causes of storage-tank pressure fluctuations in HVAC system based on real plant operational data, and proposes a reinforcement-learning-based parallel compressor control strategy to mitigate such fluctuations. For policy learning, we adopt a model-free reinforcement learning approach with TD3 that can directly optimize control policies from data. Training was first conducted using the May operational dataset, which represents high-disturbance conditions, so that the agent could learn a stabilization policy under severe pressure fluctuations. The learning environment was then switched to the February dataset to verify adaptability under distribution shifts caused by seasonal and operating-mode changes. Generalization performance was evaluated on the April dataset, which was not used for training. As a result, on the test period the tank-pressure error was reduced to an MAE of 3.44 kPa and the peak-to-peak variation within 100 s windows was reduced to 12.5 kPa, demonstrating that the RL-based policy can contribute to tank-pressure stabilization even in environments with frequent operator interventions and operating-mode changes.

국문 초록 (Abstract)

본 연구는 반도체 생산 공정의 HVAC 시스템에서 저장 탱크 압력 변동을 저감하기 위해, 실제 설비 운전 데이터를 기반으로 변동 원인을 분석하고 강화학습 기반의 병렬 압축기 제어 전략을 제안하였다. 제어 정책 학습을 위해 연속 상태·행동 공간에서 동작하며 비선형성과 불확실성이 큰 조건에서도 데이터로부터 직접 정책을 최적화할 수 있는 모델-프리 강화학습을 채택하고, 학습 안정성과 샘플 효율성이 검증된 TD3 알고리즘을 적용하였다. 학습은 외란 강도가 큰 5월 운전 데이터를 초기 학습 구간으로 설정하여 압력 변동이 큰 상황에서 안정화 정책을 우선 학습하도록 하였고, 이후 2월 데이터로 학습 환경을전환하여 계절 및 운전 모드 변화에 따른 분포 이동 하에서의 적응성을 검증하였다. 또한 학습에 사용하지 않은 4월 데이터를 테스트 구간으로 설정하여 일반화 성능을 평가하였다. 그 결과, 테스트 구간에서 탱크 압력 오차는 MAE 3.44 kPa, 100 s 윈도우 기준 Peak-to-Peak 12.5 kPa 수준으로 저감되어, 조업 개입 및 운전 모드 변화가 빈번한 환경에서도 강화학습 기반 정책이 탱크 압력 안정화에 기여할 수 있음을 확인하였다.

목차 (Table of Contents)

• Abstract 1
• Table of Contents 2
• List of Tables 3
• List of Figures 4
• 1. Introduction 5
• 1.1 Research Background 5
• 1.2 Motivation
• 2. Methodology 12
• 2.1. Hybrid modelling environment 12
• 2.1.1 Compressor model 13
• 2.1.2 Plant model 16
• Plant model component – Dryer 17
• Filter and Supply boundary 19
• 2.2 Model-free reinforcement learning 20
• 2.2.1 Markov Decision Process 20
• 2.2.3 Reinforcement learning pipeline 22
• 2.2.2 Learning algorithm: TD3 [12] 23
• 2.3 Episode selection 25
• 3. Results 26
• 3.1 Baseline training on May data 26
• 3.2. Action saturation and failure mode 26
• 3.3 Reward modification 29
• 3.4. Seasonal domain adaption 29
• 3.5. Evaluation 31
• 4. Conclusions 32
• Bibliography 35