Deep Reinforcement Learning and Neural Modeling for Continuous-Time Dynamical Systems = 연속시간 동역학 시스템에서의 강화학습 및 신경망 모델링

국문 초록 (Abstract)

본 논문에서는 연속 시계열 동역학 시스템을 다루기 위한 두 가지 딥러닝 프레임워크를 제안한다. 첫 번째 프레임워크는 딥 Q-러닝을 활용하여 인간면역결핍바이러스(HIV) 치료를 위한 구조화된 치료 중단(Structured Treatment Interruption, STI) 스케줄을 최적화하며, 두 번째 프레임워크는 신경망 기반의 편미분방정식(PDE) 해 연산자 학습을 통해 연속 시계열 모델링을 수행한다.

먼저, 본 연구에서는 우선순위 경험 재생(Prioritized Experience Replay)을 결합한 이중 Q 신경망(PER-DDQN)를 제안하여 HIV 환자에 대한 최적 STI 요법을 도출한다. 6차원 상태의 ODE 모델로 표현된 HIV 동역학 환경과 상호작용하며 누적 할인 보상을 극대화하도록 학습한다. 실험을 통해 PER-DDQN이 5일 치료 구간에서 최첨단 방법 대비 총 할인 보상을 약 5배 향상시키며, 높은 계산 복잡성으로 인해 여러 문헌에서 시도되지 않았던 1일 치료 구간 제어에도 성공했음을 확인하였다.

다음으로, 본 논문에서는 연속 시간을 다룰 수 있는 푸리에 신경망 연산자(Fourier Neural Operator, FNO)의 확장 형태인 연속시간 푸리에 신경망 연산자(CTFNO)를 제안한다. CTFNO는 사전 정의된 시간 격자나 반복 계산 없이도 데이터로부터 직접 PDE 해 연산자를 학습할 수 있다. 이론적 분석을 통해 보편적 근사성(universality)과 안정성(stability)을 보장함을 입증하였으며, 합성 데이터 및 실제 시계열 데이터에 대한 광범위한 실험 결과 CTFNO가 기존 DE 기반 모델을 능가하는 예측 정확도와 일반화 성능을 보임을 확인하였다.

이와 같이, 본 논문에서 제안된 두 프레임워크는 개인 맞춤형 치료 프로토콜 최적화를 위한 강화학습 방법론과 연속 시계열 모델링을 위한 신경망 연산자 기법을 함께 발전시킨다. 이를 통해 불규칙 시계열 예측, 보간 및 기타 과학·공학 응용 분야에 즉시 적용 가능하며, 견고하고 해석 가능한, 계산 효율적인 도구를 제공한다.

다국어 초록 (Multilingual Abstract)

In this thesis, we propose two deep learning frameworks for continuous‐time dynamical systems: one for optimizing structured treatment interruptions (STI) in human immunodeficiency virus (HIV) therapy via deep Q‐learning, and another for continuous time-series modeling by learning PDE solution operators via neural networks.

First, we develop PER-DDQN, a modified double deep Q network with prioritized experience replay, to optimize STI regimens for HIV patients. By interacting with a six-compartment ODE model of HIV dynamics, PER-DDQN maximizes cumulative reward. Numerical experiments demonstrate it achieves five times the total discounted reward of state-of-the-art methods in five-day treatment segments and successfully controls one-day regimens, which have not been previously addressed in the literature due to computational complexity.

Second, we introduce CTFNO, a continuous-time Fourier neural operator that learns PDE solution operators directly from data without requiring predefined time grids or iterative solvers. We provide theoretical guarantees of universal approximation and stability, and show through extensive benchmarks that CTFNO outperforms existing differential-equation-based models on both synthetic and real-world time-series data.

Collectively, these contributions advance deep reinforcement learning for personalized healthcare protocols and neural operator techniques for general dynamical modeling, offering robust, interpretable, and efficient tools for irregular time-series prediction, interpolation, and beyond.

목차 (Table of Contents)

• 1 Introduction 1
• 1.1 Optimal STI Controls for HIV Patients 2
• 1.2 Continuous-Time Fourier Neural Operator 4
• 2 Optimal STI Controls for HIV Patients based on an Efficient Deep Q Learning Method 7
• 2.1 Problem Formulation for HIV Infection 7
• 2.2 Deep Q Network with PER 11
• 2.3 Numerical Results 18
• 3 Learning PDE Solution Operator for Continuous Modeling of Time-Series 29
• 3.1 Background 29
• 3.2 Continuous-Time PDE Solution Operator 31
• 3.3 Experiments 39
• 3.4 Related Works 61
• 3.5 Proof of Universal Approximation 63
• 3.6 Further Experimental Results 72
• 4 Conclusion 76