Dueling DQN 기반 시계열 데이터 이상 점수 산출 = Dueling DQN Based Anomaly Score Estimation for Time-Series Data

국문 초록 (Abstract)

제조 공정에서 수집되는 시계열 데이터는 정상 구간이 압도적으로 우세하고 이상 패턴이 극히 드물게 나타나는 불균형 구조를 가진다. 이러한 환경에서는 전체 정확도보다 실제 이상을 놓치는 2종 오류를 최소화하는 것이 중요한 성능 목표가 된다. 본 연구는 이러한 문제들을 완화하기 위해 Dueling Deep Q-Network(Dueling DQN)를 활용하여 경보/통과 행동 간 상태 가치 차이를 이상 점수로 정의하는 강화학습 기반 이상탐지 방식을 제안한다. 제안 모델은 Dueling 구조를 통해 상태 가치와 행동 간 상대적 차이를 분리해 추정하고, 2종 오류 패널티를 반영한 보상 함수를 통해 정책이 2종 오류 감소를 우선적으로 학습하도록 구성하였다. 학습된 이상 점수는 검증 단계에서 산정된 임계값과 결합하여 최종 이상 여부를 판단한다. 두 종류의 제조 시계열 데이터를 대상으로 한 실험 결과, 제안 방식은 정상·이상 구간의 분포 중첩을 완화하는 경향을 보여, 재구성오차 기반 이상 점수보다 일관된 판단 기준을 제공하였다. 이를 통해 강화학습 기반 이상 점수 재정의가 제조 시계열 이상탐지에서 기존 재구성 기반 모델의 대안을 제시할 수 있음을 확인하였다.

다국어 초록 (Multilingual Abstract)

Manufacturing time-series data exhibit a highly imbalanced structure in which normal patterns dominate and anomalous events occur extremely rarely. In such environments, minimizing Type II errors (False Negatives), rather than maximizing overall accuracy, becomes the critical performance objective. To address this challenge, this study proposes a reinforcement learning–based anomaly detection method that employs a Dueling Deep Q-Network (Dueling DQN) and defines an anomaly score as the Q-value difference between the alert and pass actions. The dueling architecture enables the model to separately estimate the state value and the relative advantage between actions, while the reward function incorporates the cost of False Negatives to guide the policy toward suppressing FN occurrences. The learned anomaly score is combined with a threshold determined in the validation phase to classify anomalies during inference. Experiments on two types of manufacturing time-series data show that the proposed method reduces the overlap between normal and abnormal score distributions, providing a more consistent decision boundary compared to reconstruction-error-based anomaly scores. These results demonstrate that redefining anomaly scores via reinforcement learning can serve as an effective alternative to traditional reconstruction-based approaches in manufacturing time-series anomaly detection.

목차 (Table of Contents)

• 목 차
• [그림 차례] i
• [표 차례] ii
• [수식 차례] iii
• 제 1 장 서 론 1
• 1.1 연구 배경 1
• 1.2 연구 목적 및 방법 2
• 제 2 장 선행 연구 3
• 2.1 이상탐지 기법 개요 3
• 2.2 시계열 이상탐지 연구 동향 4
• 2.3 강화학습 기반 이상탐지 연구 5
• 제 3 장 이론적 배경 6
• 3.1 AutoEncoder 6
• 3.2 시계열 모델 7
• 3.2.1 Recurrent Neural Network 7
• 3.2.2 Long Short-Term Memory 8
• 3.3 LSTM-AE 9
• 3.4 강화학습 10
• 3.4.1 Q-Learning 11
• 3.4.2 Deep Q-Network 12
• 3.4.3 Dueling Deep Q-Network 13
• 제 4 장 모델 설계 15
• 4.1 이상 점수 정의 15
• 4.1.1 AutoEncoder 기반 이상 점수 15
• 4.1.2 LSTM-AE 기반 이상 점수 16
• 4.1.3 Dueling DQN 기반 이상 점수 16
• 4.2 MDP 구성 18
• 4.3 보상 함수 설계 20
• 제 5 장 실 험 23
• 5.1 데이터 23
• 5.1.1 HRSS 시계열 데이터 23
• 5.1.2 사출성형기 제조 공정 시계열 데이터 24
• 5.2 비교 모델 25
• 5.3 성능 지표 26
• 5.4 실험 환경 27
• 5.5 실험 결과 29
• 제 6 장 결론 및 향후과제 35
• 6.1 결론 35
• 6.2 향후 과제 36
• [참고 문헌] 37