Three-tier federated learning and stacking ensemble for adaptive anomaly classification under distribution shifts

다국어 초록 (Multilingual Abstract)

As the paradigm of Industry 4.0 accelerates the digital transformation of smart manufacturing, the utilization of massive, high-dimensional sensor data generated from Cyber-Physical Systems (CPS) has become paramount for predictive maintenance. However, traditional centralized processing approaches face critical structural limitations, including data privacy violations, network bandwidth saturation, and prohibitive latency in real-time analysis. Moreover, the inherent heterogeneity of industrial data often leads to data silos, hindering the development of robust global models. To address these multi-faceted challenges, this study proposes a novel three-tier hierarchical Federated Learning (FL) architecture consisting of Cloud, Anchor, and Edge layers. This topology is designed to mimic the physical hierarchy of manufacturing systems, maximizing analytical efficiency while securely isolating sensitive raw data within edge devices. Specifically, to overcome the performance limitations of conventional weight-averaging methods in non-IID environments, a Stacking Ensemble technique is introduced at the anchor layer. In this scheme, a meta-model iteratively re-learns the non-linear relationships based on time-series features extracted by local 1D-CNN models. This approach effectively corrects the bias inherent in single models and ensures predictive robustness against noise. Furthermore, to actively respond to Concept Drift caused by frequent changes in production processes and equipment wear, a Dynamic Edge Reallocation mechanism based on the Wasserstein distance was implemented. This adaptive protocol allows edge nodes to autonomously reconfigure their learning paths by identifying and associating with anchors that share the most similar statistical characteristics, thereby minimizing performance degradation due to distribution shifts and ensuring long-term operational stability. Experimental results demonstrate that the proposed architecture achieves an anomaly classification accuracy of 0.7438, representing a significant improvement of approximately 33% compared to standard 1D-CNN-based federated learning (accuracy 0.5585). This substantial gain verifies the system's efficacy in identifying complex, non-linear anomaly patterns that single-tier models fail to capture. Additionally, the architecture recorded an inference speed approximately 6.3 times faster than centralized Random Forest models, confirming it as a powerful, lightweight alternative that meets the strict real-time requirements of manufacturing sites. In conclusion, this study presents a next-generation integrated framework for intelligent manufacturing management that simultaneously satisfies the critical requirements of data security, analytical precision, and adaptive capability in non-stationary environments.

국문 초록 (Abstract)

인더스트리 4.0 패러다임이 스마트 제조의 디지털 전환을 가속화함에 따라, 사이버-물리 시스템(CPS)에서 생성되는 방대한 고차원 센서 데이터의 활용은 예지 보전을 위해 필수적인 요소가 되었다. 그러나 기존의 중앙 집중식 데이터 처리 방식은 데이터 프라이버시 침해, 네트워크 대역폭 포화, 그리고 실시간 분석에 있어 허용하기 힘든 지연과 같은 치명적인 구조적 한계에 직면해 있다. 더욱이 산업 데이터의 내재적 이질성은 빈번히 '데이터 사일로' 현상을 초래하여 강건한 글로벌 모델 개발을 저해한다. 이러한 다각적인 문제를 해결하기 위해, 본 연구는 클라우드(Cloud), 앵커(Anchor), 엣지(Edge) 계층으로 구성된 새로운 3계층 계층적 연합 학습 아키텍처를 제안한다. 이 토폴로지는 제조 시스템의 물리적 계층 구조를 모방하여 설계되었으며, 민감한 원시 데이터를 엣지 디바이스 내에 안전하게 격리 보호하면서도 분석 효율을 극대화한다. 구체적으로, 비독립 동일 분포 환경에서 기존의 가중치 평균 방식이 갖는 성능 한계를 극복하기 위해 앵커 계층에 스태킹 앙상블 기법을 도입하였다. 이 기법에서는 로컬 1D-CNN 모델이 추출한 시계열 특징을 기반으로 메타 모델이 비선형 관계를 반복적으로 재학습함으로써, 단일 모델에 내재된 편향(Bias)을 효과적으로 보정하고 노이즈에 대한 예측 강건성을 확보한다. 더불어, 잦은 공정 변경 및 설비 노후화로 인한 디스트리뷰션 시프트에 능동적으로 대응하기 위해, Wasserstein distance 기반의 동적 엣지 재할당메커니즘을 구현하였다. 이 적응형 프로토콜은 엣지 노드가 통계적 특성이 가장 유사한 앵커를 식별하여 학습 경로를 자율적으로 재구성하게 함으로써, 분포 변화로 인한 성능 저하를 최소화하고 장기적인 운영 안정성을 보장한다.
실험 결과, 제안된 아키텍처는 0.7438의 이상 분류 정확도를 달성하였으며, 이는 표준 1D-CNN 기반 연합 학습(정확도 0.5585) 대비 약 33% 향상된 성능으로, 단일 계층 모델이 포착하기 어려운 복잡한 비선형 이상 패턴을 식별하는 데 있어 시스템의 효용성을 입증한다. 또한, 중앙 집중식 랜덤 포레스트 모델 대비 약 6.3배 빠른 추론 속도를 기록하여, 제조 현장의 엄격한 실시간성 요구사항을 충족하는 강력하고 경량화된 대안임을 확인하였다. 결론적으로, 본 연구는 비정상환경에서도 데이터 보안, 분석 정밀도, 그리고 적응형 능력을 동시에 만족시키는 차세대 지능형 제조 관리 통합 프레임워크를 제시한다.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• Chapter 2. Background 7
• 2.1. Manufacturing Management System 7
• 2.2. Federated Learning 10
• 2.3. Anomaly Classification 14
• 2.4. Stacking Ensemble 18
• Chapter 3. Related Work 21
• 3.1. Federated Learning in Smart Manufacturing 21
• 3.2. Handling Data Distribution Shifts in Federated Learning 23
• 3.3. Ensemble Learning for Anomaly Detection 25
• Chapter 4. Adaptive Federated Learning Framework 27
• 4.1. Overall Architecture 28
• 4.2. Model Training with Stacking Ensemble 34
• 4.3. Time Series Data Distribution Shifts 37
• 4.4. New Time Series Data Input 42
• Chapter 5. Experiments 45
• 5.1. Experimental Setting 45
• 5.2. Dataset and Preprocessing 49
• 5.3. Performance Metrics and Visualization 54
• 5.4. Results 56
• 5.4.1. Comparison of Federated Learning Aggregation Algorithm 56
• 5.4.2. Comparison of Centralized Training and Typical Federated Learning 70
• 5.4.3. Comparison of Ensemble Models 77
• 5.4.4. Comparison of Similarity Evaluation Methods 88
• 5.4.5. Comparison of Distribution Metrics 93
• 5.4.6. Sensitivity Analysis of Threshold 96
• 5.5. Discussion 99
• Chapter 6. Conclusion 102
• 6.1. Research Results 102
• 6.2. Limitations and Future Research 105
• References 108
• Korean Abstract 119