잡음이 포함된 축산 환경 데이터 유효성 식별 : Multi-Head Networks를 이용한 새로운 비지도 학습 방법

다국어 초록 (Multilingual Abstract)

Detecting anomalies in multivariate time series sensor data across various domains like livestock farming, agriculture, the Internet of Things (IoT), and human activity recognition (HAR) presents significant challenges. These tasks require advanced machine learning techniques to handle data from multiple sensors and identify discrepancies effectively. Our research concentrates on crafting cutting-edge machine-learning solutions for this purpose, particularly in environments where sensor data often includes anomalies, complicating the identification of consistent patterns that account for both spatial and temporal relationships. We have developed an innovative method known as Dual detection and Prediction techniques "TimeTector-Twin-Branch Shared LSTM Autoencoder," which integrates multiple Multi-Head Attention mechanisms. This approach not only aids in accurately distinguishing between normal, abnormal, and noisy data but also reduces the likelihood of models drawing incorrect inferences from mixed noisy data during their training phase. Our Twin-Branch system enhances this capability by supporting simultaneous tasks like data reconstruction and prediction error analysis, which boosts efficiency in multi-task learning. We evaluated our model against several standard benchmarks in anomaly detection, utilizing our specific dataset. The outcomes indicate our model achieves lower error rates (MSE, MAE, RMSE) in reconstruction tasks and superior accuracy metrics (precision, recall, and F1 score) compared to baseline models. These results affirm that our approach significantly improves upon existing models in the field.

국문 초록 (Abstract)

축산, 농업, 사물 인터넷(IoT) 및 인간 활동 인식(HAR)과 같은 다양한 영역에서 다변수의 시계열 센서 데이터의 이상 징후를 감지하는 것은 중요한 과제입니다. 이러한 작업을 수행하려면 여러 센서의 데이터를 효과적으로 처리하고 불일치를 식별하기 위한 고급 기계 학습 기술이 필요합니다. 본 연구는 이러한 필요성을 위해 최첨단 기계 학습 솔루션을 제시합니다. 특히, 공간 및 시간 관계의 일관된 패턴을 식별하는데 복잡하게 하는 이상치를 포함한 환경 센서 데이터에 적용합니다. 본 연구는 여러 다중 헤드 주의 메커니즘을 통합하는 이중 감지 및 예측 기술 "TimeTector-Twin-Branch Shared LSTM Autoencoder"로 알려진 혁신적인 방법을 개발했습니다. 이 접근 방식은 정상 데이터, 비정상 데이터 및 잡음 데이터를 정확하게 구별하는 데 도움이 될 뿐만 아니라 모델이 훈련 단계에서 혼합된 잡음 데이터로부터 잘못된 추론을 이끌어낼 가능성을 줄입니다. 본 연구의 Twin-Branch 시스템은 데이터 재구성 및 예측 오류 분석과 같은 동시 작업을 지원하여 다중 작업 학습에서 효율성을 높입니다. 저희는 특정 데이터 세트를 활용하여 이상 감지의 여러 표준 벤치마크와 비교하여 모델을 평가했습니다. 본 연구의 결과는 모델이 기본 모델에 비해 재구성 작업에서 더 낮은 오류(MSE, MAE, RMSE)와 우수한 정확도 행렬(정밀도, 리콜 및 F1 점수)을 달성한다는 것을 나타냅니다. 이러한 결과는 저희의 접근 방식이 현장의 기존 모델을 크게 향상시킨다는 것을 확인시켜줍니다.

목차 (Table of Contents)

• ABSTRACT 1
• 국문 초록 3
• CHAPTER 1 INTRODUCTION 5
• 1.1 Motivation 12
• 1.2 Challenges 13
• 1.3 Thesis Contribution 14
• 1.4 Thesis Flow 16
• CHAPTER 2 AGRICULTURE LIVESTOCK 17
• 2.1 Past Work 17
• 2.2 Applications and Implications in IoT and Precision Agriculture 19
• CHAPTER 3 PRELIMINARIES 20
• 3.1 LSTM 20
• 3.2 EncoderDecoder AE 21
• 3.3 Multi-Head Attention Mechanism 22
• CHAPTER 4 METHODOLOGY 23
• 4.1 The Proposed TT-TBAD Method 24
• 4.2 Denoise Autoencoder DAE 24
• 4.3 Shared LSTM Encoder with Attention26
• 4.4 Attention Mechanism Phase 26
• 4.5 Multi-Head Attention 27
• 4.6 Hierarchical Multi-Head Attention 29
• 4.7 Cross-Multi-Head Attention 30
• 4.8 Feature-Enhanced Multi-Head Attention 31
• 4.9 Attention Score Calculation (ASC) 32
• 4.10 Reconstruct and Prediction Based on Encoded Representation with Attention 34
• 4.11 Reconstruction Branch 34
• 4.12 Prediction Branch 36
• CHAPTER 5 DATASET 37
• 5.1 Introduction to Indoor and Outdoor Dataset 37
• 5.2 Data Collection Method 38
• 5.3 Data Analysis and Correlation 42
• 5.4 Weather Station Correlation for outdoor 42
• 5.5 Indoor fattening barn Correlation 43
• 5.6 Weak Correlation 43
• CHAPTER 6 EXPERIMENTATION AND RESULTS AND DISCUSSION 44
• 6.1 Implementation Details 44
• 6.2 Implementation Details 45
• 6.3 Anomaly Detection and Prediction for the Indoor Fattening Barn Environment Dataset 49
• 6.4 Indoor comparative Analysis for Anomaly Detection 58
• 6.5 Detecting and predicting anomalies in outdoor weather forecasts 61
• 6.6 For Outdoor Environment, a comparative Analysis of Anomaly Detection 65
• 6.7 Discussion 68
• 6.8 Limitations and Assumptions 70
• CHAPTER 7 CONCLUSION 71
• REFERENCES 73