Semi-supervised Early Fault Detection of Rolling Bearing using Anomaly Transformer with Frequency-Domain Analysis : 주파수 영역 분석 및 Anomaly Transformer를 활용한 준지도 학습 기반 회전 베어링 초기 결함 탐지에 대한 연구

다국어 초록 (Multilingual Abstract)

Vibration signals from rotating bearings exhibit strong periodicity, very high sampling rates, and subtle spectral variations, which distinguish them from general time-series data. These characteristics make the transformer model based on time-domain inefficient, as they hard to learn rotation-level patterns or require excessively long input sequences. In addition, although anomaly attention detects anomalies by modeling relationships between time points, it is difficult to distinguish normal and abnormal behavior at individual time steps in high-resolution vibration signals. This study aims to address these limitations and develop an early bearing fault detection method optimized for transformer-based anomaly detection. In this study, we propose a preprocessing framework that generates frequency-domain sequences suitable for transformer architectures by segmenting the signal into rotational units and converting each segment into a frequency-domain vector. The proposed method applies a sliding-window processing based on rotation unit, performs a fast Fourier transform (FFT) to obtain its spectral representation, and constructs token sequences that allow anomaly attention to learn long-term and inter-rotation relationships efficiently. This approach captures rotation-level characteristics and long-term dependencies without requiring extremely long sequences, while also reducing computational cost. The model computes anomaly scores using reconstruction error and the discrepancy between prior and series associations, which aligns more closely with both the properties of bearing vibration data and the structural intent of anomaly attention. Experimental results show that the proposed method provides more stable and improved anomaly detection performance compared with the time-domain anomaly transformer, demonstrating its effectiveness for early fault detection in rotating machinery.

국문 초록 (Abstract)

회전 베어링의 진동 신호는 강한 주기성, 매우 높은 샘플링 속도, 미세한 스펙트럼 변화 등의 특징을 가지며, 이는 일반적인 시계열 데이터와 구별되는 성질을 갖는다. 이러한 특성 때문에 시간 영역에서 훈련된 트랜스포머 모델은 회전 단위의 패턴을 효과적으로 학습하기 어렵거나 매우 긴 입력 시퀀스를 학습해야 하는 비효율성이 발생한다. 또한 anomaly attention은 시계열 내 각 시점들 간의 관계를 기반으로 이상을 탐지하는 구조이지만, 고해상도 진동 신호의 경우 시간 영역에서 개별 시점 단위로 정상·비정상을 구분하는 것은 모호하기 때문에, 의미 있는 정보를 충분히 반영하기 어렵다는 한계가 있다. 본 연구는 이러한 한계를 완화하고 트랜스포머 기반 이상 탐지 구조에 최적화된 초기 베어링 결함 진단을 목표로 한다. 이를 위해, 회전 단위를 기준으로 진동 신호를 분할하고 각 구간을 주파수 영역 벡터로 변환하여 트랜스포머 기반 모델에 적합한 주파수 도메인 시퀀스를 생성하는 전처리 프레임워크를 제안한다. 제안된 방법은 슬라이딩 윈도우로 회전 구간을 나눈 뒤 고속 푸리에 변환(FFT)을 적용하여 각 회전을 주파수 벡터로 표현하고, 이들을 기반으로 토큰 시퀀스를 구성하여 anomaly attention이 회전 간 장기적 관계를 효율적으로 학습하도록 한다. 이 과정은 매우 긴 길이의 시퀀스를 사용하지 않고도 회전 단위를 고려한 특징과 장기 의존성을 명확하게 반영할 수 있으며, 계산 비용도 크게 줄일 수 있다. 모델은 prior-series 연관성 간의 차이와 재구축 오차를 기 반으로 이상 점수를 계산하며, 이는 회전 베어링 데이터의 특성 및 anomaly attention의 구조적 의도에 비교적 더 부합한다. 실험 결과, 제안된 방법은 시간 영역 anomaly transformer보다 더 안정적이고 개선된 이상 탐지 성능을 보였으며, 회전 기계의 초기 결함 탐지에 효과적인 접근 방식임을 확인하였다.

목차 (Table of Contents)

• 1 Introduction 1
• 2 Conventional Deep Learning Approaches for Fault Detection 4
• 2.1 Autoencoder-based approach 5
• 2.2 Convolution-based approach 6
• 2.3 Recurrence-based approach 8
• 2.4 Transformer 12
• 2.4.1 Self-attention 12
• 2.4.2 Transformer architecture 17
• 3 Anomaly Transformer 20
• 3.1 Model architecture 21
• 3.2 Anomaly attention 22
• 3.3 Association discrepancy with Kullback-Leibler divergence 24
• 3.4 Minimax strategy and anomaly detection 26
• 4 Proposed Method 30
• 4.1 Sliding window processing with fast Fourier transform 32
• 4.2 Anomaly attention using frequency-domain sequences 36
• 4.3 Anomaly scoring based on reconstruction and association discrepancy 42
• 5 Experiments 44
• 5.1 Intelligent Maintenance Systems bearing dataset 44
• 5.1.1 Dataset description 44
• 5.1.2 Experimental setup 45
• 5.1.3 Result of the experiment 52
• 5.2 Jiangnan university bearing dataset 55
• 5.2.1 Dataset description and experimental setup 55
• 5.2.2 Result of the experiment 57
• 6 Conclusion 59
• Bibliography 61
• Acknowledgement 66