Outlier Detection with Information Centrality on Transformer Representation Space = 트랜스포머 잠재 공간 위 정보 중심도를 활용한 이상 탐지

다국어 초록 (Multilingual Abstract)

Outlier detection and high-dimensional data analysis are both highly active research areas, with ever-growing interest and demand in fields of Machine Learning and Data Science. In this study, we demonstrate an outlier detection via information centrality: a method using a graph centrality measure as a feature indicating a deviation of a test sample. First, we show a continuity result of the test effective conductance, of which the test information centrality consists. Then we present an application of the test information centrality, with an experiment on representation vectors of real ECG data generated by the Event Reconstruction JEPA, a self-supervised learning (SSL) method for a multivariate time series. Additionally, we will have an intervening section where we demonstrate that Event Reconstruction JEPA shows a performance on par with state-of-the-art SSL models with greatly reduced computational resources, made available by its two-fold hierarchical structure, with the first part constructing a summarized representation, a temporal representative of channels, and the second part taking the temporal representation as a univariate time series input.

국문 초록 (Abstract)

이상 탐지와 고차원 데이터 분석은 활발히 연구되는 분야로서, 기계학습과 데이터 분석 분야에서 끊이지 않는 관심과 요구를 받고 있다. 본 연구는 정보 중심도를 사용한 이상 탐지에 관해 연구한다. 정보 중심도는 그래프 노드의 중심도 평가 지표 중 하나로서, 본 연구에서는 정보 중심도를 이상 탐지 지표로 활용한다. 먼저 정보 중심도와 관련된 지표인 유효 전도성의 연속성에 대한 증명을 보이고 실험을 통해 정보 중심도의 활용을 다룬다. 실험에서는 실제 심전도 데이터를 자기 지도 학습 인공지능 모델을 통해 변환시킨 벡터를 사용한다. 사용된 자기 지도 학습 모델은 “사건 재구성 공동 임베딩 예측 모델”로, 다변량 시계열 분석을 목적으로 하며 2중의 계층적 구조를 사용함으로써 첨단의 자기 지도 학습 모델과 비슷한 성적을 매우 적은 비용으로 달성한다. 모델의 두 부분 중 첫째는 각 변량이 요약된, 시간에 대한 벡터 표현을 학습하며 둘째는 그 시간에 대한 벡터 표현을 단변량 시계열로 취급하듯 입력으로 받아 데이터를 처리한다. 실험의 이해를 위해서 이와 같은 해당 모델의 설명을 논의 중간에 다룬다.

목차 (Table of Contents)

• Abstract i
• 1. Introduction 1
• 2. Preliminaries 4
• 2.1 Graph 4
• 2.2 Effective Resistance of Electrical Network 6
• 2.3 Electrocardiogram 7
• 2.4 Transformer Architecture 9
• 3. Continuity Result for Test Effective Conductance 11
• 3.1 Introduction 11
• 3.2 Combinatorics on Graph Laplacian 12
• 3.3 Effective Resistance 19
• 3.4 k-ϵ Neighbourhood 22
• 3.5 Test Effective Conductance 35
• 4. Event Reconstruction JEPA on ECG 44
• 4.1 Introduction 44
• 4.2 Background 46
• 4.2.1 Electrocardiogram 46
• 4.2.2 Self-Supervised Learning 49
• 4.2.3 Joint Embedding Predictive Architecture 51
• 4.3 Event Reconstruction JEPA 55
• 4.3.1 Core Structure 57
• 4.3.2 Model Structure: Forward Pass 58
• 4.3.3 Model Structure: Channel JEPA & Temporal JEPA 61
• 4.4 Implementation 63
• 4.4.1 Tokenization and Pre-Embedding 63
• 4.4.2 Masking Strategy 65
• 4.4.3 Positional Encoding 68
• 4.4.4 Further Specifics 69
• 4.5 Experiment 70
• 4.5.1 Data & Training 71
• 4.5.2 Performance 73
• 4.5.3 Discussion & Further Work 77
• 5. Information Centrality as a Feature for Outlier Detection 87
• 5.1 Introduction 87
• 5.2 Spectral Embedding 90
• 5.2.1 Introduction 90
• 5.2.2 Problem of Spectral Embedding 94
• 5.2.3 Stability of Spectral Embedding 95
• 5.2.4 Kernel View of Spectral Embedding 97
• 5.3 Information Centrality 102
• 5.3.1 Connection with the Spectral Embedding 105
• 5.4 Algorithm 107
• 5.5 Experiment 109
• 5.5.1 High dimensional Sphere 110
• 5.5.2 Transformer Representation of ECG Data 111
• 국문 초록 121