Automatic Sleep Stage Detection Using a Multi-Channel Convolutional Bi-LSTM Network = 다중 채널 Convolutional Bi-LSTM 네트워크를 사용한 자동 수면 단계 감지

국문 초록 (Abstract)

수면 품질을 모니터링하기 위해 널리 사용되는 방법은 수면다원검사(PSG)를 통한 수면 단계 분류입니다. 기계 학습 및 딥러닝을 사용하여 수면 단계를 자동적으로 분류하는 기술이 크게 진전되었음에도 불구하고, 대부분 단일 채널의 뇌파(EEG), 안전도(EOG) 및 근전도(EMG) 신호 분석에 초점을 맞추고 있습니다. 자동적으로 수면 단계를 분류하는 표준 모델을 개발하는 것은 여전히 활발한 연구 주제입니다. 단일 채널의 신호를 사용하는 경우 데이터의 비효율성과 왜곡 문제로 인한 어려움을 종종 겪습니다. 반면에 다수 채널의 신호를 기반으로 하는 분류기는 이러한 문제를 완화하고 더 나은 성능을 달성할 수 있습니다. 그러나 다수 채널의 신호를 입력으로 하는 신경망 모델을 학습시키려면 그만큼 많은 계산 리소스가 요구되므로 성능과 계산 리소스 간의 균형을 무시할 수 없습니다. 본 논문에서는 자동 수면 단계 분류를 위해 PSG 기록의 여러 채널(EEG Fpz-Cz, EEG Pz-Oz, EOG, EMG)에서 수집된 데이터의 시공간적 특징을 효율적으로 활용할 수 있는 다중 채널 컨벌루션 양방향 LSTM(Bi-LSTM) 네트워크를 제안합니다. 먼저, 두 개의 서로 다른 PSG 기록 채널의 정보를 사용하여 이중 채널 컨벌루션 Bi-LSTM 네트워크 모듈을 훈련합니다. 그런 다음 수면 단계를 감지하기 위해, 전이 학습 개념을 사용하여 서로 다른 두 개의 이중 채널 컨볼루션 Bi-LSTM 네트워크 모듈을 결합합니다. PSG 기록의 두 채널에서 공간 특성을 추출하기 위해 이중 채널 컨볼루션 Bi-LSTM 모듈에 2계층 컨볼루션 신경망을 사용하였습니다. 이와 같이 추출된 공간 특징은 풍부한 시간적 상관 특징을 추출하고 학습하기 위해 결합되어 Bi-LSTM 네트워크의 모든 계층에 입력으로 제공됩니다. 본 연구에서는 Sleep EDF-20 및 Sleep EDF-78(Sleep EDF-20의 확장 버전) 데이터 세트를 사용하여 제안하는 모델의 성능을 평가하였습니다. EEG Fpz-Cz + EOG 모듈과 EEG Fpz-Cz + EMG 모듈로 구성된 모델이 Sleep EDF-20 데이터 세트에서 가장 높은 정확도(ACC), Kappa(Kp) 및 F1 점수(각각 91.44%, 0.89%, 88.69%)로 수면 단계를 분류하였습니다. 반면, Sleep EDF-78 데이터 세트에서는 EEG Fpz-Cz + EMG 모듈과 EEG Pz-Oz + EOG 모듈로 구성된 모델이 다른 조합에 비해 최고의 성능(ACC, Kp, F1 점수 값이 각각 90.21%, 0.86%, 87.02%)을 보여주었습니다. 그리고 제안하는 모델의 성능을 기존의 다른 연구들과 비교한 결과를 또한 제시하였습니다.

다국어 초록 (Multilingual Abstract)

Automatic identification of sleep stages is crucial for quality assessment of sleep as well as sleep disorder diagnosis. In the traditional clinical setup, sleep staging involves recording overnight polysomnogram (PSG) data from a subject and visual inspection of PSG data to determine sleep stages, which might consume significant amount of time leading to labor-exhaustive, expensive and prone to subjective error. Therefore, development of automatic sleep staging method has drawn a significant attention. With the advent in machine learning (ML) as well as deep learning (DL) techniques, researchers exerted tremendous effort to facilitate sleep staging utilizing ML or DL based techniques and pave the way for advancements in the ML or DL based sleep staging model. Generally, PSG recordings are captured from brain activity that consist of one channel electroencephalogram (EEG), electrocardiography (ECG), electrooculogram (EOG), also electromyogram (EMG). Significant studies are currently conducted for developing ML/DL based automated sleep stage classification algorithms focused on only one channel PSG dataset. None of them have been adopted as a standard model because of not achieving standard performance metrics. Hence, it is still an area of interest in the sleep research community to devise more efficient ML along with DL based automatically sleep stage identification method. The usage one channel information often results in inefficiencies and skewed data problem. Recently, several studies have shown that feeding multi-channel data as input in the DL models can overcome anticipated difficulties as well as attain highest results. Besides, it raises the concern of extensive amount of computing resources during model training. It has now become an indispensable task to trade-off between performance and computing resources in case of developing multi-channel input based classifier. In order to alleviate this challenge, we aim to introduce convolutional bidirectional long short-term memory (Bi-LSTM) framework with multi-channel inputs in this article which can learn and utilize the spatiotemporal characteristics obtained from various PSG recording for automatically detect stages of sleep. To avoid the usage of extensive computation resources, the overall training procedure has been split into two phases. A convolutional Bi-LSTM module with dual channel is created as well as trained using captured features by any combination of the two different PSG recording channels at first. The module is composed of two layers of convolutional neural network (CNN), which is aimed for extracting spatial characteristics from the two input channels. In addition, a Bi-LSTM model is formed in middle of two CNN layers which takes concatenated retrieved spatial features as input for learning temporal correlated information. At next, two trained modules have fused and transfer learning technique has employed circuitously to identify actual stages of the sleep. This study uses the Sleep EDF-20 as well as Sleep EDF-78 databases to evaluate and investigate the attained performance. For Sleep EDF-20 database, the EEG Fpz-Cz + EOG along with EEG Fpz-Cz + EMG module has highest values for accuracy (ACC), Kappa (Kp), and F1 score (e.g., 91.44%, 0.89, and 88.69%, respectively). As compared to other combinations, the model with EEG Fpz-Cz + EMG with EEG Pz-Oz + EOG modules performs better with ACC, Kp, and F1 score values of 90.21%, 0.86, and 87.02% in case of Sleep EDF-78 database. To illustrate efficacy of our suggested method, comparative analysis with present research is also presented.

목차 (Table of Contents)

• Chapter 1 1
• 1.1 Introduction 1
• 1.2 Drawbacks 2
• 1.3 Motivation 3
• 1.4 Contributions 4
• 1.5 Organization of the Thesis 5
• Chapter 2 6
• 2.1 Related Works 6
• Chapter 3 9
• 3.1 Overview of Sleep Stage Identification 9
• 3.2 Description of Sleep EDF Datasets 9
• 3.3 Epoch Segmentation and Data Annotating 10
• 3.4 Data Normalization and Splitting 11
• 3.5 Proposed Network Architecture 11
• 3.5.1 Convolutional Neural Network (CNN) 11
• 3.5.2 Bidirectional Long Short-Term Memory Network (Bi-LSTM) 13
• 3.5.3 Four-channel Convolutional Bi-LSTM Network 14
• Chapter 4 16
• 4.1 Experimental Results 16
• 4.1.1 Implementation Details 16
• 4.1.2 Performance analysis 18
• Chapter 5 28
• 5.1 Conclusion 28
• References 29
• List of Publications 32
• Abstract (Korean) 33
• Acknowledgement 35