Neurorehabilitation System with Wearable Biosensing and Edge Deep Learning = 웨어러블 바이오센싱 및 엣지 딥러닝을 활용한 신경 재활 시스템

국문 초록 (Abstract)

보조 기술은 사지의 움직임 및 경우에 따라 언어 능력에 장애를 초래하는 신경퇴행성 질환 환자를 지원하는 데 핵심적인 역할을 한다. 이러한 신경영감적（neuro-inspired） 기술 중재를 효과적으로 개발하기 위해서는 신경 신호를 정확하게 해독하는 과정이 필수적이다. 또한, 실시간 성능과 데이터 프라이버시를 보장하기 위해 해독기는 경량화되어 엣지（Edge） 디바이스 상에서 구현 가능해야 한다. 본 논문의 첫 번째 부분에서는 근전도（EMG）, 뇌전도（EEG）, 시각 신호를 포함한 다중 센서 융합 기법을 통해 원활한 운동 의도（motor intent） 해독을 수행하는 방법을 제안한다. 또한, 정확도를 유지하면서도 경량 모델을 양자화（quantization）하여 엣지 디바이스에 효율적으로 배포할 수 있는 방법을 제시한다. 두 번째 부분에서는 장기 배포 과정에서 내재적 교란으로 인해 발생하는 모델 성능 저하 문제를 다룬다. 이를 해결하기 위해, 모델 붕괴를 방지하고 높은 운동 의도 인식 성능을 유지하는 온디바이스（on-device） 업데이트 메커니즘을 제안한다. 이 접근법은 모든 추론 및 모델 업데이트를 디바이스 내부에서 수행함으로써 데이터 프라이버시를 보장한다. 종합적으로, 본 논문은 다중 신경 신호 처리, 효율적인 모델 배포, 그리고 적응적 온디바이스 학습을 결합하여 강건하고 프라이버시를 보존하는 신경영감형 보조 시스템 개발에 기여한다.

다국어 초록 (Multilingual Abstract)

Assistive technologies play a vital role in supporting individuals with neurodegenerative diseases that impair limb movement and, in some cases, speech. Developing effective neuro-inspired technological interventions requires accurate decoding of neural signals. Moreover, these decoders must be lightweight to enable deployment on edge devices, thereby ensuring real-time performance and data privacy. In the first part of this thesis, we present methods for multimodal sensor fusion involving electromyogram, electroencephalogram, and visual signals to achieve seamless motor-intent decoding. We further demonstrate techniques for quantizing and deploying lightweight models on edge devices without compromising accuracy. The second part of this thesis addresses the problem of model degradation caused by inherent disturbances during long-term deployment. We propose an on-device update mechanism that mitigates model collapse while maintaining high motor-intent recognition performance. This approach preserves data privacy by performing all inference and model updates directly on the edge. Overall, this thesis contributes to the development of neuro-inspired assistive systems that combine multimodal neural signal processing, efficient model deployment, and adaptive on-device learning for robust and privacy-preserving neurorehabilitation.

목차 (Table of Contents)

• Abstract （English） i
• List of Contents ii
• List of Tables iv
• List of Figures vi
• List of Algorithms x
• 1 Introduction 1
• 1.0.1 Background 1
• 1.0.2 Contributions 2
• 2 Multimodal Edge Deep Learning for Motor Intent Decoding 3
• 2.1 Event-Driven Edge Deep Learning Decoder for Real-Time Gesture Classification and Neuro-Inspired Rehabilitation Device Control 3
• 2.1.1 Abstract 3
• 2.1.2 Introduction 5
• 2.1.3 Methodology 8
• 2.1.4 Experiments and Results 22
• 2.1.5 Discussion and Conclusion 32
• 2.2 Motor-Intent Decoding from Synthetic EEG Data using Denoising Diffusion Probabilistic Models 35
• 2.2.1 Abstract 35
• 2.2.2 Introduction 36
• 2.2.3 Methodology 39
• 2.2.4 Experiments and Results 46
• 2.2.5 Discussion and Conclusion 52
• 2.3 Light-Weight Vision Language Model Guided Gesture Recognition Based on Electromyography 54
• 2.3.1 Abstract 54
• 2.3.2 Introduction 55
• 2.3.3 Methodology 58
• 2.3.4 Experiments and Results 63
• 2.3.5 Discussion and Conclusion 71
• 3 Efficient Framework for EMG Motor-Intent Recognition Under Real-World Disturbances 73
• 3.1 A Novel Approach to Surface EMG-Based Gesture Classification Using a Vision Transformer Integrated With Convolutive Blind Source Separation 73
• 3.1.1 Abstract 73
• 3.1.2 Introduction 74
• 3.1.3 Methodology 78
• 3.1.4 Experiments and Results 87
• 3.1.5 Discussion and Conclusion 96
• 3.2 AdaptiveEdge: Adaptive Model Update for Motor-Intent Decoding with Knowledge Distillation and Efficient EMG Sensor System 99
• 3.2.1 Abstract 99
• 3.2.2 Introduction 100
• 3.2.3 Methodology 103
• 3.2.4 Experiments and Results 112
• 3.2.5 Discussion and Conclusion 120
• 4 Ongoing Research 123
• 4.1 Neural Speech Decoding Leveraging Large Language Model 123
• 4.1.1 Abstract 123
• 4.1.2 Introduction 124
• 4.1.3 Methodology 126
• 4.1.4 Experiments and Results 130
• 4.1.5 Conclusion 132
• 5 Summary and Future Directions 134
• 5.1 Summary 134
• 5.2 Future Research Directions 135
• Bibliography 136
• Acknowledgements 165
• Curriculum Vitae 167