멀티모달 앙상블을 위한 IMU 기반 뇌졸중 환자의 인간 행동 인식 딥러닝 모델 연구 = A Study on a Deep Learning Model for Human Action Recognition of Stroke Patient Using IMU and Multimodal Ensemble

다국어 초록 (Multilingual Abstract)

According to the Korea Disease Control and Prevention Agency (KDCA), the number of patients suffering from Stroke in South Korea has been steadily increasing. Patients who experience hemiparesis after a stroke often experience functional decline in daily activities, which necessitates long-term rehabilitation. While the demand for rehabilitation treatment for stroke patients has increased, the supply of such services remains insufficient. To address this, there is a growing need for remote monitoring of stroke patients in order to expedite recovery, provide rehabilitation services beyond specialized medical institutions, and alleviate the burden on healthcare professionals. A key component of remote monitoring is the recognition of the patient's movements. However, existing motion recognition technologies in the field of human activity recognition are designed for able-bodied individuals, making them inadequate for classifying movement data of hemiparetic stroke patients, whose movement patterns are significantly different. Furthermore, in the research on remote rehabilitation systems, the evaluation of these systems has often been based on publicly available movement data from able-bodied individuals, which makes it difficult to confirm the practical effectiveness for stroke patients.
In response, this study selects 15 indoor rehabilitation movements specifically for patients with upper limb hemiparesis after a stroke and develops a system that simultaneously collects data using IMU sensors and RGB cameras while presenting these movements to the user. Experiments using the developed system were conducted to collect movement data from both able-bodied individuals and acute/subacute stage upper-limb hemiparetic stroke patients performing the same movements.
In the field of motion recognition models, to maximize the recognition accuracy of the multimodal ensemble model, we proposed a model structure and data preprocessing method aimed at optimizing the accuracy of sensor-based unimodal human activity recognition models. Specifically, by reshaping the multivariate time-series data collected from IMU sensors into a form similar to 3-channel 2D image data, we were able to take advantage of the lower computational load of sensor data while utilizing the ViT (Vision Transformer) model for classification, which enhanced the motion recognition accuracy.
In the data domain, we compared data from upper-limb hemiparetic stroke patients with that from able-bodied individuals and found that the stroke patients' movement data differs significantly from that of able-bodied individuals. Consequently, models that show high classification accuracy in human activity recognition for able-bodied individuals were found to be inadequate for stroke patient data. Additionally, we proposed a ViT model and time-series data preprocessing method that captured the movement characteristics of both stroke patients and able-bodied individuals, achieving stable classification accuracy.
Furthermore, we developed a multimodal ensemble deep learning model that combines skeleton data extracted from RGB video with motion data, and confirmed that it achieved high classification accuracy when trained on both stroke patient and able-bodied data. Unlike unimodal models, the multimodal model was able to compensate for the weaknesses of each modality, improving overall performance.
The findings of this research have the potential to lead to the development of a system in which upper-limb hemiparetic stroke patients can autonomously perform rehabilitation exercises without the assistance of a professional therapist. This system could not only focus on motion recognition but also enable future research to assess the quality of rehabilitation movements of stroke patients using skeleton or IMU sensor data. It is believed that this research will contribute significantly to meeting the rehabilitation needs of hemiparetic stroke patients and effectively alleviating the burden on healthcare professionals.

국문 초록 (Abstract)

질병관리청에 따르면, 국내 뇌졸중 발병 환자는 꾸준히 증가하는 추세다. 뇌졸중 발병 이후 편마비 증상이 있는 환자들은 일상생활동작에서 기능 저하가 발생하며, 이로 인하여 장기간의 재활 치료가 필요하다. 이처럼 뇌졸중 환자를 대상으로 하는 재활 치료는 수요가 증가했으나 그에 비해 공급이 부족한 상황이다. 빠른 회복과 전문 의료기관에 한정되지 않은 재활 수행, 의료진의 부담 경감을 위하여 뇌졸중 환자의 원격 모니터링의 수요가 증가한다. 원격 모니터링을 위해서는 뇌졸중 환자의 동작 인식이 필수적이다. 그러나 기존 동작 인식 기술이 포함된 인간 행동 인식 분야는 비장애인을 대상으로 하여, 비장애인의 동작과 상이한 편마비 뇌졸중 환자의 동작 데이터를 분류하기에는 적절하지 않다. 원격 재활 시스템 연구에서도 실제 뇌졸중 환자의 데이터 대신 공개된 비장애인의 동작 데이터로 시스템을 평가하여 실질적인 효과를 확증할 수 없는 상황이다.
이에 본 연구에서는 상지 편마비 뇌졸중 환자를 대상으로 하는 실내 재활 동작 15가지를 선정하고, 해당 동작을 사용자에게 제시하며 IMU 센서와 RGB 카메라로 동시에 데이터를 수집하는 시스템을 개발하였다. 개발된 시스템을 이용한 실험을 통해 비장애인과 급성기에서 아급성기 상지 편마비 뇌졸중 환자의 같은 동작 데이터를 수집하였다.
동작 인식 모델 분야에서는, 멀티모달 앙상블 모델의 동작 인식 정확도를 최대화하기 위하여 센서를 기반으로 하는 단일 모달 인간 행동 인식 모델의 정확도를 최대화하는 모델 구조와 데이터 전처리 방법을 제안하였다. 특히 IMU 센서로 수집한 다변량 시계열 데이터의 형태를 3채널 2차원 이미지 데이터와 유사하게 변경함으로써 연산량이 적은 센서 데이터의 장점을 해치지 않으면서도 분류 성능이 뛰어난 ViT 모델의 입력으로 데이터를 사용하여 동작 인식 정확도를 높였다.
데이터 분야에서는, 상지 편마비 뇌졸중 환자 데이터와 비장애인 데이터를 비교하여 뇌졸중 환자의 데이터가 비장애인의 동작 데이터와 상이하여 기존 인간 행동 인식 분야에서 높은 분류 정확도를 보이는 모델이 뇌졸중 환자의 데이터에는 맞지 않음을 밝혔다. 뇌졸중 환자뿐 아니라 비장애인의 동작 특징도 포착하여 안정적인 분류 정확도를 보이는 ViT 모델과 시계열 데이터 전처리 방법을 고안하고 그 효과를 검증하였다.
더 나아가 RGB 영상 데이터에서 추출한 스켈레톤과 함께 학습하는 멀티모달 앙상블 딥러닝 모델을 고안하여 뇌졸중 환자 데이터 및 비장애인 데이터를 학습하였을 때 높은 동작 분류 정확도를 달성함을 확인하였다. 또한 단일 모달리티와 달리 멀티모달 모델에서 각 모달리티의 단점을 상 호 보완할 수 있었음을 밝혔다.
이러한 연구 결과는 상지 편마비 뇌졸중 환자가 일상생활에서 전문 치료사의 도움 없이 자발적으로 재활 동작을 수행하는 시스템의 개발로 발전할 수 있다. 동작 인식에서만 그치지 않고 향후 스켈레톤이나 IMU 센서 데이터를 이용한 상지 편마비 뇌졸중 환자의 동작 질을 평가하는 연구 또한 가능하다. 이를 통해 편마비 뇌졸중 환자의 재활 수요를 충족하고, 의료진의 부담을 실질적으로 감경하는 데 기여할 수 있을 것으로 확신한다.

목차 (Table of Contents)

• 제1장 서 론 1
• 1.1 연구 배경 및 목적 1
• 1.2 연구 내용 및 방법 3
• 제2장 인간 동작 인식 연구 현황 5
• 2.1 데이터 종류에 따른 인간 행동 인식 연구 5
• 2.1.1 센서 기반 인간 행동 인식 5
• 2.1.2 이미지 기반 인간 행동 인식 6
• 2.1.3 멀티모달 인간 행동 인식 6
• 2.2 데이터 종류에 따른 인간 행동 인식 기법 7
• 2.2.1 스켈레톤 데이터를 히트맵으로 표현 7
• 2.2.2 다변량 시계열 데이터 분류 8
• 2.2.3 시계열 데이터를 이미지로 표현 8
• 2.3 뇌졸중 환자를 대상으로 하는 인간 행동 인식 연구 10
• 2.4 인간 행동 인식 공개 데이터셋 11
• 2.4.1 Daily and Sports Activities 11
• 2.4.2 HARTH 11
• 2.4.3 JU-IMU 11
• 2.4.4 PAAL 12
• 2.4.5 PAMAP2 12
• 2.4.6 UCI Human Activity Recognition Using Smartphones 12
• 제3장 데이터 수집 실험 13
• 3.1 실험 구성 13
• 3.1.1 데이터 수집 시스템 구성 13
• 3.1.2 데이터 수집 실험 개요 15
• 3.2 데이터 전처리 18
• 3.2.1 IMU 센서 데이터 전처리 18
• 3.2.2 카메라 데이터 전처리 22
• 제4장 딥러닝 모델 실험 25
• 4.1 딥러닝 모델 구조 25
• 4.1.1 ViT 모델 25
• 4.1.2 Swin Transformer 모델 26
• 4.1.3 DeepConvLSTM 모델 27
• 4.1.4 Transformer 모델 28
• 4.2 딥러닝 모델 실험 환경 및 결과 28
• 제5장 딥러닝 모델 실험 결과 32
• 5.1 뇌졸중 환자 및 비장애인 동작 데이터 비교 32
• 5.2 센서 데이터의 이미지 변환 기법 34
• 5.2.1 데이터 채널별 Pearson 상관 계수 분석 34
• 5.2.2 모델 실험 결과 36
• 5.3 센서 데이터 분류 모델 38
• 5.3.1 모델 실험 결과 38
• 5.4 멀티모달 딥러닝 앙상블 모델 확장 40
• 제6장 결 론 47
• 참고문헌 49
• ABSTRACT 54