Investigating the effect of motor imagery enhancement based on virtual hand illusion with personalized virtual hands

다국어 초록 (Multilingual Abstract)

Motor imagery (MI) is widely used across various domains, including neurorehabilitation, sports training, yet many individuals struggle with imagery vividness, a limitation known as MI ambiguity. To address this, recent AI advances allow for highly personalized virtual hands (P-VHI) that induce body ownership. This study developed an AI-based P-VHI system and compared its efficacy in inducing body ownership and MI engagement against generic (G-VHI) and customized (C-VHI) versions.
A preliminary study confirmed that P-VHI generated from a single 2D image significantly induced subjective body ownership (questionnaire-based) and induced neural activation related to body ownership in the premotor cortex, establishing the groundwork for further research.
The main study employed an upgraded system featuring full 3D reconstruction and automatic rigging, which enabled natural motion generation and texture interpolation. Results indicated that P-VHI yielded the fastest illusion time and the most frequent first-place rankings. During the VHI induction phase, EEG analyses focusing on ownership-related frontal channels (F3, Fz, and F4) revealed critical hemispheric differences. While all conditions activated left frontal regions, P-VHI showed a distinct pattern with marginally significant, strongest activation in the right-hemisphere (F4), an area linked to visual self-recognition processing.
In the MI phase, P-VHI produced the strongest C3 alpha ERD, which is related to MI enhancement. Rank-correlation analyses demonstrated that ERD was positively associated with right-hemisphere activation, whereas left-frontal channels showed negative correlations. These findings suggest that MI enhancement is driven by right-hemisphere networks that integrate body ownership with self-appearance processing. Overall, this research provides empirical evidence that AI-based P-VHI induces neural activation related to body ownership and self-recognition, enhancing ERD during MI, offering a solid foundation for various future applications.

국문 초록 (Abstract)

운동 상상(Motor imagery, MI) 은 신경 재활 및 스포츠 훈련 등 다양한 분야에서 널리 사용되나, 많은 사용자가 MI를 분명하게 하지 못하는 'MI 모호성' 문제를 겪음. 이를 해결하기 위해 본 연구에서는 최신 AI 기술을 활용하여 신체 소유감을 강화하는 고도의 개인화된 가상 손(P-VHI) 시스템을 개발하였고 P-VHI의 신체 소유감 유도 및 MI 강화 능력을 일반형(G-VHI) 및 맞춤형(C-VHI) 가상 손과 비교 분석함.
예비 연구를 통해 단일 2D 이미지 기반 P-VHI가 주관적 신체 소유감(설문 기반)을 유의미하게 향상시키고 전운동 피질 내 신체 소유감 관련 신경 활성화를 유도함을 확인하여 연구의 기틀을 마련함.
본 연구에서는 3D reconstruction 도입 및 자동 리깅을 적용하여 3D 를 기반으로 한 자연스러운 동작 생성과 텍스처 보간을 구현함. 실험 결과, P-VHI가 가장 빠른 착각 유도 시간을 보였으며, 해당 지표의 순위 분석 결과 가장 높은 1위 빈도를 나타냄. VHI 유도 단계의 뇌파(EEG) 분석 결과, 신체 소유감 관련 전두엽 채널(F3, Fz, F4)에서 중요한 반구 간 차이가 발견됨. 타 조건들이 주로 좌측 전두엽 영역을 활성화한 것과 달리, P-VHI는 자기 외형 처리와 관련된 우반구(F4)에서 한계적으로 유의미하며 가장 강력한 활성화를 보이는 패턴을 나타냄.
MI 단계에서 P-VHI는 가장 강력한 C3 알파 ERD를 생성함. 순위 상관 분석 결과, ERD는 우반구 활성화와 양의 상관관계를 보였으나 좌측 전두엽 채널과는 음의 상관관계를 나타냄. 이는 MI 강화가 신체 소유감과 자기 외형 처리를 통합하는 우반구 네트워크에 의해 주도됨을 시사함. 종합적으로 본 연구는 AI 기반 P-VHI가 신체 소유감 및 자기 외형 처리 관련 신경을 활성화하여 MI 동안 ERD를 촉진한다는 실증적 근거를 제공하며, 다양한 미래 응용 분야를 위한 토대를 마련함.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• 1.1. Necessity of Research 1
• 1.2. Purpose of Research 7
• 1.3. Hypothesis 9
• Chapter 2. Preliminary Study 10
• 2.1. Purpose of Preliminary Study 10
• 2.2. Method 12
• 2.2.1) AI based P-VHI system 12
• 2.2.2) P-Hand generation method 13
• 2.2.3) Experimental Setting 15
• 2.2.4) Experimental Design & Disclaimer 17
• 2.2.5) Data Acquisition & Analysis 20
• 2.3. Result 25
• 2.3.1) QA Result 25
• 2.3.2) GSR Result 29
• 2.3.3) EEG Result 30
• 2.4. Discussion 32
• 2.4.1) Result Discussion 32
• 2.4.2) Importance of Research 35
• 2.4.3) Limitation of Research 36
• Chapter 3. Main Study 37
• 3.1. Purpose of Main Study 37
• 3.2. Method 39
• 3.2.1) updated AI-based P-VHI system 39
• 3.2.2) Experimental Setting 45
• 3.2.3) Experimental Design & Disclaimer 48
• 3.2.4) Data Acquisition & Analysis 52
• 3.3. Result 59
• 3.3.1) QA Result 59
• 3.3.2) Illusion time Result 62
• 3.3.3) EEG Analysis of the VHI Phase 64
• 3.3.4) MI Enhancement Analysis 68
• 3.3.5) Rank Correlation Analysis 71
• 3.4. Discussion 72
• 3.4.1) Result Discussion 72
• 3.4.2) Importance of Study 78
• 3.4.3) Limitation of Research 81
• Chapter 4. Conclusion 83