이동 환경에서 IMU 기반 보정을 활용한 FMCW 레이더 손동작 인식 서능 향상 연구 = Enhancing FMCW Radar-Based Hand Gesture Recognition in Dynamic Environments Using IMU-Based Motion Compensation

국문 초록 (Abstract)

최근 Human-Computer Interaction（HCI）, Virtual Reality（VR）, Augmented Reality（AR）, Extended Reality（XR） 기술의 발전과 함께 사용자와 시스템 간의 자연스러운 상호작용을 위한 Hand Gesture Recognition（HGR） 기술의 중요성이 증가하고 있다. 특히 Frequency Modulated Continuous Wave（FMCW） 레이더 기반 HGR은 조명 조건에 영향을 받지 않고 개인정보 보호 측면에서 유리하다는 장점으로 인해 차세대 인터페이스 기술로 주목받고 있다. 그러나 기존의 레이더 기반 HGR 연구는 대부분 고정된 환경에서 수집된 데이터를 기반으로 학습이 이루어졌으며, 실제 웨어러블 환경과 같이 사용자가 이동하는 상황에서는 레이더 신호의 왜곡으로 인해 인식 성능이 급격히 저하되는 문제가 존재한다.

본 논문에서는 이동 환경에서 발생하는 레이더 신호 왜곡 문제를 해결하고, 다양한 실제 사용 환경에서도 안정적으로 동작하는 HGR 시스템을 구현하기 위해 IMU（Inertial Measurement Unit） 기반 보정 기법과 데이터 중심 학습 전략을 통합한 새로운 학습 프레임워크를 제안한다. 먼저, 사용자의 머리 움직임을 정밀하게 추적하기 위해 가속도계와 자이로스코프로 구성된 IMU 센서를 활용하고, Kalman filter를 적용하여 센서 노이즈를 제거하고 위치 및 속도 추정의 정확도를 향상시킨다. 이를 통해 이동 환경에서 발생하는 레이더 신호의 비정상적인 변화를 정량적으로 분석한다.

또한, 레이더 기반 HGR의 성능 향상을 위해 데이터 다양성을 확보하는 것이 중요하다는 점에 착안하여, FMCW 레이더의 특성을 활용한 데이터 증강 기법을 제안한다. 다수의 Rx 안테나로부터 획득된 Micro-Doppler Signature를 각각 독립적인 학습 데이터로 활용함으로써 한 번의 측정으로 다수의 데이터 샘플을 생성하며, 추가적으로 IF 신호에 가우시안 노이즈를 삽입하여 실제 환경에서 발생할 수 있는 다양한 신호 변형을 모사한다. 이러한 데이터 증강 기법은 기존 영상 기반 augmentation과 달리 레이더 신호의 물리적 특성을 반영하여 설계한다.

더 나아가, 본 논문에서는 정지 상태 데이터와 이동 상태 데이터를 동시에 활용하는 다중 환경 학습（multi-condition training） 전략을 적용하여 모델의 일반화 성능을 향상시킨다. 실험에서는 Micro-Doppler Signature를 입력으로 하는 MobileNetV3 기반 분류 모델을 사용하였으며, 단일 환경 데이터로 학습된 모델과 혼합 데이터로 학습된 모델의 성능을 비교 분석한다. 그 결과, 단일 데이터 기반 모델은 validation accuracy는 높은 수준을 유지하였으나 실제 이동 환경을 포함한 테스트 데이터에서 약 53.31%의 낮은 정확도를 보인 반면, 제안한 혼합 데이터 학습 모델은 약 94.58%의 높은 테스트 정확도를 달성하여 약 41.27%p의 성능 향상을 확인한다. 또한, 데이터 증강 기법을 적용한 경우 추가적으로 최대 4.5%의 정확도 향상이 나타났으며, IMU 기반 Kalman filtering을 적용한 경우 속도 및 위치 추정 오차가 각각 약 7.7배 및 11.9배 감소하여 시스템의 안정성이 크게 향상됨을 확인한다.

이와 같은 결과를 통해, 본 논문에서 제안한 IMU 보정 기법과 데이터 중심 학습 전략의 통합은 이동 환경에서 발생하는 레이더 기반 HGR의 성능 저하 문제를 효과적으로 해결할 수 있음을 입증하였다. 제안된 프레임워크는 실제 웨어러블 및 XR 환경에서의 적용 가능성을 높이며, 향후 레이더-IMU 센서 융합 기반의 지능형 인터페이스 시스템 개발에 중요한 기반 기술로 활용될 수 있을 것으로 기대된다.

다국어 초록 (Multilingual Abstract)

Hand gesture recognition （HGR） has emerged as a key technology for enabling natural human–computer interaction （HCI） in applications such as virtual reality （VR）, augmented reality （AR）, and extended reality （XR）. Among various sensing modalities, Frequency Modulated Continuous Wave （FMCW） radar has attracted significant attention due to its robustness to lighting conditions and advantages in privacy preservation. However, most existing radar-based HGR systems are trained using data collected in static environments, leading to significant performance degradation when deployed in real-world scenarios where users are in motion. This degradation is primarily caused by motion-induced distortions in radar signals, which are not sufficiently considered during the training process.
To address this challenge, this paper proposes a robust learning framework that integrates IMU （Inertial Measurement Unit）-based motion compensation with data-centric training strategies for FMCW radar-based HGR in dynamic environments. First, user head motion is accurately tracked using IMU sensors composed of accelerometers and gyroscopes. A Kalman filter is applied to reduce sensor noise and improve the accuracy of velocity and position estimation, enabling reliable modeling of motion dynamics. Based on this, motion-induced distortions in radar signals are effectively analyzed and mitigated.
In addition, to enhance data diversity and improve model generalization, a radar-specific data augmentation method is introduced. Multiple Micro-Doppler signatures obtained from different Rx antennas are utilized as independent training samples, allowing multiple data instances to be generated from a single measurement. Furthermore, Gaussian noise is injected into intermediate frequency （IF） signals to simulate realistic signal variations. Unlike conventional image-based augmentation techniques, the proposed approach is specifically designed to reflect the physical characteristics of radar signals.
Moreover, a multi-condition training strategy is adopted by combining data collected in both static and dynamic environments. A MobileNetV3-based classifier using Micro-Doppler signatures as input is employed, and the performance of single-condition and mixed-condition training is comparatively evaluated. Experimental results demonstrate that the model trained only on static data achieves high validation accuracy but suffers from poor generalization, yielding a test accuracy of 53.31% under dynamic conditions. In contrast, the proposed mixed-condition training model achieves a significantly improved test accuracy of 94.58%, corresponding to a performance gain of 41.27 percentage points. Additionally, the proposed data augmentation method provides up to 4.5% improvement in accuracy, while the application of Kalman filtering reduces velocity and position estimation errors by factors of approximately 7.7 and 11.9, respectively.
These results demonstrate that the proposed integration of IMU-based motion compensation and data-centric learning effectively addresses the performance degradation of radar-based HGR in dynamic environments. The proposed framework significantly enhances robustness and generalization capability, making it suitable for real-world wearable and XR applications. Furthermore, this work provides a practical foundation for future sensor fusion-based intelligent interaction systems.

목차 (Table of Contents)

• 제 1장 서론 1
• 제 2장 제안된 시스템 3
• 1. IMU기반 Motion Compenstion 3
• 2. Radar Data Augmentation 6
• 3. Multi-Condition Training 9
• 제 3장 결론 11
• 참고 문헌 14