레이더 기반 사람 행동 인식을 위한 경량 딥러닝 모델 설계 및 구현 = Design and Implementation of Lightweight Deep Learning Model for Radar Based Human Activity Recognition

다국어 초록 (Multilingual Abstract)

With the growth of the aging population, the importance of real-time monitoring technologies for the safety of the elderly has become increasingly prominent. In particular, Human Activity Recognition (HAR) technology is being actively researched using various sensors to rapidly detect hazardous behaviors such as falls. Among these, radar-based HAR utilizing micro-Doppler maps is gaining attention due to its advantages in privacy preservation and robustness against environmental conditions. However, existing high-performance models face challenges in real-time processing within on-device environments.
To address these issues, this paper proposes MSPS-Mixer, a lightweight deep learning model that applies the MLP-Mixer architecture—known for its linear computational complexity and excellent performance—to micro-Doppler-based radar HAR for the first time. The proposed model employs a Multi-Scale Time Patch partitioning strategy that includes the entire frequency axis to preserve the temporal context of micro-Doppler signatures. By processing two patches with different temporal resolutions in parallel, it effectively learns multi-scale temporal information. Furthermore, a Shift operation is introduced to enhance temporal locality between adjacent time steps, thereby mitigating the lack of inductive bias in MLP-Mixers, while a hierarchical structure is formed using Downsampling to progressively reduce the number of tokens. Additionally, Knowledge Distillation and Quantization were applied for on-device deployment. Experimental results on the UoG dataset demonstrate that the proposed model achieves an accuracy of 94.91% (1.58M parameters), outperforming the existing SOTA model, LH-ViT, by 2.81%. The distilled lightweight model achieved an accuracy of 93.22% (358K parameters), proving the validity of the compression, and on-device implementation was successfully verified on two types of edge devices.

국문 초록 (Abstract)

고령 인구의 증가로 고령자의 일상생활 안전을 위한 실시간 모니터링 기술의 중요성이 대두되고 있다. 특히 낙상과 같은 위험 행동을 신속하게 감지하기 위해 사람의 움직임을 분석하는 사람 행동 인식(Human Activity Recognition, HAR) 기술이 다양한 센서를 통해 활발히 연구가 진행되고 있다. 이 중 프라이버시 보호에 유리하고 주변 환경의 영향을 받지 않는 micro-Doppler map을 활용한 레이더 기반 HAR이 주목받고 있다. 그러나 기존 고성능 모델들은 온디바이스 환경에서의 실시간 처리가 어렵다는 문제가 있다.
본 논문은 이러한 문제를 해결을 위해, 선형 계산복잡도를 가지면서도 뛰어난 성능을 보이는 MLP-Mixer 아키텍처를 micro-Doppler 기반 레이더 HAR에 최초로 적용한 경량 딥러닝 모델, MSPS-Mixer를 제안한다. 제안하는 모델은 micro-Doppler의 시간적 맥락(Temporal context)을 보존하기 위해 주파수 축을 모두 포함하는 Multi-Scale Time Patch 분할 방식을 사용한다. 서로 다른 시간 해상도를 갖는 두 개의 패치를 병렬로 처리함으로써, 다양한 스케일의 시간 정보를 효과적으로 학습한다. 또한 Shift 연산을 통해 인접한 시간 스텝 간의 시간적 지역성을 강화하여 MLP-Mixer의 귀납적 편향 부족 문제를 해결하였으며, Downsampling을 통해 토큰 수를 단계적으로 감소시키는 계층적 구조를 형성하였다. 추가로 온디바이스 적용을 위해 지식 증류와 양자화를 적용하였다. UoG 데이터셋으로 실험한 결과, 제안하는 모델은 정확도 94.91%(파라미터 수 1.58M)로 기존 SOTA 모델인 LH-ViT보다 2.81% 더 높은 성능을 보였다. 지식 증류한 경량화 모델은 정확도 93.22%(파라미터 수 358K)로 경량화의 유효성을 입증했으며, 두 종류의 엣지 디바이스에 탑재하여 온디바이스 실증을 완료하였다.

목차 (Table of Contents)

• 1. 서 론 1
• 2. 연구 배경 및 관련 연구 4
• 2.1 연구 배경 4
• 2.1.1 레이더 기반 HAR 4
• 2.1.2 HAR에서 MLP-Mixer의 필요성 6
• 2.1.3 HAR에서 경량 모델의 필요성 7
• 2.2 관련 연구 8
• 2.2.1 Point cloud 기반 레이더 HAR 8
• 2.2.2 micro-Doppler 기반 레이더 HAR 9
• 2.3 문제 정의 및 접근 방법 12
• 3. 레이더 기반 행동 인식을 위한 경량 딥러닝 모델 15
• 3.1 제안하는 시스템 구조 15
• 3.2 데이터 전처리 16
• 3.3 딥러닝 모델 구조 18
• 3.3.1 Multi-scale time patch 20
• 3.3.2 Shift 연산 21
• 3.3.3 Downsampling 24
• 3.4 손실함수 26
• 3.5 모델 경량화 27
• 3.5.1 지식 증류 27
• 3.5.2 양자화 29
• 3.6 온디바이스 환경 30
• 4. 실험 및 성능 평가 32
• 4.1 데이터셋 구성 32
• 4.2 실험 설정 33
• 4.3 기존 연구와의 비교 34
• 4.4 절제 연구 36
• 4.4.1 모델 크기별 성능 평가 36
• 4.4.2 패치화 방법에 따른 성능 평가 38
• 4.4.3 Shift 방법에 따른 성능 평가 39
• 4.5 지식 증류 평가 40
• 4.6 온디바이스 성능 평가 42
• 5. 결론 44