Study on Human Gesture Recognition Methods Using Wireless Signals = 무선 신호를 활용한 인간 동작 인식 기법에 관한 연구

국문 초록 (Abstract)

무선 신호를 활용한 사람의 제스처 인식 기술은 사생활 침해 우려가 적고 사용자가 별도의 장비를 착용하지 않아도 컴퓨터와 자연스럽게 상호작용할 수 있다는 장점 덕분에 오늘날 산업계와 학계에서 많은 관심을 받고 있다. 이러한 기술을 실사용 환경에 적용하기 위해서는 제스처 인식 시스템이 사용자 간의 다양성, 위치 및 사용 환경의 변화, 그리고 정의되지 않은 임의의 행동이 입력되는 경우에서도 안정적인 인식 성능을 유지할 수 있도록 설계되어야 한다. 본 논문에서는 이러한 요구를 충족하기 위하여 실사용 환경에서 발생할 수 있는 다양한 상황을 고려한 무선 신호 기반 제스처 인식 기법을 제안하였다. 먼저, 정밀한 거리 정보를 제공하는 ultra-wideband (UWB) 임펄스 레이더를 기반으로 사전 정의되지 않은 입력을 식별할 수 있는 open-set 제스처 인식 기법을 제안하였다. 제안한 기법에서는 open-set 인식 문제를 closed-set 분류 단계와 이진 분류의 두 단계로 나누어 처리하였다. 첫 번째 단계에서는 UWB 레이더로부터 얻은 채널 임펄스 응답(CIR)을 Transformer 네트워크에 입력하여 시간 및 공간 정보를 추출하고 이를 기반으로 생성된 특징 벡터를 제스처 분류기에 입력하여 미리 정의된 제스처 중 하나로 분류한다. 두 번째 단계에서는 사전에 정의된 제스처 클래스에 각각 할당된 이진 분류기를 활용하여 첫 번째 분류 결과의 신뢰도를 평가하고 해당 입력이 올바른 클래스에 속하는지 또는 정의되지 않은 입력인지를 판별한다. 제안하는 구조는 open-set 인식 문제를 단순화하고 미지 제스처에 대한 탐지 성능을 향상시킴으로써 사전에 정의되지 않은 입력에 대한 오작동 가능성을 줄인다. 다음으로, 거리, 각도, 속도 등 풍부한 공간 정보를 실시간으로 제공하는 millimeter-wave (mmWave) frequency-modulated continuous wave (FMCW) 레이더를 기반으로 사용자, 위치, 환경 조건의 변화에도 안정적인 인식 성능을 유지할 수 있는 제스처 인식 기법을 제안하였다. 이를 위하여 mmWave FMCW 레이더로부터 획득한 포인트 클라우드 데이터의 시공간 정보를 효과적으로 반영하는 방향 그래프 구성 방법을 설계하였고, 이를 기반으로 계산 복잡도가 낮으면서도 방향 구조를 효율적으로 처리할 수 있는 궤적 인지형 그래프 인코더를 제안하였다. 또한, 제안한 인코더가 사용자와 레이더 간의 거리나 각도 등 사용자 위치의 변화에도 일반화될 수 있도록 표현력을 강화하기 위한 모델 학습 전략을 함께 제안하였다. 아울러 mmWave FMCW 레이더 기반 시스템에서도 open-set 인식을 가능하게 하기 위하여 UWB 임펄스 레이더 기반 연구에서 제안된 open-set 인식 프레임워크를 적용하였다. 공개 데이터셋을 대상으로 한 다양한 실험을 통하여 제안한 기법들이 실사용 환경을 고려한 여러 평가 시나리오에서 일관되게 우수한 성능을 나타내며 최신 기법들보다 뛰어난 제스처 인식 성능을 보임을 확인하였다.

다국어 초록 (Multilingual Abstract)

Gesture recognition using wireless signals has gained significant attention as a promising approach for contactless human-computer interaction (HCI). For real-world deployment, such systems must maintain stable performance under variations in users, environments, and user positions, and must identify inputs that do not correspond to any predefined gesture classes. To this end, we propose two systems based on ultra-wideband (UWB) impulse radar and millimeter-wave (mmWave) frequency-modulated continuous wave (FMCW) radar, both recognized as promising wireless sensing technologies. The UWB impulse radar-based system aims to address the open-set recognition (OSR) task, which involves identifying inputs that do not belong to any predefined class. We decompose the OSR task into two stages: closed-set classification and deep inspection. In the first stage, the feature extractor consists of two Transformer networks that independently capture temporal and spatial characteristics from the channel impulse response (CIR) matrix of the UWB radar. The extracted features are then processed by a closed-set gesture classifier to predict the most likely gesture among predefined gestures. In the second stage, a set of binary classifiers, each assigned to a specific gesture class, determines whether the initial prediction is correct or should be treated as unknown. This two-stage design simplifies the inspection process and significantly improves the system’s ability to detect unknown gestures. The mmWave FMCW radar-based system aims to effectively preserve spatio-temporal information in a manner that is robust to variations in users, user positions, and environmental conditions. To achieve this, we propose a graph construction method that represents radar point cloud data as a directed graph, capturing both spatial and temporal structures. Building on this representation, we introduce a trajectory-aware graph encoder (TAGE) that efficiently processes the directed graph with low computational complexity. Furthermore, we propose a dedicated training strategy to enhance the representation capability and its ability to generalize across different user positions, such as distance and angle to the radar. Notably, to support OSR in the mmWave FMCW radar-based system, the OSR framework proposed in the UWB-based system can be adapted. Extensive experiments on public datasets demonstrate that the proposed methods achieve superior performance across various practical test scenarios, consistently outperforming state-of-the-art baseline schemes.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• Section 1.1 Background and Motivation 1
• Section 1.2 Proposed Gesture Recognition Methods Using Wireless Signals 10
• Section 1.3 Organization 14
• Chapter 2. UWB Impulse Radar-Based Gesture Recognition 15
• Section 2.1 UWB Channel Impulse Response 15
• Section 2.2 Proposed Scheme 18
• Chapter 3. mmWave FMCW Radar-Based Gesture Recognition 35
• Section 3.1 Point Cloud from mmWave FMCW Radar 35
• Section 3.2 Proposed Scheme 39
• Chapter 4. Performance Evaluation 59
• Section 4.1 UWB Impulse Radar-Based Gesture Recognition 59
• Section 4.2 mmWave FMCW Radar-Based Gesture Recognition 82
• Chapter 5. Conclusion 99
• Bibliography 101
• Abstract in Korean 114