상용 스마트 기기를 활용한 표면 진동 기반 인에어 손 제스처 인식 연구

국문 초록 (Abstract)

손 제스처는 인간의 자연스러운 의사소통 방식 중 하나로, 별도의 학습이 거의 필요하지 않고 언어와 문화를 초월하여 사용할 수 있는 보편성을 지니고 있다. 이러한 장점 덕분에 인에어 손 제스처 인식 기술은 스마트홈, 가상현실, 프레젠테이션 등 다양한 상황에서 사람과 컴퓨터 간의 상호작용을 직관적이고 자연스럽게 만들어준다. 그러나 기존 방식들은 컨트롤러, 특수 센서, 카메라 등에 의존하여 사용성, 범용성, 정확성 측면에서 한계를 드러내고 있다. 본 연구에서는 일상적으로 사용되는 테이블과 상용 스마트 기기의 IMU(Inertial Measurement Unit) 센서를 활용하여 인에어 손 제스처를 인식하는 새로운 방식인 SURFING을 제안한다. SURFING은 테이블을 매개로 전달되는 진동 정보를 이용해 제스처를 인식하며, 적응형 임계값과 Idle 데이터를 활용한 노이즈 제거 기법, 시간 및 주파수 도메인에서 추출한 다양한 Feature를 이용한 분류 모델, 스마트워치 IMU 데이터를 활용한 양손 제스처 구분 기법 등을 적용하여 높은 Detection과 Classification 정확도를 달성한다. 15명의 사용자를 대상으로 한 평가 결과, 같은 환경에서 평균 94.7%의 분류 정확도를 기록하였으며, 다양한 테이블 환경에서도 최소한의 추가 학습만으로 평균 80% 이상의 인식 정확도를 유지하였다. 이는 상용 스마트 기기와 일상적인 테이블 환경에서 인에어 손 제스처를 정확하고 자연스럽게 인식할 수 있는 실용적이고 범용적인 솔루션으로서 SURFING의 가능성을 입증한다.

다국어 초록 (Multilingual Abstract)

Hand gestures are one of the most natural means of human communication, requiring minimal learning and offering universality that transcends language and culture. Leveraging these advantages, in-air hand gesture recognition technology enables intuitive and natural interaction between humans and computers in various scenarios, such as controlling smart home devices with simple hand movements, manipulating virtual objects in virtual reality, and seamlessly navigating slides during presentations. However, existing methods often rely on controllers, specialized sensors, or cameras, which limit usability, generalizability, and accuracy. This study proposes a novel in-air hand gesture recognition method, SURFING, which utilizes everyday tables and the IMU (Inertial Measurement Unit) sensors of commercial smart devices. SURFING recognizes gestures by leveraging vibration information transmitted through a table, applying techniques such as adaptive thresholds and Idle data-based noise removal, extracting diverse features from both time and frequency domains, and using smartwatch IMU data to distinguish between left and right hand gestures. These approaches achieve high detection and classification accuracy. Evaluations with 15 users demonstrated an average gesture classification accuracy of 94.7% under consistent conditions and above 80% accuracy in diverse table environments with minimal additional training. These results highlight SURFING’s potential as a practical and universal solution for accurate and natural in-air hand gesture recognition in everyday table-based environments using commercial smart devices.

목차 (Table of Contents)

• 1 Introduction 1
• 2 Related Works 7
• 2.1 컨트롤러를 이용한 손 제스처 인식 7
• 2.2 특수 센서를 활용한 손 제스처 인식 8
• 2.3 보편적인 센서를 이용한 손 제스처 인식 8
• 2.4 상용 기기를 이용한 손 제스처 인식 9
• 2.5 표면 기반 손 제스처 인식 10
• 3 Preliminaries 12
• 3.1 SURFING 동작 시나리오와 진동 전달 원리 12
• 3.2 제스처의 분류 가능성 14
• 3.3 SURFING 응용 예시 15
• 4 SURFING Overview 18
• 5 SURFING Design 21
• 5.1 Gesture Design 21
• 5.2 Gesture Detection 24
• 5.2.1 Phone and Watch Time Synchronization 25
• 5.2.2 Peak Detection and Window Extraction 26
• 5.2.3 Noise Filtering with Idle Class in Classification 28
• 5.3 Feature Extraction 29
• 5.4 Gesture Classification 30
• 5.4.1 Classifier Construction 31
• 5.4.2 Multi-class SVM Classification 32
• 5.4.3 L/R Gesture Differentiation 32
• 6 Implementation 36
• 7 Evaluation 38
• 7.1 Experiment Settings 38
• 7.2 SURFING Overall Classification Accuracy 39
• 7.3 SURFING Detection 성능 평가 40
• 7.4 SURFING Classification 성능 평가 43
• 7.5 트레이닝 데이터 수에 따른 Classification 성능 평가 49
• 8 Conclusion 51
• 국문초록 57
• Abstract 59