Prototypical Network를 이용한 IMU 센서 데이터 기반의 손 제스처 인식 = IMU-Based Hand Gesture Recognition Using Prototypical Networks

국문 초록 (Abstract)

최근 메타버스, 가상현실(VR), 스마트 헬스케어 등 비대면 인터페이스의 중요성이 증대됨에 따라, 사용자와 컴퓨터 간의 직관적인 상호작용을 위한 손 제스처 인식 기술이 주목받고 있다. 본 연구에서는 스마트 워치로 수집된 IMU 센서 데이터를 이용하는 Prototypical Network 기반의 손 제스처 인식 모델을 제안한다. 제안된 모델은 15명의 피험자로부터 수집된 10가지의 숫자 제스처 데이터를 분류하는 실험에서 평균 정확도 86.20%를 달성하였다. 본 연구는스마트 헬스케어 및 메타버스 등 비대면 인터페이스가 필수적인 분야에서, 사용자가 별도의 복잡한 데이터 수집 과정없이 개인화된 제스처를 사용할 수 있게 함으로써 사용자 편의성과 시스템의 실용성을 높이는 데 활용될 것으로 기대된다.

다국어 초록 (Multilingual Abstract)

With the increasing importance of contactless interfaces in fields such as the metaverse, virtual reality (VR), and smart healthcare, hand gesture recognition technology has gained significant attention for enabling intuitive human-computer interaction. This study proposes a hand gesture recognition model based on Prototypical Networks that utilizes IMU sensor data collected from smartwatches. In experiments classifying ten types of numeric gestures collected from 15 subjects, the proposed model achieved an average accuracy of 86.20%. This study is expected to contribute to enhancing user convenience and system practicality in fields requiring contactless interfaces, such as smart healthcare and the metaverse, by enabling users to utilize personalized gestures without complex data collection processes.