연속적인 전신 제스쳐의 강인한 적출 및 인식 = Robust Spotting and Recognition of Continuous Whole Body Gestures

국문 초록 (Abstract)

강인한 제스쳐 인식을 위해서는 연속적인 전신 제스쳐의 입력으로부터 의미있는 행동을 분할하는 것이 필요하다. 하지만 이러한 문제는 비 제스쳐의 패턴을 정의 할수 없기 때문에 어려운 문제이다. 본 논문은 연속적인 전신 제스쳐의 강인한 적출 및 인식을 위한 새로운 방법을 제안하였다. 첫째, 의미있는 제스쳐을 적출하기 위해 우리는 입력 영상과의 확률값을 계산하는 제스쳐 모델을 생성하였다. 이 모델은 입력 제스쳐와의 확률값을 제공하는 견고한 방법이며, 비 제스쳐를 제거할 수 있는 상대적인 기준값을 제공하여 준다. 이 모델은 입력 영상과의 확률 계산을 통해 비 제스쳐 부분을 제거하여 HMM 인식기에 의미 있는 부분만을 전달하게 된다. 따라서 오직 의미있는 제스처만이 인식기에 의해 분류되어지며, 마지막으로 제스처를 표현하는 HMM 중에서 가장 높은 값을 가지는 제스처를 입력 영상의 제스처로 인식하게 된다.
우리의 방법은 20사람의 행동을 3차원 캡쳐 기술을 이용하여 수집된 데이터와, eigengesture와 Gaussian의 분포에 의해 생성된 계수를 이용하여 생성된 80개의 데이터를 이용하여 실험하였다. 제안한 방법에 의해 6개의 의미있는 제스쳐와 다른 비 제스쳐가 함께 입력되어진, 연속적인 입력 영상에 대해 93.7%의 적출성능과, 98.3%의 인식률을 얻을 수 있었다.

다국어 초록 (Multilingual Abstract)

Robust gesture recognition requires that the meaningful gestures from continuous whole body gestures are segmented. That problem is challenging because it is difficult to model non-gesture pattern. This paper presents a new technique for spotting and recognition of whole body gestures at the same time. First, in order to spot meaningful gestures, we introduce the non-gesture model, which calculates the likelihood of an input sequence. The model provides a confirmation mechanism for the provisionally matched gesture sequence and it can be used as an adaptive confidence measure for selecting proper gestures. The proposed method rejects the non-gesture sequence in continuous input stream so that our recognizer can classify the only meaningful gestures. Then only meaningful gestures are transferred to the defined gesture HMMs. Finally, the gesture HMM which has the highest likelihood is determined as recognized gesture.
Our method has been tested with 20 persons’ 3D motion capture data and 80 generated data by using eigengestures and Gaussian random variables for sufficient and adequate variations. It achieves the average recognition rate of 98.3% and the reliability rate of 93.7% with continuous gestures which contain 6 key gestures and various non-gestures.

목차 (Table of Contents)

• Contents
• 1. Introduction
• 2 Related Work
• 2.1 Template Matching method
• 2.2 State-Space Based method
• 3. Gesture Representation
• 3.1 Feature Extraction from Body Components
• 3.2 Feature Trajectory
• 3.3 Clustering the Features Using Gaussian Mixture Models
• 4. Key Gesture Spotting and Recognition
• 4.1 Non-Gesture Model
• 4.2 Key Gesture Spotting
• 4.3 Key Gesture Recognition
• 5. Experimental Results and Analysis
• 5.1 Experimental Data
• 5.2 Key Gesture Spotting Results
• 5.3 Recognition Results
• 6. Conclusions and Further Research
• References
• List of Figures
• Fig. 1. The needs of gesture spotting
• Fig. 2. The general method example of matching reference gesture pattern to all possible gesture segmentation
• Fig. 3. A block diagram of the proposed gesture spotting
• Fig. 4. Detection of each component in image sequence using 3D modeling
• Fig. 5. Features extracted from each body component
• Fig. 6. Feature trajectories of different gestures
• Fig. 7. Example of the various non-gesture patterns
• Fig. 8. Two fully connected non-gesture model structures
• Fig. 9. The non-gesture model
• Fig. 10. Our key gesture spotting network
• Fig. 11. The likelihood of the Non-gesture model
• Fig. 12. Left-right HMM model for gesture recognition
• Fig. 13. Examples of 14 gestures
• Fig. 14. The method of generation new gestures using eigen gesture
• Fig. 15. Continuous image streams with non-gesture and key gestures
• Fig. 16. The likelihood evolution of the non- gesture and gesture models in our method
• Fig. 17. The gesture segmentations by Kahol et al.’s method
• Fig. 18. The comparison of the proposed method and Kahol et al.'s method