수화 패턴 인식을 위한 2단계 신경망 모델

국문 초록 (Abstract)

본 논문에서는 착용식 추적장치나 표식 등의 보조 도구를 사용하지 않는 환경의 동영상 데이터로부터 수화 패턴을 인식하는 방법론에 관하여 고찰한다. 시스템 설계 및 구현에 관한 주제로서 특징점의 추출기법, 특징데이터의 표현기법 및 패턴 분류기법에 관한 방법론을 제시하고 그 유용성을 고찰한다. 일련의 동영상으로 표현되는 수화패턴에 대하여 특징점의 공간적 위치에 대한 변이 뿐만아니라 시간차원의 변화를 고려한 특징데이터의 표현방법을 제시하며, 방대한 데이터에 의한 분류기의 크기 문제와 계산량의 문제를 개선하기 위하여 효과적으로 특징수를 줄일 수 있는 특징추출 방법을 소개한다. 패턴 분류과정에서 점진적 학습(incremental learning)이 가능한 신경망 모델을 제시하고 그 동작특성 및 학습효과를 분석한다. 또한 학습된 분류모델로부터 특징과 패턴 클래스 간의 상대적 연관성 척도를 정의하고, 이로부터 효과적인 특징을 선별하여 성능저하 없이 분류기의 규모를 최적화 할 수 있음을 보인다. 제안된 내용에 대하여 여섯 가지 수화패턴을 대상으로 적용한 실험을 통하여 유용성을 평가한다.

다국어 초록 (Multilingual Abstract)

In this paper, we present a sign language recognition model which does not use any wearable devices for object tracking. The system design issues and implementation issues such as data representation, feature extraction and pattern classification methods are discussed. The proposed data representation method for sign language patterns is robust for spatio-temporal variances of feature points. We present a feature extraction technique which can improve the computation speed by reducing the amount of feature data. A neural network model which is capable of incremental learning is described and the behaviors and learning algorithm of the model are introduced. We have defined a measure which reflects the relevance between the feature values and the pattern classes. The measure makes it possible to select more effective features without any degradation of performance. Through the experiments using six types of sign language patterns, the proposed model is evaluated empirically.

목차 (Table of Contents)

• 요약
• Abstract
• 1. 서론
• 2. 배경 연구
• 3. 수화 패턴에 대한 특징표현
• 4. CNN모델을 사용한 특징지도 생성
• 5. 하이퍼박스 기반의 패턴 분류 모델
• 6. 특징 분석 기법
• 7. 실험 결과
• 8. 결론
• 참고문헌
• 저자소개

참고문헌 (Reference)

1 Cen Rao, "View-Invariant Representation and Recognition of Actions" 50 (50): 203-226, 2002

2 Hung-Ming Sun, "Skin Detection for Single Images using Dynamic Skin Color Modeling" 43 : 1413-1420, 2010

3 Mahmoud M. Zaki, "Sign Language Recognition using a Combination of New Vision Based Features" 32 (32): 572-577, 2011

4 B. Gabrys, "General Fuzzy Min-Max Neural Network for Clustering and Classification" 11 (11): 769-783, 2000

5 Chia-Feng Juang, "Fuzzy System Learned Through Fuzzy Clustering and Support Vector Machine for Human Skin Color Segmentation" 37 (37): 1077-1087, 2007

6 Patrick K. Simpson, "Fuzzy Min-Max Neural Network- Part1 : Classification" 3 (3): 776-786, 1992

7 Ming-Hsuan Yang, "Extraction of 2D Motion Trajectories and Its Application to Hand Gesture Recognition" 24 (24): 1061-1074, 2002

8 Ruiduo Yang, "Coupled Grouping and Matching for Sign and Gesture Recognition" 113 : 663-681, 2009

9 Cristophe Garcia, "Convolutional Face Finder: A Neural Architecture for Fast and Robust Face Detection" 26 (26): 1408-1423, 2004

10 Sylvie C.W. Ong, "Automatic Sign Language Analysis: A Survey and Future beyond Lexical Meaning" 27 (27): 873-891, 2005

11 Ho-Joon Kim, "A Weighted FMM Network and Its Application to Face Detection" 4233 : 177-186, 2006

12 Chia-Feng Juang, "A Recurrent Fuzzy Network for Fuzzy Temporal Sequence Processing and Gesture Recognition" 35 (35): 646-658, 2005

13 Anas Wuteishat, "A Modified Fuzzy Min-Max Neural Network With A Genetic-Algorithm-Based Rule Extractor for Pattern Classification" 40 (40): 641-650, 2010