Vision-Based Gesture Recognition Using Temporal Data Representation and Metric Learning : 시계열 데이터 표현과 유사도 함수 학습을 통한 시각 기반 동작 인식

국문 초록 (Abstract)

본 논문에서는 시각 기반 동작 인식을 위한 시계열 데이터 표현 및 유사도 함수 학습을 특징으로 하는 동작 인식 프레임워크를 제안하였다. 시각 기반 동작 인식에서 사용되는 동작 데이터는 연속된 영상으로 구성된 데이터로 기기의 제어, 감시 영상, 게임 등 다양한 분야에서의 활용이 기대되는 많은 정보를 지니고 있으며, 스마트폰, 스마트TV와 같이 카메라를 내장한 ICT 기기의 대중화와 함께 그 활용에 대한 기대가 증가되고 있다.
본 논문에서는 동작 데이터를 프레임 단위로 나누어 특징 추출을 수행한 후 동작 단위로 재구성하여 특징 행렬로 표현함으로써 시퀀스 길이를 보존할 수 있도록 하였으며, 이는 기존의 동작 인식 방법들이 데이터 표현 단계에서 시퀀스 길이를 고정함으로써 발생하는 시간 정보의 손실을 방지하여 이어지는 인식 단계에서의 분류 성능을 향상 시킬 수 있다. 더불어 제안한 특징 행렬의 특성을 고려하여 이에 적합한 유사도 측정 방법을 개발하고, 이를 최근접 이웃 분류기에 적용하여 동작 인식을 수행함으로써 제안한 특징 행렬의 특성을 고려함과 동시에 동작의 추가/제거가 용이하도록 동작 인식 프레임워크를 구성하였다. 제안한 특징 행렬은 데이터마다 크기가 다르기 때문에 인식 단계에서 특징 행렬 사이의 유사도 계산에 어려움이 발생하였으나, 동적 시간 정합 (DTW)을 이용하여 시퀀스 크기를 정렬함으로써 이를 해결하였다. 한편 제안한 특징 행렬은 행과 열이 다른 의미를 가지고 있는데, 각 행은 하나의 차영상으로부터 특징 추출 과정을 거쳐 획득된 특징 벡터를 의미하며, 각 열은 특징 벡터를 구성하는 하나의 기저를 의미한다. 기존의 거리 함수들은 이러한 특성을 고려할 수 없는데 반해, 제안한 유사도 함수는 특징 행렬의 행과 열의 특성을 개별적으로 고려하여 유사도를 계산할 수 있을 뿐만 아니라 학습 과정을 통해 응용 목적에 적합한 유사도 함수를 제공함으로써 분류 성능을 향상 시킬 수 있었다.
제안된 방법의 효용성을 검증하기 위해 공용 벤치마크 데이터베이스를 사용한 실험을 수행하고, 결과에 대한 통계적 검증을 수행하였다. 그 결과 제안한 동작 인식 프레임워크가 기존의 방법에 비해 성능의 개선이 있음을 객관적으로 검증하였으며, 제안한 유사도 함수 또한 전통적인 유사도 함수에 비해 향상된 분류 성능을 제공함을 확인하였다. 더불어 제안한 방법을 활용하여 동영상에 포함된 사용자의 얼굴 및 동작 정보에 기반한 사용자 인증을 위한 다중 바이오 인식 시스템을 구성하였다. 이를 통해 제안한 동작 인식 프레임워크가 사용자 인증에도 유효하게 사용할 수 있음을 확인하였다. 또한 제안한 유사도 함수가 동작 데이터뿐만 아니라 얼굴 데이터에서도 유효함을 확인할 수 있었으며, 이는 다양한 분야에서의 활용 가능성을 보여준 것이라 할 수 있다. 특히 제안한 유사도 함수는 행렬 데이터뿐만 아니라 고차원 텐서 데이터에 대해서도 확장이 용이하다는 장점을 가지고 있으므로, 이러한 특성을 바탕으로 시각 데이터뿐만 아니라 다양한 분야의 데이터에 대한 유사도 측정에서도 활용될 수 있을 것으로 기대된다. 한편 제안한 동작 인식 프레임워크는 유사한 패턴을 가진 동작들을 구분하는데 있어서는 어려움이 있었는데, 이를 해결하기 위해서는 데이터가 가진 시간 정보의 보존과 함께 보다 높은 수준의 의미론적 정보를 획득하기 위한 연구가 필요하다고 생각된다.

목차 (Table of Contents)

• I. Introduction 1
• II. Related Works 8
• 2.1 Gesture Data Representation 8
• 2.1.1 Global Representations 8
• 2.1.2 Local Representations 14
• 2.2 Classification 19
• 2.2.1 Direct Classification 20
• 2.2.2 Temporal State-Space Models 21
• 2.3 Similarity Measures 23
• III. Proposed Framework for Gesture Recognition 32
• 3.1 Overall Structure 32
• 3.2 Gesture Data Representation 34
• 3.3 Classification Using Proposed Similarity Measure 40
• IV. Experiments and Discussion 50
• 4.1 Databases for Experiments 50
• 4.1.1 Cambridge hand gesture database 50
• 4.1.2 ChaLearn gesture database 53
• 4.1.3 Sheffield Kinect Gesture (SKIG) database 55
• 4.2 Performance Evaluation 58
• 4.2.1 Data Representation 58
• 4.2.2 Similarity Measure 65
• 4.2.3 Further Evaluation and Analysis 70
• 4.3 Application of the Proposed Framework 81
• V. Conclusions 89
• References 91