생성모델 기반 댄스 동작 표현 및 분류 = Dance Motion Representation and Classification Based on Generative Model

국문 초록 (Abstract)

본 논문은 생성모델(Generative model)을 이용한 댄스 동작 표현과 분류를 다룬다. 일반적으로, 댄스 모션의 데이터는인체의 여러 관절 등의 운동이 야기하는 복잡한 정보가 결합된 고차원 시계열이다. 이러한 고차원 특징으로 말미암아, 스마트 폰 등의 기기를 통해 추출된 영상, 가속도(acceleration), 각속도(angular velocity)와 같은 시계열 데이터 정보를 직접사용하여 댄스 동작을 분석하는 것은 많은 어려움을 갖는다. 본 논문은 확률론적 생성모델을 기반으로, 스마트 폰에 장착된센서로부터 추출된 가속도, 각속도 등의 시계열 데이터 및 휴먼 포즈 키포인트(Human pose key points) 관련 영상 데이터를처리하여 댄스 동작에 대한 동적 특징을 저차원 잠재 공간 위에 표현하였다. 아울러 이러한 저차원 잠재 공간 표현을바탕으로 서로 다른 댄스 모션에 대한 특징을 순환신경망 분류기를 사용하여 구별하는 작업을 수행하였다. 이러한 실험결과는 본 논문에서 고려된 방법론의 생성모델 기반 댄스 동작 표현 및 분류에 대한 응용가능성을 보여준다.

다국어 초록 (Multilingual Abstract)

This paper addresses dance motion representation and classification utilizing generative model. Generally, dance motion data is a high dimensional time series that combines complex information involving various joint movements of the human body. Due to the high dimensional characteristics, it is very difficult to analyze dance motions directly utilizing images, acceleration, and angular velocity extracted from smartphone sensors. In this paper, we consider probabilistic generative model to represent the dynamic characteristics of dance motions in a low dimensional latent space by processing the acceleration, angular velocity, and human pose key points data extracted from smartphone sensors, Also, we perform the task of classifying different dance motions based on the low dimensional latent space representation and RNN(Recurrent neural network) classifiers. Our experimental results show applicability of the considered method on dance motion representation and classification based on generative model.

참고문헌 (Reference)

1 장문수, "제스처 인식과 센서를 이용한 프레젠테이션 제어 시스템" 한국지능시스템학회 21 (21): 481-486, 2011

2 오정석, "모션센서를 이용한 로봇의 디지털 영상 보정 기술" 한국지능시스템학회 19 (19): 317-322, 2009

3 음혁민, "모션 히스토리 영상 및 기울기 방향성 히스토그램과 적출 모델을 사용한 깊이 정보 기반의 연속적인 사람 행동 인식 시스템" 한국지능시스템학회 26 (26): 471-476, 2016

4 김경태, "딥 러닝과 Boosted Decision Tree를 활용한 고객 이탈 예측모델" 한국지능시스템학회 28 (28): 7-12, 2018

5 이상헌, "다차원 신경망 및 의사결정 신경망의 딥러닝 학습을 통한영상인식" 한국지능시스템학회 28 (28): 34-40, 2018

6 "https://opencv.org/"

7 Rezende, D. J., "Variational inference with normalizing flows"

8 Ji Yeon Kim, "Understanding Machine Learning Technologies" Dream media 2018

9 Krishnan, R. G., "Structured Inference Networks for Nonlinear State Space Models" 2101-2109, 2017

10 Rezende, D. J., "Stochastic backpropagation and approximate inference in deep generative models"

11 K ingma, D. P., "Semi-supervised learning with deep generative models" 3581-3589, 2014

12 Bishop, C.M, "Pattern Recognition and Machine Learning" Springer-Verlag 2006

13 Lin, T. Y., "Microsoft coco: Common objects in context" Springer 740-755, 2014

14 조용현, "MRI 영상의 전처리와 심층학습에 의한 뇌종양 진단보조 시스템 개발" 한국지능시스템학회 28 (28): 237-242, 2018

15 "M SCOCO keypoint evaluation metric"

16 K ingma, D. P., "Improved variational inference with inverse autoregressive flow" 4743-4751, 2016

17 Chan, C., "Everybody dance now"

18 김광일, "Context-Aware Information Provisioning for Vessel Traffic Service Using Rule-Based and Deep Learning Techniques" 한국지능시스템학회 18 (18): 13-19, 2018

19 Akmaljon Palvanov, "Comparisons of Deep Learning Algorithms for MNIST in Real-Time Environment" 한국지능시스템학회 18 (18): 126-134, 2018

20 K im, T., "Characterizing dynamic walking patterns and detecting falls with wearable sensors using Gaussian process methods" 17 (17): 1172-, 2017

21 Wingate, D., "Automated variational inference in probabilistic programming"

22 K ingma, D. P., "Auto-encoding variational bayes"

23 Chung, J., "A recurrent latent variable model for sequential data" 2980-2988, 2015

24 M oon-Soo Chang, "A method of gesture recognition using motion sensor and image analysis" 20 (20): 2010

25 Andriluka, M., "2d human pose estimation: New benchmark and state of the art analysis" 3686-3693, 2014