확률 그래프 모델 학습을 이용한 효과적인 행위 인식

국문 초록 (Abstract)

본 논문에서는 Kinect와 같은 RGB-D 카메라를 이용하여 신체 포즈 데이터를 생성하고, 이로부터 사람의 일상 행위를 효과적으로 인식하는 방법을 제안한다. Kinect SDK 또는 OpenNI 등의 라이브러리에서 제공하는 신체 포즈 추정기들은 실시간으로 입력된 깊이 영상으로부터 실험자의 신체를 구성하는 각 관절의 3차원 위치를 추정하여 신체 포즈 데이터로 제공한다. 하지만 이러한 실시간 신체 포즈 데이터는 카메라를 중심으로 하는 3차원 데카르트 좌표계로 표현된다. 이로 인해 신체 포즈 데이터는 카메라의 상대적인 위치와 실험자의 신체 조건들에 따라서 값이 변화하는 시점 변화 문제와 크기 변화 문제를 내포한다. 본 논문에서는 이러한 시점 변화 문제와 크기 변화 문제를 해소하기 위해, 실험자의 골반 중심 위치를 원점으로 하는 구면 좌표계를 적용하고 실험자의 팔 길이를 이용한 크기 정규화를 수행한다. 또한, 일반적인 고수준의 일상 행위들이 가지는 다양한 내부 구조를 표현하기 위해, 확률 그래프 모델 중 하나인 은닉 조건부 랜덤 필드 모델을 이용한다. 그리고 서로 다른 두 가지 데이터 집합인 KAD-70과 CAD-60을 이용하여 실험을 진행하였다. 그 결과 KAD-70 데이터 집합에서 90.0% 그리고 CAD-60 데이터 집합에서 89.2%의 높은 성능을 확인할 수 있었다.

다국어 초록 (Multilingual Abstract)

In this paper, we propose an effective method for recognizing daily human activities from a stream of body pose data, which can be obtained by using Kinect-like RGB-D sensors. However, these body pose data represented in the 3D Cartesian coordinate system, the origin of which is located on the center of Kinect-like RGB-D sensors. Thus, the body pose data may suffer from both the view variance problem and the scale variance problem. In order to resolve the problem and get the view-invariant and scale-invariant features, we transform the body pose data into the spherical coordinate system of which the origin is placed on the center of the subject's hip, and then perform on them the scale normalization using the length of the subject's arm. In order to represent effectively complex internal structures of high-level daily activities, we utilize Hidden state Conditional Random Field, which is one of probabilistic graphical models. Through various experiments using two different datasets, KAD-70 and CAD-60, we showed high performance at 90.0% and 89.2% of our method.

목차 (Table of Contents)

• 제 1 장 서 론 1
• 제 1 절 연구배경 1
• 제 2 절 연구목표 3
• 제 2 장 이론적 배경 4
• 제 1 절 RGB-D 카메라 기반의 행위 인식 4
• 제 2 절 신체 포즈 기반의 특징 추출 10
• 제 3 절 확률 그래프 모델 14
• 제 3 장 특징 추출 22
• 제 1 절 좌표계 중심 변환 22
• 제 2 절 크기 정규화 24
• 제 3 절 구면 좌표계 변환 25
• 제 4 절 벡터 양자화 27
• 제 4 장 모델 학습 및 적용 28
• 제 1 절 모델 학습 28
• 제 2 절 행위 인식 31
• 제 5 장 실험 33
• 제 1 절 실험 데이터 33
• 제 2 절 행위 인식 성능 분석 35
• 제 1 항 특징 별 성능 분석 35
• 제 2 항 HCRF 모델의 구조별 성능 분석 36
• 제 3 항 학습 모델별 성능 분석 38
• 제 4 항 히스토리 사이즈별 성능 분석 40
• 제 6 장 결론 41
• 참 고 문 헌 42
• Abstract 46