지면의 기하학적 정보를 이용한 모델기반 발 자세 추적에 관한 연구

국문 초록 (Abstract)

발의 자세 추적은 발이 가지는 형상과 복잡한 움직임 때문에 신체 부위들 중에서도 가장 어렵다. 발을 인터페이스로 포함하는 응용들은 초기에 발이 놓일 바닥의 압력만을 센싱하는 하드웨어들의 기능을 확장하는 대안으로 이미지 기반 기술을 사용했다. 카메라를 통해 취득된 영상에서 발을 바닥과 구별하고, 위치와 자세를 판별하여 이것을 발의 자세로 반영했다. 이미지 기반 기술은 구현 방법이 매우 간단해서, 연산 시간이 빠르고 하드웨어와 비교했을 때 설치 비용이 적다는 것이 가장 큰 이점이다. 이러한 이점은 모바일 같은 저사양 환경에서도 매우 유용하게 활용되어왔다. 본 논문에서는 기존의 모델 기반 사영 관계에 바닥 평면을 포함하는 새로운 기하 구조에서의 발 자세 추적을 제안한다. 일반적으로 발 자세 추적은 모델 기반의 자세 추정 기술을 포함한다. 모델 기반 기법에 따라 카메라의 시점은 영상 좌표와 3차원 모델의 포인트 사이의 사영 관계를 알 수 있는 가장 확실한 기하 정보로 제공된다. 그러나, 자기 가려짐은 정확한 자세 추정을 위해 해결되어야 하는 가장 중요한 문제다. 이러한 문제를 극복하기 위해 본 논문은 카메라와 지면 사이의 사영 관계를 이용해 발의 자세를 추정한다. 제안 방법은 두 개의 관절점들 (발목점과 발끝점)이 각각 yaw축과 roll축에 위치하는 모델을 사용했으며, 발의 자세는 모델의 yaw축의 회전으로 결정된다. 제안한 방법은 다음의 주요 과정을 포함한다. 먼저, 지면과 카메라 사이의 사영 관계는 평면 호모그래피를 사용해 교정하고, 지면 좌표계를 생성한다. 그리고 연속된 영상들의 밝기 변화에 기반하는 3차원 모션 추정 방법에 따라, 공간 좌표계에서 관절점들의 위치를 결정한다. 마지막으로, 사원수 회전 변환을 이용해 관절점들의 위치 값으로부터 발의 자세를 결정하는 파라미터를 산출한다. 실험 결과는 제안한 방법과 기존의 방법을 비교해 향상된 정확도를 검증한다. 또한, 제안한 방법이 의해 발의 자세가 연속 영상에서 자유롭게 추적됨을 보여준다.

다국어 초록 (Multilingual Abstract)

Foot pose tracking using image sequences is one of the most important parts compared with the other human body parts because the foot has many surfaces and engages in many complex movements. Motion tracking of foot pose has been mainly used for entertainment, sports clinic, intelligent vehicle, and other applications including a gait analysis. Gait analysis involves the measurement of kinematics, and is interested in estimating foot pose, foot angle and step length. These applications have evolved from early systems that recognized foot area by sensing the pressure of the foot on the ground to image-based techniques that can estimate foot pose without direct contact. This technique is easily implemented, has a slow time complexity, and requires low cost for establishment and maintenance in comparison with other hardware equipment. For this reason, image-based techniques are widely applied to limited resource systems, such as embedded or mobile systems using a single camera. This dissertation
proposes a new approach to estimate foot pose based on projective relationship between a camera and the ground plane. Foot pose tracking is generally used in a model based pose estimation which uses projective relationship between observed images and 3-dimensional foot model. Under this model-based approach, the camera viewpoint provides reliable geometric information for analyzing the relationship between foot images and the corresponding 3-dimensional model. However, when self-occlusion occurs according to the foot movement, it decreases the validity of the projective relation. To overcome the problem of invalid correspondence for self-occlusion, our approach is used in models to locate joints, the ankle and the tiptoe points for the yaw and the roll-axis, respectively. Foot pose is determined by the yaw-axis rotation. Our method involves the following phases: First, the projective relationship between the ground plane and the camera is corrected by the homography and we then generate the coordinates of the ground plane which is referred for foot pose estimation. Next, position of joints is determined by the 3-dimensional motion estimation based on intensity gradients. We finally compute parameters which decide foot pose from position of joints by using the quaternion theory. Experimental results show sequential image errors between the proposed method and other approaches. We also demonstrate that our approach was more accurate than those of the conventional foot pose.

목차 (Table of Contents)

• 제１장 서 론 1
• 1.1 연구 배경 2
• 1.2 연구 목적 및 내용 9
• 1.3 논문 구성 12
• 제２장 모델기반 발자세 추정 13
• 2.1 발 자세 추정을 위한 기하모델 14
• 2.1.1 카메라 사영 모델 14
• 2.1.2 카메라 캘리브레이션 18
• 2.2 모델 기반 3차원 자세 추정 20
• 2.2.1 3차원 모델 기반 자세 추정의 개념 20
• 2.2.2 형상 정보 기반 자세 추정 22
• 2.2.3 사영 기하 정보 기반 자세 추정 24
• 2.3 3차원 모션 기반 자세 추정 26
• 제３장 지면 기하정보 기반 발 자세 추정 29
• 3.1 3차원 발 모델 30
• 3.2 모델 기반 발 자세 추정 31
• 3.2.1 영상에서의 관절점 검출 31
• 3.2.2 3차원 모션 정보 기반 발 자세 추정 35
• 3.2.3 발의 3차원 정보 복원 39
• 3.3 지면기하 모델을 이용한 3차원 발 자세 추정 40
• 3.3.1 평면 호모그래피에 의한 지면 정보의 생성 40
• 3.3.2 회전 체계의 생성 44
• 3.3.3 직교 사영에 의한 부정합 보정 47
• 제４장 실험 및 결과 50
• 4.1 실험 데이터의 취득 51
• 4.2 정확도 검증 실험 52
• 4.2.1 지면정보의 생성 52
• 4.2.2 3차원 위치정보의 정확도 55
• 4.3 비교 실험 56
• 4.3.1 자세 추정 오차 57
• 4.3.2 연속 영상에서의 발의 회전 63
• 4.3.3 연속 영상에서의 발의 이동 67
• 4.4 연속 영상에서의 발 자세 추적 실험 70
• 제５장 결론 74
• 참고문헌 78
• 부록 A. 사원수 회전체계 83
• 국 문 초 록 85
• Abstract 87