Global Human Mesh Reconstruction with Anchor-guided Trajectory Estimation = 앵커 기반 궤적 예측을 통한 글로벌 사람 메쉬 복원

다국어 초록 (Multilingual Abstract)

Even though various studies have shown remarkable advancements in global human mesh reconstruction, most of those methods rely heavily on off-the-shelf SLAM algorithms or gyroscope measurements to transform mesh vertices from the camera coordinate to the world coordinate. To cope with this limitation, several approaches have been proposed to recover global human motions from local human poses, yet they still struggle to generate natural motions in complex scenarios. In this paper, we propose a simple yet effective method that predicts the global human trajectory to reconstruct temporally consistent 3D human meshes in the world coordinate based on a set of pre-defined directional vectors, called anchors. The key idea of the proposed method is to estimate the global trajectory by accumulating frame-wise translations, where each translation consists of two components, i.e., direction and magnitude. Specifically, each translation is estimated by determining the optimal direction selected from a set of anchors and then combining it with the magnitude value, which is learned through the proposed network. Such anchor-guided trajectory helps reduce noisy predictions by constraining the direction of the body translation to a set of plausible candidates. In addition, we propose to estimate relative 3D rotations with respect to a template orientation. This residual learning scheme is highly effective in capturing subtle changes in body orientations while reducing unexpected body rotations. Experiments on benchmark datasets show that the proposed method successfully improves the performance of 3D human mesh reconstruction in the world coordinate. Keyword : Anchor-guided trajectory, global human trajectory, video-based human mesh reconstruction.

국문 초록 (Abstract)

다양한 연구들이 전역적 사람 메쉬 복원 분야에서 눈부신 발전을 보여왔지만, 대부분의 기존 방법들은 메쉬 정점을 카메라 좌표계에서 월드 좌표계로 변환하기 위해 SLAM 알고리즘이나 자이로스코프 측정값에 크게 의존한다. 이러한 한계를 극복하기 위해, 지역적 인간 자세로부터 전역적 움직임을 복원하려는 여러 접근 방법들이 제안되었으나, 복잡한 시나리오에서 자연스러운 움직임을 생성하는데 여전히 어려움을 겪고 있다. 본 논문에서는 앵커라고 불리는 사전 정의된 방향 벡터 세트를 기반으로 전역적 사람 궤적을 예측하여 시간적으로 일관된 3차원 사람 메쉬를 월드 좌표계에서 복원하는 간단하면서도 효과적인 방법을 제안한다. 제안하는 방법의 핵심 아이디어는 프레임 단위의 이동을 누적하여 전역적 궤적을 추정하는 것이다. 이때 각 이동은 방향과 크기라는 두 가지 구성 요소로 나뉜다. 구체적으로, 각 이동은 앵커 세트에서 최적인 방향을 결정한 다음, 이를 제안하는 네트워크를 통해 학습된 크기 값과 결합하여 추정된다. 이러한 앵커 유도 궤적은 신체 이동 방향을 그럴듯한 후보군으로 제약함으로써 노이즈가 심한 예측을 줄이는 데 도움을 준다. 추가적으로, 우리는 템플릿 방향에 대한 상대적인 3차원 회전을 추정하는 잔차 학습 기법을 제안한다. 이 기법은 예상하지 못한 신체 회전을 줄이는 동시에 미묘한 변화를 포학하는데 매우 효과적이다. 벤치마크 데이터셋에 대한 실험 결과는 제안하는 방법이 월드 좌표계에서의 3차원 사람 메쉬 복원 성능을 성공적으로 향상시킴을 보여준다.

목차 (Table of Contents)

• List of Tables ⅱ
• List of Figures ⅲ
• ABSTRACT Ⅴ
• Ⅰ. Introduction 1
• Ⅱ. Related Works 4
• 2.1. Image-based Method 5
• 2.2. Video-based Method 6
• Ⅲ. Proposed Method 8
• 3.1. Overview 8
• 3.2. Anchor-guided Trajectory Decoder 11
• 3.3. Loss Function 15
• Ⅳ. Experimental Results 16
• 4.1. Implementation Detail 16
• 4.2. Dataset 18
• 4.3. Evaluation Metric 20
• 4.4. Performance Evaluation 22
• 4.4.1. Quantitative Evaluation 22
• 4.4.2. Qualitative Evaluation 24
• 4.5. Ablation Study 25
• Ⅴ. Conclusion 26
• References 27
• Abstract (in Korean) 36