Physically-Plausible Hand-Object Pose Refinement by Simulation based Optimization = 시뮬레이션 기반 최적화를 통한 물리적으로 타당한 손-물체 포즈 보정

다국어 초록 (Multilingual Abstract)

Widely used vision-based datasets, such as DexYCB, often suffer from a vision-physics mismatch, exhibiting artifacts like interpenetration or missed contacts when replayed in simulators. To bridge this gap, we propose a physics-integrated refinement framework that transforms physically flawed demonstrations into dynamically executable trajectories. We formulate refinement as a physics-based trajectory optimization problem, optimizing only the hand's actuation parameters to induce natural object motion. To ensure efficiency, we introduce an adaptive, failure-driven optimization strategy that triggers refinement only when physical inconsistencies are detected. This strategy allows the optimizer to dynamically skip over physically consistent segments, concentrating computational resources on resolving complex contact failures. By optimizing spline-parameterized corrective deltas via CMA-ES, we ensure temporal smoothness and computational efficiency.

Extensive experiments demonstrate that our approach significantly outperforms state-of-the-art policy-based methods, achieving a computational speedup of approximately 4.2X while consistently attaining lower tracking errors in both object pose and hand pose. Our framework effectively recovers physically valid, contact-rich interactions from noisy vision data.

국문 초록 (Abstract)

DexYCB와 같이 널리 사용되는 비전 기반 데이터셋은 물리 시뮬레이터에서 재생될 때 손과 물체 간의 관통(interpenetration)이나 접촉 누락과 같은 물리적 결함을 보이며, 이는 필연적으로 '비전-물리 불일치(vision-physics mismatch)' 문제를 야기합니다. 이러한 간극을 해소하기 위해, 본 논문에서는 물리적으로 결함이 있는 시연 데이터를 동적으로 실행 가능한 궤적으로 변환하는 새로운 물리 통합 정제 프레임워크를 제안합니다. 구체적으로, 이를 물리 기반 궤적 최적화 문제로 구성하여, 오직 손의 제어 파라미터만을 최적화하여 자연스러운 물체의 움직임을 유도합니다. 또한 효율성을 위해, 물리적 오류가 감지될 때만 정제 작업을 수행하는 적응형 실패 기반 최적화 전략(adaptive, failure-driven optimization strategy)을 도입합니다. 이 전략을 통해 물리적 정합성이 유지되는 구간은 최적화 대상에서 제외하고, 접촉 오류가 감지된 구간에 대해서만 최적화를 진행합니다. 또한 CMA-ES를 활용해 스플라인으로 파라미터화된 보정 델타(spline-parameterized corrective deltas)를 최적화함으로써, 동작의 시간적 연속성과 연산 효율성을 보장합니다.

실험 결과, 제안하는 방식은 최신 정책(policy) 기반 방법론을 크게 상회하는 성능을 입증하였으며, 약 4.2배의 연산 속도 향상을 달성함과 동시에 물체 포즈 및 손 관절 포즈 모두에서 더 낮은 오차를 보였습니다. 본 논문에서 제안한 방식은 노이즈가 포함된 비전 데이터로부터 물리적으로 타당하고, 접촉 정보를 포함하는 상호작용을 효과적으로 복원합니다.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• 1.1 Research Motivation 1
• 1.2 Contribution 3
• Chapter 2. Related Works 5
• 2.1 Dexterous Hand-Object Interaction Datasets 5
• 2.2 Dexterous Manipulation via Human Demonstration 6
• 2.3 Optimization for Physical Plausibility 7
• Chapter 3. Methodology 8
• 3.1 Preliminaries 9
• 3.1.1 Physical Simulator: NVIDIA Isaac Gym 9
• 3.1.2 Optimizer: CMA-ES 10
• 3.1.3 Hand Representation: MANO and Arti-MANO 11
• 3.2 Trajectory Parameterization and Optimization 11
• 3.2.1 Physical Hand Model and Latent Space Control 12
• 3.2.2 Temporal Optimization Strategy 13
• 3.3 Objective Function 16
• Chapter 4. Experiments 19
• 4.1 Experimental Setup 19
• 4.1.1 Dataset and Baseline 19
• 4.1.2 Evaluation Metrics 20
• 4.1.3 Implementation Details 21
• 4.2 Results 21
• 4.2.1 Computational Efficiency 22
• 4.2.2 Trajectory Quality and Success Rate 23
• 4.2.3 Qualitative Results 24
• 4.2.4 Generalization to MoCap-based Datasets 25
• 4.3 Ablation Studies 27
• Chapter 5. Conclusion 31
• 5.1 Summary 31
• 5.2 Limitations and Future Work 32
• 초록 38