Learning agile navigation over diverse terrain for a humanoid robot using learning based approach

국문 초록 (Abstract)

본 논문은 10자유도 이족 보행 휴머노이드 로봇이 다양한 지형 환경에서 민첩하고지형 인지적인 보행을 수행할 수 있도록 하는 통합 학습 기반 프레임워크를 제안하고,시뮬레이션에서 학습된 제어기를 실제 로봇으로 효과적으로 이전하는 방법을 제시한다. 제안된 접근법은 강화학습, 모방학습, 확산 기반 동작 생성 모델, 그리고 물리기반 시뮬레이션-현실 이전 기법을 유기적으로 결합한다.먼저, 주기적 보행과 비주기적 동작을 동시에 학습할 수 있는 통합 보상 함수설계를 통해, 별도의 동작 프라이어 없이도 다양한 보행 패턴과 점프 동작을 학습할수 있도록 한다. 이후, 특징 기반 및 적대적 모방학습 기법을 활용하여 자연스러운동작 프라이어를 도입함으로써, 학습된 기술의 품질과 데이터 효율성을 향상시킨다.복잡한 지형에 대한 일반화를 위해, 높이맵과 명령 입력을 조건으로 하는 확산 기반 모델을 사용하여 단기 동작 시퀀스를 생성하고, 이를 물리 기반 제어기를 통해안정적으로 추종한다.마지막으로, 시스템 식별, 비접촉 구동기 보정, 잔차 동역학 학습, 그리고 하드웨어인 더 루프 실험을 포함하는 종합적인 시뮬레이션-현실 이전 파이프라인을 구축한다.실험 결과, 제안된 프레임워크는 시뮬레이션에서 학습된 보행 기술을 실제 휴머노이드 로봇으로 성공적으로 이전할 수 있음을 보여주며, 다양한 지형 환경에서의 강인한이동 능력을 달성함을 확인하였다.

다국어 초록 (Multilingual Abstract)

This thesis presents a unified learning-based framework for enabling a10-DoF biped humanoid robot to perform agile, terrain-aware locomotionand transfer learned controllers from simulation to reality. The approach in-tegrates reinforcement learning, imitation learning, diffusion-based motiongeneration, and physics-grounded sim-to-real techniques.First, a unified reward formulation enables both periodic and non-periodiclocomotion, allowing the robot to learn diverse gaits and jumping behaviorswithout motion priors. Next, feature-based and adversarial imitation learningprovide naturalistic motion priors that improve skill quality and data effi-ciency. To generalize locomotion to complex terrains, a diffusion-based model1generates short-horizon motions conditioned on heightmap and command in-puts, which are tracked using a physics-based controller.Finally, system identification, contact-free actuator calibration, residualdynamics learning, and hardware-in-the-loop testing form a complete sim-to-real pipeline. The resulting framework enables robust locomotion skills thattransfer successfully from simulation to the physical robot.

목차 (Table of Contents)

• 1 Introduction and System Overview 1
• 1.1 Background, Motivation and Related Works 1
• 1.2 Research Objectives and Approaches 7
• 1.3 System Overview 9
• 2 Learning Expert Skills With and Without Motion Priors 17
• 2.1 Introduction 17
• 2.2 Learning Expert Skills Without Motion Priors 19
• 2.2.1 Case Study: Learning Walking All Common Bipedal Gaits 19
• 2.2.2 Case Study: Learning Jumping Over the Obstacles 33
• 2.2.3 Key Findings 40
• 2.3 Learning Expert Skills With Motion Priors 41
• 2.3.1 Feature-Based Learning from Motion Priors 41
• 2.3.2 GAN-Based Learning from Motion Priors 49
• 2.3.3 Key Findings 59
• 3 Terrain-Aware Motion Planning with a Diffusion Model 61
• 3.1 Introduction 62
• 3.2 Diffusion Model 63
• 3.2.1 Forward diffusion process 63
• 3.2.2 Reverse denoising process 63
• 3.2.3 Training objective 63
• 3.3 Learning Motion Capture Data Distributions with Diffusion Model 64
• 3.4 Terrain-Conditioning for Steering Generation Process of Diffusion Model 65
• 3.5 Loop between Skilled Policy and Diffusion Model for Diverse Terrain 69
• 3.5.1 Physics-based tracking controller 69
• 3.5.2 Plannertracker feedback loop 71
• 3.5.3 Iterative physics alignment 71
• 3.5.4 Key Findings 72
• 4 Sim-to-Real Deployment of Learning-Based Controllers 73
• 4.1 Introduction 73
• 4.2 Data Collection 75
• 4.2.1 Experimental Setup 75
• 4.2.2 Excitation Trajectories 78
• 4.2.3 Measurement and Logging 84
• 4.2.4 Collected Dataset and Usage 84
• 4.3 Physical Parameter Estimation via Inversed Dynamics 85
• 4.3.1 Multibody System Dynamics 86
• 4.3.2 Least-Squares Formulation 88
• 4.3.3 QR-Based Solution 89
• 4.3.4 Results 90
• 4.3.5 Key Findings 94
• 4.4 Residual Dynamic Learning with Reinforcement Learning 94
• 4.4.1 Motivation and Formulation 95
• 4.4.2 Residual Dynamics Model 95
• 4.4.3 Reinforcement Learning Objective 96
• 4.4.4 Residual Reward Design 96
• 4.4.5 Training and Deployment Pipeline 97
• 4.4.6 Results 98
• 4.4.7 Key Findings and Discussion 101
• 4.4.8 Deployment of Walking Policy on Real Robot 102
• 5 Conclusions 109
• Bibliography 111
• 국문요약 119