구동 메커니즘과 세밀한 접촉 제약을 고려한 이족 로봇의 모션 정제 및 모방 학습 = Motion Refinement and Imitation Learning for Biped Robots Considering Drive Mechanisms and Detailed Contact Constraints

국문 초록 (Abstract)

최근 휴머노이드 로봇의 제어를 위해 대규모 인간 모션 데이터를 활용하는 모방 학습(Imitation Learning)이 주목받고 있다. 그러나 인간과 로봇 간의 신체 구조적 차이(Embodiment Gap)를 극복하기 위한 기존의 리타겟팅 기법들은 주로 기구학적 유사성에만 집중하여, 실제 하드웨어의 동역학적 특성과 구동 메커니즘을 간과하는 경향이 있다. 특히, 최신 휴머노이드 로봇이 채택하고 있는 병렬 링크(Parallel Linkage)와 같은 복잡한 동력 전달 구조나 구동기의 토크-속도 한계(Torque-Speed Limit)를 무시함으로써, 생성된 궤적이 실제 로봇에서 구현 불가능하거나 심각한 Sim-to-Real 간극을 유발하는 문제가 발생한다.

본 논문에서는 이러한 문제를 해결하기 위해, 로봇의 기계적 메커니즘을 명시적으로 고려한 메커니즘 인지 모션 정제 및 모터 공간 학습(Mechanism-Aware Motion Refinement and Actuation-Space Learning) 프레임워크를 제안한다. 첫째, 최적화 기반의 모션 정제 단계에서는 로봇의 기구학적 폐루프(Closed-loop) 조건과 인간 보행의 생체역학적 원리에 기반한 발끝 및 뒤꿈치의 정밀 접촉 제약 조건을 도입하여 물리적으로 타당한 참조 궤적을 생성한다. 둘째, 정제된 데이터를 바탕으로 관절 공간이 아닌 실제 구동기가 동작하는 모터 공간(Motor Space)의 상태를 고려한 강화학습을 수행하여, 구동기의 물리적 한계 내에서 동작하는 강건한 제어 정책을 학습한다.

제안된 방법론의 유효성을 검증하기 위해 서로 다른 메커니즘을 가진 두 종의 휴머노이드 로봇에 대해 보행, 점프, 앉았다 일어나기 등의 동작을 적용하였다. 실험 결과, 본 방법론은 고역동 동작에서도 모터 포화 없이 안정적인 성능을 보였다. 특히, 복잡한 커플링 구조를 가진 실제 로봇(RoK-4)에 별도의 추가 튜닝 없이 학습된 정책을 성공적으로 적용함으로써, 제안하는 프레임워크가 하드웨어의 불확실성을 효과적으로 극복함을 입증하였다.

다국어 초록 (Multilingual Abstract)

Recently, Imitation Learning (IL) utilizing large-scale human motion data has gained significant attention for the control of humanoid robots. However, existing retargeting techniques designed to bridge the embodiment gap between humans and robots often focus primarily on kinematic similarity, tending to overlook the dynamic characteristics and actuation mechanisms of the actual hardware. In particular, by neglecting complex power transmission structures—such as the parallel linkages adopted by modern humanoid robots—and the torque-speed limits of actuators, these methods often generate trajectories that are physically infeasible on real hardware or lead to a significant Sim-to-Real gap.

To address these challenges, we propose a Mechanism-Aware Motion Refinement and Actuation-Space Learning framework that explicitly accounts for the robot's mechanical mechanisms. First, in the optimization-based motion refinement stage, we generate physically plausible reference trajectories by incorporating the robot's kinematic closed-loop constraints and precise toe and heel contact constraints derived from the biomechanical principles of human locomotion. Second, leveraging the refined data, we perform reinforcement learning within the actuation space—where the actual motors operate—rather than the joint space. This enables the learning of robust control policies that operate strictly within the physical limitations of the actuators.

To validate the effectiveness of the proposed methodology, we applied it to various motions—including walking, jumping, and sit-to-stand—across two types of humanoid robots with distinct mechanical structures. Experimental results maintains stable performance without motor saturation, even during highly dynamic maneuvers. Notably, we successfully deployed the learned policy directly onto a physical robot with complex coupling structures (RoK-4) without additional fine-tuning (Sim-to-Real), demonstrating that the proposed framework effectively overcomes hardware uncertainties.

목차 (Table of Contents)

• 1. Introduction 1
• 2. Related Work 4
• 2.1 Reinforcement Learning for Humanoid Control 4
• 2.2 Motion Imitation Learning for Humanoids 4
• 2.3 Motion Retargeting Techniques 5
• 2.4 Learning with Complex Actuation Mechanisms 5
• 3. Method 6
• 3.1 Motion Retargeting 6
• 3.1.1 Contact Detection 6
• 3.1.2 Keypoints Position Mapping 7
• 3.1.3 Inverse Kinematics (IK) 7
• 3.2 Optimization-based Motion Refinement 7
• 3.2.1 Task Definitions 8
• 3.2.2 Limits and Constraints 9
• 3.3 Imitation Learning with Asymmetric Actor-Critic 10
• 3.3.1 State and Action Spaces 10
• 3.3.2 Reward Function and Domain Randomization 11
• 4. Experiment 14
• 4.1 Experiment Setup 14
• 4.2 Motion Quality Analysis 16
• 4.2.1 CoM Trajectory Stability .16
• 4.2.2 Walking with Fine-Grained Contact 17
• 4.3 Simulation Results 18
• 4.3.1 Task 1: Up-Down Motion 18
• 4.3.2 Task 2: Walking Motion 19
• 4.3.3 Task 3: Jumping Motion 20
• 4.4 Sim-to-Real Application 22
• 5. Conclusion 23