miniRoK :병렬메커니즘 이족로봇설계 및 위상행렬 노이즈를 적용한 강화학습제어 = miniRoK : Design of a Parallel Mechanism Bipedal Robot and Reinforcement Learning Control via Topology Matrix Noise

국문 초록 (Abstract)

정형화된 환경을 넘어 실제 환경에서 복잡한 임무를 수행하는 휴머노이드 로봇의 발전은 메커니즘 설계와 제어 시스템의 혁신에 의해 가속화되고 있다. 보행 제어 분야에서는 강화학습이 비정형 환경에서 강인한 보행을 생성하는 핵심 방법론으로 자리 잡았으며, 메커니즘 분야에서는 구조적 강성과 동적 성능을 확보하기 위해 직병렬 혼합 구조가 널리 채택되고 있다. 하지만, 직렬 메커니즘은 학습 기반 제어를 개발하는 데 있어 최적화가 쉬운 반면, 병렬 메커니즘 기반은 복잡하게 결합된 동역학(Coupled dynamics)으로 인해 시뮬레이션 구현이 까다롭고 연산 비용이 높다는 한계를 가진다. 이는 강화학습의 성공에 필수적인 Sim-to-Real 과정에 있어 주요한 걸림돌이 된다.

이에 본 연구에서는 병렬 메커니즘이 내재한 Sim-to-Real 격차를 해소하기 위한 새로운 프레임워크와, 이를 적용한 독자적인 이족 로봇 'miniRoK'를 제안한다. 제안하는 프레임워크는 모터 구동부와 최종 관절 사이의 기구학적 관계를 명시하는 'Topology Matrix'를 도입하여, 시뮬레이션상에서는 학습 효율이 높은 직렬 모델을 사용하면서도 실제 로봇의 병렬 구동 특성을 정확히 모사하도록 설계하였다. 특히, 실제 하드웨어의 기구학적 유격과 오차를 극복하기 위해 위상행렬에 스케일링 노이즈(Scaling Noise)를 주입하는 도메인 무작위화 기법을 적용하여 강인성을 확보하였다.

제안된 방법론의 유효성을 검증하기 위해, 주기적 보상(Periodic Reward) 기반의 강화학습을 통해 Isaac Sim 환경에서 걷기, 점프 등 다양한 보행 정책을 생성하였다. 이후 학습된 정책의 범용성을 확인하고자 물리 엔진이 상이한 Gazebo 및 MuJoCo 환경에서 Sim-to-Sim 교차 검증을 수행하였으며, 최종적으로 실제 로봇 'miniRoK'에 성공적으로 정책을 이식하여 제안하는 프레임워크가 병렬 메커니즘의 Sim-to-Real 문제를 효과적으로 해결함을 입증하였다.

다국어 초록 (Multilingual Abstract)

The advancement of humanoid robots, capable of performing complex tasks in real-world environments beyond structured settings, is being accelerated by innovations in mechanical design and control systems. In the field of locomotion control, reinforcement learning has established itself as a core methodology for generating robust gaits in unstructured environments. Concurrently, in mechanical design, hybrid serial-parallel structures are widely adopted to ensure structural rigidity and dynamic performance. However, while serial mechanisms are relatively easy to optimize for developing learning-based control, parallel mechanism-based systems face limitations due to complex coupled dynamics, which make simulation implementation difficult and computational costs high. This poses a major obstacle in the Sim-to-Real process, which is essential for the success of reinforcement learning.

To address this challenge, this study proposes a novel framework to bridge the Sim-to-Real gap inherent in parallel mechanisms, along with a proprietary bipedal robot, 'miniRoK', to which this framework is applied. The proposed framework introduces a 'Topology Matrix' that explicitly defines the kinematic relationship between motor actuators and final joints. This design allows for the use of a serial model with high learning efficiency in simulation while accurately mimicking the parallel driving characteristics of the real robot. In particular, to overcome kinematic backlash and errors in real hardware, robustness was secured by applying a domain randomization technique that injects scaling noise into the topology matrix.

To validate the effectiveness of the proposed methodology, various locomotion policies, such as walking and jumping, were generated in the Isaac Sim environment using reinforcement learning based on periodic rewards. Subsequently, to verify the generalization of the learned policy, Sim-to-Sim cross-validation was performed in Gazebo and MuJoCo environments, which utilize different physics engines. Finally, the policy was successfully transferred to the physical 'miniRoK' robot, demonstrating that the proposed framework effectively solves the Sim-to-Real problem for parallel mechanism robots.

목차 (Table of Contents)

• 제 1장 Introduction 1
• 제 2장 Related work 5
• 2.1 Humanoid Hardware 5
• 2.2 Learning-Based Humanoid Controller 6
• 2.3 Sim-to-Real Challenges in Parallel Mechanisms 7
• 제 3장 Robot Design 8
• 3.1 System Overview 10
• 3.2 Parallel mechanism Leg Design Details 12
• 제 4장 Robot Control 15
• 4.1 Reinforcement Learning 15
• 4.2 Reinforcement Learning Framework 17
• 4.2.1 Teacher Policy & Student Policy 19
• 4.2.2 Observation Space 21
• 4.2.3 Action Space 23
• 4.2.4 Closing the Sim-to-Real Gap 24
• 4.3 Reward Design for Bipedal learning 30
• 4.3.1 Bipedal Gaits with Periodic Reward 32
• 4.4 Mirror function and Symmetry 35
• 4.5 Experimental Setup 36
• 제 5장 Experiments And Results 37
• 5.1 Sim-to-Sim Validation 37
• 5.2 Sim-to-Real Transfer 40
• 제 6장 Conclusion and Future work 44
• 참고문헌 45
• Abstract 47