복잡한 지형에서의 사족로봇 보행 제어를 위한 어텐션 기반 강화학습 = Attention-Based Reinforcement Learning for Quadrupedal Robot Locomotion on Complex Terrain

국문 초록 (Abstract)

최근 강화학습 기반의 사족보행 로봇 제어 기술은 고유감각(proprioception) 정보만을 활용하는 블라인드 보행(blind locomotion) 방식으로도 다양한 지형에서 높은 강건성을 입증하며 발전해왔다. 그러나 이 방식은 전방 지형 정보를 직접 인지하지 못하므로, 높은 단차나 넓은 갭(gap), 스텝핑 스톤과 같은 희소 지형(sparse terrain)에서는 보행 안정성을 확보하는 데 한계가 있다. 이를 극복하기 위해 CNN(Convolutional NeuralNetwork)을 통해 시각 정보를 결합하는 연구가 진행되었으나, 여전히 불연속적이거나 희소한 지형에서의 적응력은 부족하였다. 본 연구는 이러한 한계를 해결하고자 비전
정보와 상태 정보를 융합한 트랜스포머 어텐션(Transformer Attention) 기반의 보행 정책을 제안한다.
제안된 네트워크는 Transformer의 어텐션 메커니즘을 통해 로봇 중심의 높이 정보와 고유감각 상태를 전역적으로 분석하여, 로봇의 현재 상태에 따른 지형의 중요도를 모델링한다. 구체적으로 Vision Token은 CNN을 통해 높이 맵(Elevation map)을 패치 단위로 임베딩하여 생성하며, State Toekn은 MLP(Multi-Layer Perception)를 통해 차원을축소하여 사용한다. 이 두 토큰을 결합함으로써 정책 네트워크가 보행에 필요한 보행에 필요한 핵심 정보에 선택적으로 집중하도록 유도한다. 또한, One-stage learning 구조를 적용하여 단일 정책으로 다양한 복잡 지형을 통합 학습할 수 있게 설계되었으며, 기존의 고차원 이미지 처리 방식 대비 연산 효율성을 크게 향상 시켰다. 제안된 정책의 성능은 시뮬레이션 및 실제 RBQ-10 하드웨어 실험을 통해 검증되었다. 실험 결과, 로봇 다리 길이를 초과하는 높은 단차, 폭이 넓은 갭 그리고 다양한 경사 구조물 환경에서 기존 정책 대비 우수한 보행 안정성과 적응력을 보였다.

다국어 초록 (Multilingual Abstract)

Recent advances in reinforcement learning–based quadrupedal locomotion have demonstrated strong robustness across a wide range of terrains, even when relying solely on proprioceptive information through blind locomotion approaches. However, because such methods lack direct perception of the terrain ahead, they suffer from inherent limitations when traversing challenging environments such as high steps, wide gaps, and sparse terrains including stepping stones. To address these limitations, several studies have incorporated visual information using convolutional neural networks (CNNs), yet their adaptability to highly discontinuous or sparse terrains remains insufficient.
To overcome these challenges, this work proposes a Transformer attention–based locomotion policy that effectively fuses visual and proprioceptive information. The proposed network leverages the attention mechanism of Transformers to globally reason over robot-centric elevation information and proprioceptive states, thereby modeling the relative importance of terrain features conditioned on the robot’s current state. Specifically, vision tokens are generated by embedding elevation maps into patch-level representations using a CNN backbone, while state tokens are obtained by compressing proprioceptive features through a multi-layer perceptron (MLP). By jointly attending over these tokens, the policy is encouraged to selectively focus on the most relevant information required for stable and adaptive locomotion.
Furthermore, the proposed approach adopts a one-stage learning framework, enabling a single unified policy to be trained end-to-end across diverse and complex terrains. Compared to approaches that directly process high-dimensional image inputs, the use of low-dimensional elevation map representations significantly improves computational efficiency while preserving essential terrain information. The effectiveness of the proposed policy is validated through extensive simulations as well as real-world experiments on the RBQ-10 quadrupedal robot. Experimental results demonstrate that the proposed method achieves superior locomotion stability and adaptability compared to baseline policies when traversing terrains that include steps exceeding the robot’s leg length, wide gaps, and various inclined structures.

목차 (Table of Contents)

• I. INTRODUCTION 1
• II. RELATED WORK 5
• 1. Proprioceptive based Quadruped Robot 5
• 2. Exteroceptive based Quadruped Robot 6
• III. Background 9
• 1. Markov Decision Process 9
• 2. Proximal Policy Optimization 12
• IV. Proposed Work 16
• 1. System Overview 16
• 2. Training Environment 19
• 3. Algorithm Detail 31
• 4. Deploy in Hardware 50
• V. Experiments 53
• 1. Experiments Settings 53
• 2. Simulation 56
• 3. Hardware : Real Environment 72
• VI. Conclusion and Limitation 76
• 1. Conclusion 76
• 2. Limitation and Future Work 78
• VII. Appendix 81