Force-Aware Hierarchical Diffusion Policy for Stable and Reactive Contact-Rich Manipulation = 안정적이고 반응적인 로봇팔 접촉 조작을 위한 힘 인지 확산 정책 기반 계층 제어

다국어 초록 (Multilingual Abstract)

Imitation learning with action chunking has achieved strong results in robotic manipulation by predicting and executing action sequences from vision and pose observations. However, in contact-rich tasks, policies trained only under vision- and position-based supervision struggle to regulate contact forces, often leading to unstable or unsafe interactions. This motivates incorporating force information so that policies can reason not only about where to move, but also how hard to push. Yet even when force is included, existing chunk-based policies still face critical challenges: they typically operate in an open-loop manner without real-time correction and suffer spatio-temporal discontinuities when successive chunks belong to inconsistent modes, resulting in jerky transitions and abrupt force changes. To address these issues, a Force-Aware Hierarchical Diffusion Policy is introduced, comprising a high-level Global Policy and a low-level Local Policy. The Global Policy, implemented as a high-level diffusion model, predicts long-horizon and force-aware action chunks by explicitly incorporating force information. Meanwhile, the Local Policy serves as a low-level reactive controller that predicts fine-grained actions in real time, mitigating spatio-temporal discontinuities at chunk boundaries and enabling rapid adaptation to environmental changes and unexpected disturbances during execution. In real-world contact-rich tasks, our approach outperforms baseline chunk-based visuomotor policies in terms of stable contact, transition smoothness, and responsiveness.

국문 초록 (Abstract)

액션 청킹(action chunking)을 활용한 모방학습은 로봇 조작 과제에서 미래의 행동 시퀀스를 예측·실행함으로써 뛰어난 성능을 보여왔다. 그러나 접촉이 많은 작업에서는, 비전과 위치 정보만을 기반으로 학습된 정책이 접촉 힘을 적절히 조절하지 못해 상호작용이 불안정하거나 위험해지기 쉽다. 이는 정책이 어디로 움직일지 뿐 아니라 얼마나 힘을 내야하는지 판단할 수 있도록 힘 정보를 학습에 포함해야 함을 시사한다. 그러나 힘 정보를 포함하더라도, 기존의 청킹 기반 정책들은 여전히 중요한 한계를 가진다. 보통 실시간 보정 없이 동작하며, 연속된 청크들이 서로 일관되지 않은 모드에 속할 때 시·공간적 불연속이 발생해 움직임이 끊기거나 불안정해질 수 있다. 이를 해결하기 위해 본 논문은 힘 인지 확산 정책 기반의 계층형 제어 구조를 제안한다. 상위 Global Policy는 확산 모델로 힘 정보를 통합해 장기적인 힘 인지 행동 청크를 계획하고, 하위 Local Policy는 저수준 반응형 제어기로서 실시간 미세 행동을 예측해 청크 경계 불연속을 완화하며 외란과 환경 변화에 빠르게 적응한다. 실세계 접촉 작업에서 본 방법은 기존 청킹 기반 비주얼모터 정책 대비 안정적인 접촉 유지, 전이 매끄러움, 반응성에서 우수한 성능을 보인다.

목차 (Table of Contents)

• Abstract i
• Contents ii
• List of Tables iv
• List of Figures v
• 1 INTRODUCTION 1
• 1.1 Motivation 1
• 1.2 Contribution of Thesis 4
• 1.3 Overview of Thesis 5
• 2 RELATED WORK 6
• 2.1 Visuomotor Policies and Action Chunking 6
• 2.2 Force-Aware Imitation Learning 7
• 2.3 Data Collection from Demonstrations 8
• 3 PROBLEM STATEMENT 9
• 3.1 Task Setup and Scope 9
• 3.2 Limitations of Position-Only Demonstrations 11
• 3.3 Limitations of Chunk-Based Policies 12
• 3.4 Problem Definition and Objectives 15
• 4 METHOD 16
• 4.1 Data Collection via Kinesthetic Teaching 17
• 4.2 Global Policy: Force-Aware Diffusion Policy 18
• 4.2.1 Diffusion Formulation for Action Chunks 19
• 4.2.2 Conditioning and Chunk Prediction 19
• 4.2.3 Training Objective 20
• 4.2.4 Relative Action Representation 21
• 4.3 Local Policy: Reactive Policy 22
• 4.3.1 GRU-based reactive decoding 23
• 4.3.2 Augmentation for temporal and spatial robustness 24
• 4.3.3 Training objective 25
• 4.4 Cartesian Impedance Control and Virtual Pose 26
• 4.4.1 Cartesian Impedance Control 27
• 4.4.2 Virtual Pose Control for Force Regulation 28
• 5 EXPERIMENTS 30
• 5.1 Task Setup 30
• 5.2 Data Collection 31
• 5.3 Evaluation Metrics 32
• 5.4 Results 34
• 6 CONCLUSION 36
• Abstract (In Korean) 44