Self-Supervised Continual Learning in Out-of-Distribution Robotic Environments = 학습 분포 외 로봇 환경에서의 자가지도 지속학습

다국어 초록 (Multilingual Abstract)

This dissertation presents a self-supervised continual learning framework designed to address out-of-distribution problem encountered by imitation learning-based robotic control policies. Previous studies have attempted to enhance robustness through dataset augmentation using synthetic data, or to improve adaptability via continual learning that assumes prior access to labeled data from new environments. However, synthetic data fail to fully capture the complex dynamics of the real world, and acquiring ground-truth labels for unseen environments in advance is practically infeasible. To overcome these limitations, we propose a self-supervised continual learning approach tailored for robotic environments under out-of-distribution conditions. In Chapter 3, to prevent catastrophic forgetting during online continual learning, we propose a method that extracts a high-diversity coreset from an offline dataset while preserving essential offline knowledge, serving as memory for continual adaptation. In Chapter 4, we demonstrate that a real-world robot can resolve out-of-distribution issues and adapt to online environments through self-supervised continual learning applied to a robot traversability estimation model. The most critical factor in online continual learning is accurately estimating online self-supervision. In other words, the offline and online stages should not be treated as separate phases but rather viewed as a single unified learning process. From this perspective, in Chapter 5, we introduce an integrated offline–online learning framework: the offline phase enhances robustness using real supplementary demonstrations, whereas the online phase achieves adaptability by autonomously generating self-supervision signals in online environments. Together, the proposed methods in this dissertation improve both the robustness and adaptability of learning-based robotic control policies, contributing to the development of more realistic and autonomous robot learning systems.

국문 초록 (Abstract)

본 학위논문은 모방학습 기반 로봇 제어 정책이 직면하는 학습 분포 외 문제를 해결하기 위해 설계된 자가지도 지속학습 프레임워크를 제시한다. 기존 연구들은 합성 데이터를 활용한 데이터셋 증강을 통해 정책의 강건성을 높이거나, 새로운 환경에 대한 정답 레이블을 사전에 확보했다고 가정하는 지속학습 기법을 통해 적응성을 향상시키려는 시도를 해왔다. 그러나 합성 데이터는 실제 환경의 복잡한 동역학을 충분히 반영하지 못하며, 보지 못한 환경에 대한 정답 데이터를 사전에 확보하는 것은 현실적으로 불가능하다. 이러한 한계를 극복하기 위해, 본 논문에서는 학습 분포 외 조건 하의 로봇 환경에 특화된 자가지도 지속학습 접근법을 제안한다. 3장에서는 온라인 지속학습 과정에서 발생하는 치명적 망각 문제를 방지하기 위해, 오프라인 데이터셋으로부터 높은 다양성을 갖는 코어셋을 추출하여 필수적인 오프라인 지식을 보존하고, 이를 온라인 적응을 위한 메모리로 활용하는 방법을 제안한다. 4장에서는 로봇 주행 가능성 추정 모델에 자가지도 지속학습을 적용하여, 로봇이 학습 분포 외 환경에서 발생하는 문제를 해결하고 온라인 환경에 적응할 수 있음을 실험적으로 보인다. 온라인 지속학습의 핵심은 온라인 단계에서의 자가학습 신호를 정확하게 산출하는 것이다. 즉, 오프라인 단계와 온라인 단계는 분리된 절차가 아니라 하나의 통합된 학습 과정으로 보아야 한다. 이러한 관점에서, 5장에서는 통합된 오프라인–온라인 학습 프레임워크를 제시한다. 오프라인 단계에서는 실제 보조 데이터를 활용하여 로봇 정책의 강건성을 강화하고, 온라인 단계에서는 로봇이 온라인 환경에서 자가학습 신호를 스스로 생성하여 적응성을 확보한다. 종합적으로, 본 논문에서 제안하는 방법들은 학습 기반 로봇 제어 정책의 강건성과 적응성을 동시에 향상시키며, 보다 현실적이고 자율적인 로봇 학습 시스템의 발전에 기여한다.

목차 (Table of Contents)

• 1 Introduction 1
• 1.1 Background and Motivations 1
• 1.2 Contributions 6
• 2 Preliminaries 10
• 2.1 Epistemic Uncertainty Estimation with Neural Network 10
• 2.2 Data Clustering with Unsupervised Learning 12
• 2.3 Memory-Based Experience Replay 13
• 2.4 Weighted Behavior Cloning with Discriminator 14
• 3 Offline Dataset Coreset Extraction for Online Continual Learning 16
• 3.1 Introduction 16
• 3.2 Related Works 19
• 3.3 Methods 21
• 3.3.1 Problem Definition and Overview 21
• 3.3.2 Data Probability Distribution Estimation 23
• 3.3.3 High-Diversity Coreset Extraction 25
• 3.4 Experiments 27
• 3.4.1 Setup 27
• 3.4.2 Results and Discussions 28
• 3.5 Conclusion 29
• 4 Self-Supervised Online Continual Learning for Resolving Out-of-Distribution 31
• 4.1 Introduction 31
• 4.2 Related Works 35
• 4.2.1 Self-Supervised Robot Traversability Estimation 35
• 4.2.2 Domain-Incremental Online Continual Learning 36
• 4.3 Methods 38
• 4.3.1 Problem Definition and Overview 38
• 4.3.2 Self-Supervised Dataset Generation 38
• 4.3.3 ARTE with ERU 40
• 4.3.4 Inference with ROS and Husky robot 42
• 4.4 Experiments 43
• 4.4.1 Setup 43
• 4.4.2 Results and Discussions 45
• 4.5 Conclusion 47
• 5 Offline-to-Online Integrated Learning under Heterogeneous Out-of-Distribution 51
• 5.1 Introduction 51
• 5.2 Related Works 54
• 5.2.1 Imitation Learning against Out-of-Distribution 54
• 5.2.2 Leveraging Supplementary Demonstrations in Imitation Learning 55
• 5.3 Proposed Methods 56
• 5.3.1 Method Setting and Overview 56
• 5.3.2 Offline Training Phase: Robust Imitation Learning 57
• 5.3.3 Online Inference Phase: Adaptation via Self-Supervised Imitation Learning 64
• 5.4 Experiments 65
• 5.4.1 Setup 65
• 5.4.2 Results and Discussions 67
• 5.5 Conclusion 72
• 6 Conclusion 73
• Abstract (In Korean) 88