Skill-centric embodied agents for open-domain environments

다국어 초록 (Multilingual Abstract)

Embodied AI systems face three fundamental challenges in real-world deployment: handling diverse tasks across multiple domains, adapting to unpredictable environmental changes over time, and transferring learned policies across different physical platforms with varying embodiments. These characteristics define open-domain environments where traditional approaches fail due to catastrophic forgetting in multi-task learning, limited real-time adaptation capabilities, and poor generalization across embodiments.
This dissertation presents a unified framework for skill-centric hierarchical meta-learning that addresses these challenges through a novel two-level architecture. Our approach leverages skills, defined as semantically meaningful action sequences executed over specific time durations, as a fundamental abstraction. The framework decomposes decision-making into a high-level task planner that composes skill sequences to execute complex instructions and a low-level controller that reconstructs given skills into embodiment-specific action sequences suited for the current environment.
For multi-task environments, we develop skill-regularized task decomposition methods that extract and learn high-quality skills from heterogeneous datasets of varying quality. By leveraging reward information to constrain the skill distribution toward high-reward behaviors, our approach achieves performance improvements of 8.67 to 17.67 percent over competitive baselines across diverse dataset configurations. For dynamic environments, we introduce two complementary mechanisms: exploratory retrieval-augmented planning that maintains and queries temporal knowledge graphs for continual adaptation, and temporality-based decomposition embedding that separately captures time-variant and time-invariant features while enhancing training stability. These methods demonstrate 16.45 percent improvement in task success rate, with the advantage becoming more pronounced as environmental non-stationarity increases. For cross-embodiment adaptation, we propose world model implanting that retrieves and integrates domain-specific world models through a two-stage alignment process, and in-context skill diffusion that disentangles skills from embodiment-specific information. These frameworks achieve 20.41 percent improvement in zero-shot scenarios and 26.58 percent improvement in few-shot adaptation settings.
Comprehensive experiments across diverse simulation environments including Meta-world for robotic manipulation, VirtualHome and ALFRED for household tasks, CARLA for autonomous driving, and AirSim for drone navigation validate the effectiveness of our approaches. Our methods consistently outperform state-of-the-art baselines across all three challenge domains, providing a foundation for building robust and adaptable embodied agents capable of operating effectively in real-world deployment scenarios.

국문 초록 (Abstract)

실세계 환경에 배치되는 체화형 인공지능 시스템은 세 가지 근본적인 과제에 직면한다: 다중 도메인에 걸친 다양한 작업 수행, 시간에 따른 예측 불가능한 환경 변화에 대한 적응, 그리고 다양한 형태를 가진 서로 다른 물리적 플랫폼 간 학습된 정책의 전이. 이러한 특성들은 기존 접근법들이 다중 작업 학습에서의 치명적 망각(catastrophic forgetting), 제한된 실시간 적응 능력, 그리고 embodiment 간 낮은 일반화 성능으로 인해 실패하는 개방형 도메인 환경(open-domain environments)을 정의한다.
본 학위논문은 새로운 2단계 아키텍처를 통해 이러한 과제들을 해결하는 기술 중심 계층적 메타 학습(skill-centric hierarchical meta-learning)을 위한 통합 프레임워크를 제시한다. 우리의 접근법은 특정 시간 동안 실행되는 의미론적으로 의미 있는 행동 시퀀스로 정의되는 기술(skills)을 기본 추상화로 활용한다. 이 프레임워크는 의사결정을 복잡한 명령을 실행하기 위한 기술 시퀀스를 구성하는 상위 수준 작업 계획기(high-level task planner)와 주어진 기술을 현재 환경에 적합한 embodiment별 행동 시퀀스로 재구성하는 하위 수준 제어기(low-level controller)로 분해한다.
다중 작업 환경을 위해, 우리는 다양한 품질의 이질적인 데이터셋으로부터 고품질 기술을 추출하고 학습하는 기술 정규화 작업 분해(skill-regularized task decomposition) 방법을 개발한다. 보상 정보를 활용하여 기술 분포를 높은 보상 행동으로 제약함으로써, 우리의 접근법은 다양한 데이터셋 구성에서 경쟁 기준선 대비 8.67-17.67% 성능 향상을 달성한다. 동적 환경을 위해, 우리는 두 가지 상호보완적 메커니즘을 도입한다: 지속적 적응을 위한 시간적 지식 그래프를 유지하고 질의하는 탐색적 검색 증강 계획(exploratory retrieval-augmented planning)과 시간 가변적 및 시간 불변적 특징을 분리하여 포착하면서 훈련 안정성을 향상시키는 시간성 기반 분해 임베딩(temporality-based decomposition embedding). 이러한 방법들은 작업 성공률에서 16.45% 향상을 보여주며, 환경의 비정상성이 증가할수록 이점이 더욱 두드러진다. 교차 embodiment 적응을 위해, 우리는 2단계 정렬 프로세스를 통해 도메인별 세계 모델을 검색하고 통합하는 세계 모델 이식(world model implanting)과 embodiment별 정보로부터 기술을 분리하는 문맥 내 기술 확산(in-context skill diffusion)을 제안한다. 이러한 프레임워크들은 제로샷 시나리오에서 20.41%, 퓨샷 적응 설정에서 26.58%의 성능 향상을 달성한다.
로봇 조작을 위한 Meta-world, 가정 작업을 위한 VirtualHome 및 ALFRED, 자율 주행을 위한 CARLA, 드론 내비게이션을 위한 AirSim을 포함한 다양한 시뮬레이션 환경에서의 포괄적인 실험은 우리 접근법의 효과를 검증한다. 우리의 방법들은 세 가지 과제 도메인 모두에서 최신 기준선들을 일관되게 능가하며, 실세계 배치 시나리오에서 효과적으로 작동할 수 있는 강건하고 적응 가능한 embodied 에이전트 구축을 위한 기반을 제공한다.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• Chapter 2. Approaches 4
• 1. Preliminary 4
• 2. Overall Approach 8
• Chapter 3. Methods 13
• 1. Task decomposition for Multi-task environments 13
• 2. Continuously adaptation for Dynamic environments 19
• 3. Few-shot adaptation for Cross-embodiment 29
• Chapter 4. Experiments 39
• 1. Multi-task Evaluation 39
• 2. Dynamic Environment High-level Planning Evaluation 42
• 3. Dynamic Environment Low-level Control Evaluation 48
• 4. Cross-embodiment High-level Planning Evaluation 52
• 5. Cross-embodiment Low-level Control Evaluation 59
• Chapter 5. Related Works 66
• 1. Multi-task Reinforcement Learning 66
• 2. Non-stationary Reinforcement Learning 67
• 3. LLM-based Embodied Agents 68
• 4. Cross-domain Policy Adaptation 70
• Chapter 6. Conclusion 73
• 1. Summary of Contributions 73
• 2. Limitations and Future Directions 75
• 3. Concluding Remarks 75
• References 77