강화 학습에서 다중 컨텍스트 제로샷 일반화를 위한 전이 동역학 기반 컨텍스트 조정 기법 = Dynamics-Guided Context Modulation for Multi-Context Zero-Shot Generalization in Reinforcement Learning

국문 초록 (Abstract)

강화학습은 로보틱스, 자율주행, 게임 인공지능을 포함한 다양한 순차적 의사결정 문제에서 우수한 성능을 보여 왔다. 그러나 기존의 많은 강화학습 방법은 학습 환경과 평가 환경이 동일하다는 가정에 기반한다. 실제 응용 환경에서는 중력, 마찰, 질량, 감쇠, 센서 노이즈와 같은 환경 요인이 동시에 변화할 수 있으며, 이는 학습된 정책의 성능 저하를 유발할 수 있다. Contextual reinforcement learning은 이러한 환경 변화를 context variable로 모델링하여 문제를 완화하고자 하지만, 기존 연구의 대부분은 소수의 context factor만 변화하는 제한적인 설정에서 일반화 성능을 평가해 왔다.
본 논문은 여러 context factor가 동시에 변화하는 환경에서의 zero-shot generalization 문제를 다룬다. 이를 위해 context encoder, hypernetwork 기반 adapter 그리고 dynamics prediction model을 결합한 dynamics-guided context modulation 방법을 제안한다. 제안 방법은 raw context를 latent representation으로 변환하고, 이를 이용해 context-dependent adapter weight를 생성한다. 또한 context encoder와 hypernetwork를 reward signal이 아닌 dynamics prediction error를 주된 학습 신호로 사용하여 학습함으로써, 학습된 context representation이 environment dynamics의 변화를 반영하도록 유도한다.
제안 방법은 CARL Ant 환경에서 train, interpolation, extrapolation, unseen context combination 설정을 통해 평가하였다. SAC without context, SAC with context, Decision Adapter와 비교한 결과, 제안 방법은 train distribution에서는 유사한 성능을 유지하면서도 interpolation, extrapolation, unseen context combination 설정에서 더 높은 AER을 보였다. 이러한 결과는 dynamics-guided context modulation이 multi-context factor variation 환경에서 zero-shot generalization 성능 향상에 기여함을 보여준다.

다국어 초록 (Multilingual Abstract)

Reinforcement learning has achieved strong performance in various sequential decision making tasks, but many conventional methods assume that training and evaluation environments are identical. In real-world applications, however, environmental factors such as gravity, friction, mass, damping, and sensor noise may vary simultaneously, which can degrade the performance of trained policies. Although contextual reinforcement learning addresses this issue by modeling such variations as context variables, existing studies have mostly evaluated generalization under limited settings with only a small number of varying context factors.
This thesis investigates zero-shot generalization under simultaneous multi-context factor variations. To this end, it proposes a dynamics-guided context modulation method that combines a context encoder, hypernetwork based adapter, and a dynamics prediction model. The proposed method transforms raw context into a latent representation and uses it to generate context-dependent adapter weights. The context encoder and hypernetwork are trained mainly using dynamics prediction error rather than reward signals, encouraging the learned representation to reflect changes in environment dynamics.
The proposed method is evaluated in the CARL Ant environment under train, interpolation, extrapolation, and unseen context combination settings. Compared with SAC without context, SAC with context, and Decision Adapter, the proposed method achieves comparable performance in the train distribution while improving AER in interpolation, extrapolation, and unseen combination settings. These results indicate that dynamics-guided context modulation improves zero-shot generalization under multi-context factor variations.

목차 (Table of Contents)

• 제1장 서 론 1
• 제1절 연구의 배경 및 필요성 1
• 제2절 연구의 목표 3
• 제2장 관련 연구 5
• 제1절 Contextual RL 5
• 제2절 Zero-shot Generalization 7
• 제3절 Dynamics Generalization in Contextual RL 10
• 제3장 Dynamics-Guided Context Modulation 14
• 제1절 문제 정의 14
• 제2절 제안 방법 개요 16
• 제3절 Context Encoder 18
• 제4절 Hypernetwork 기반 Adapter Modulation 20
• 제5절 Context-Dependent Actor-Critic Model 22
• 제6절 Dynamics Prediction Model 24
• 제7절 학습 목적 함수 25
• 제4장 실험 결과 29
• 제1절 실험 환경 29
• 1. CARL Benchmark 29
• 2. CARL Ant Task 30
• 제2절 Context Factor 32
• 1. CARL Ant의 context factor 32
• 2. 학습 및 평가 분포 33
• 제3절 비교 대상 34
• 제4절 평가 지표 37
• 제5절 실험 결과 38
• 제5장 결 론 43
• 참 고 문 헌 44
• ABSTRACT 47