Diffusion adversarial distillation for robust visual reinforcement learning

국문 초록 (Abstract)

시각 기반 강화학습(Visual Reinforcement Learning, Visual RL)은 로봇 조작, 자율주행, 시뮬레이션 제어 등 다양한 분야에서 중요한 역할을 하지만, 시각적 환경의 분포 변화(distribution shift)와 교란(visual distraction)에 매우 취약하다. 조명, 카메라 시점, 배경 변화와 같은 외부 요인에 의해 관찰 분포가 달라질 경우, 학습된 정책(policy)의 성능은 급격히 저하된다. 이러한 문제를 해결하기 위해 데이터 증강(Data Augmentation)이나 사전학습 인코더(Pretrained Encoder)를 활용한 접근이 제안되었지만, 강화학습의 수렴을 불안정하게 만들거나, 극단적인 시각적 교란 환경에서는 여전히 제한적인 성능을 보이는 경우가 많다.
본 연구에서는 이러한 한계를 극복하기 위해 Diffusion 기반 Adversarial Representation Learning 프레임워크를 제안한다. 제안 모델은 Teacher–Student 구조를 기반으로 하며, Teacher 로부터 얻은 안정적인 잠재 표현(latent representation)을 Student 가 Diffusion 모델을 통해 복원 및 정렬(alignment)하는 방식으로 학습된다. 특히 Generator 와 Discriminator 를 모두 Diffusion 모델로 설계하여, 동일한 노이즈 스케줄과 잠재 공간 위에서 adversarial 학습이 이루어지도록 하였다. 이를 통해 전통적인 GAN 구조에서 자주 발생하는 그래디언트 불균형(gradient imbalance)과 공간적 불일치(spatial mismatch)를 완화하고, 시각적 복원(visual reconstruction)과 동역학적 일관성을 동시에 확보하였다.
제안한 방법은 RL-ViGen 벤치마크의 대표 환경인 DeepMind Control Suite(DMC)에서 평가되었다. Locomotion(보행) 과제 전반에서 DrQ, SVEA, SGQN, SMG 등 최신 일반화 강화학습 기법을 일관되게 능가하였으며, 특히 조명, 텍스처, 동적 비디오 배경 등 복잡한 시각 교란 조건에서도 높은 성능을 유지하였다.

다국어 초록 (Multilingual Abstract)

Visual Reinforcement Learning (Visual RL) plays a crucial role in a wide range of domains, including robotic manipulation, autonomous driving, and simulation-based control. However, it is highly vulnerable to distribution shifts and visual distractions in the observation space. When the observation distribution changes due to external factors such as lighting variations, camera viewpoints, or background changes, the performance of learned policies can degrade sharply. To address this issue, prior approaches have proposed data augmentation techniques or the use of pretrained encoders. Nevertheless, these methods often destabilize reinforcement learning convergence and still exhibit limited performance under extreme visual perturbations.
In this work, we propose a Diffusion-based Adversarial Representation Learning framework to overcome these limitations. The proposed model is built upon a Teacher?Student architecture, in which the Student learns to reconstruct and align stable latent representations obtained from the Teacher via a diffusion model. Notably, both the Generator and the Discriminator are designed as diffusion models, enabling adversarial training to be conducted on the same noise schedule and within a shared latent space. This design alleviates common issues in conventional GAN-based approaches, such as gradient imbalance and spatial mismatch, while simultaneously ensuring high-quality visual reconstruction and dynamical consistency.
The proposed method is evaluated on two representative environments of the RL-ViGen benchmark: the DeepMind Control Suite (DMC). In locomotion tasks, our approach consistently outperforms state-of-the-art generalizationfocused reinforcement learning methods, including DrQ, SVEA, SGQN, and SMG. In particular, it maintains strong performance under complex visual disturbance conditions such as lighting changes, texture variations, and dynamic video backgrounds.

목차 (Table of Contents)

• 제1장 서론 1
• 1. 연구목적과 연구방법론 1
• 2. 시각 기반 강화학습의 일반화 문제 2
• 3. 데이터 증강 기반 접근법 2
• 4. 연구 동기 및 제안 방향 6
• 5. 본 연구의 주요 기여 7
• 제2장 관련 연구 8
• 1. 강화학습에서의 표현 학습 8
• 2. 데이터 증강 기반 시각 강화학습 9
• 3. 최근 연구 동향 10
• 제3장 배경 지식 11
• 1. 기호 및 정의 11
• 2. Offline RL과 Online RL 12
• 3. Diffusion Model 14
• 제4장 연구 방법 17
• 1. 전체 구조 개요 17
• 2. Stage 1: Teacher 사전학습 18
• 3. Stage 2: Dual Diffusion Consistency Distillation 19
• 제5장 실험 및 결과 23
• 1. 실험 구성 및 환경 23
• 2. 실험 결과 25
• 제6장 결론 및 향후 연구 29
• 1. 연구 요약 29
• 2. 주요 실험 결과 30
• 3. 연구의 의의 31
• 4. 한계 및 향후 연구 32
• 5. 결론 33