시간적 표현 기반 플로우 Q-Learning

국문 초록 (Abstract)

본 논문에서는 오프라인 강화학습 환경에서의 안정적이고 효과적인 정책 추론을 위해, 시간적 거리 표현(Temporal Distance Representation, TDR) 과 flow matching을 결합한 새로운 강화학습 프레임워크를 제안한다. 제안하는 방법은 사전 수집된 데이터로부터 상태 전이의 시간적 구조를 학습하고, 상태와 행동을 Hilbert 공간으로 매핑함으로써 행동 수행 전후의 변화를 정량적으로 분석한다. 이를 기반으로, 특정 행동이 목표 지점에 대해 얼마나 거리상으로 가까워졌는지와 목표 방향성과 얼마나 잘 정렬되는지를 반영하는 dense reward를 설계하여, 기존의 sparse reward 환경에서 발생하는 학습 신호 부족 문제를 완화한다. 또한, 본 프레임워크는 flow matching의 강력한 표현력을 활용하여 목표 지점으로 향하는 다양한 행동 경로를 생성하며, 추론 과정에서 중간 anchor point를 명시적으로 도입함으로써 다단계 추론 구조를 형성한다. 이러한 구조는 행동 시퀀스의 일관성을 유지하고 추론 과정의 불확실성을 줄이는 데 기여한다. 생성된 행동 후보들은 Q-함수를 통해 평가 및 선택되며, 이를 통해 장기적인 누적 보상을 고려한 안정적인 행동 샘플링이 가능하다. 실험 결과, 제안하는 방법은 기존 오프라인 강화학습 기법들과 비교하여 추론 안정성과 목표 도달 성능 측면에서 우수한 성능을 보였다.

다국어 초록 (Multilingual Abstract)

In this paper, we propose a novel reinforcement learning framework that combines Temporal Distance Representation (TDR) with flow matching to enable stable and effective policy inference in offline reinforcement learning settings. The proposed method learns the temporal structure of state transitions from pre-collected datasets and maps states and actions into a Hilbert space, allowing for a quantitative analysis of the changes induced by actions. Based on this representation, we design a dense reward that reflects both how much an action reduces the distance to the goal and how well it aligns with the goal direction, thereby alleviating the lack of learning signals commonly encountered in sparse reward environments.
Furthermore, the framework leverages the expressive power of flow matching to generate diverse action candidates toward the goal, while explicitly introducing intermediate anchor points during inference to form a multi-stage inference structure. This design helps maintain consistency in action sequences and reduces uncertainty during policy inference. The generated action candidates are evaluated and selected using a Q-function, enabling stable action sampling that accounts for long-term cumulative rewards. Experimental results demonstrate that the proposed method achieves superior inference stability and goal-reaching performance compared to existing offline reinforcement learning approaches.

목차 (Table of Contents)

• 제1장 서론 1
• 1.1 연구 목적 1
• 1.2 연구 방법론 2
• 제2장 관련 연구 5
• 2.1 오프라인 강화학습 5
• 2.2 확산 및 플로우 기반 강화학습 6
• 2.3 시간적 거리 표현 강화학습 7
• 2.4 계층적 오프라인 강화학습 11
• 제3장 배경 지식 12
• 3.1 MDP(Markov decision process) 12
• 3.2 Flow matching 13
• 3.3 힐베르트 공간 15
• 제4장 방법론 17
• 4.1 문제 설정 17
• 4.2 시간적 거리 표현 학습 18
• 4.3 교사-학생 모델 19
• 4.4 모델 추론을 위한 TDR Graph 22
• 4.5 요약 24
• 제5장 실험 결과 26
• 5.1 실험 환경 26
• 5.2 실험 결과 30
• 제6장 결론 및 한계 35
• 6.1 한계점 35
• 6.2 논의 36
• 6.3 결론 36