Continuous GFlowNets as Maximum Entropy Reinforcement Learning via Termination-Controlled SAC = 종료 제어형 SAC를 활용한 최대 엔트로피 강화학습으로서의 연속 GFlowNets

다국어 초록 (Multilingual Abstract)

Generative Flow Networks (GFlowNets) are a generative framework designed to sample complex structured objects proportionally to a given reward function. Recent work has shown that, in discrete spaces and under appropriate reward shaping, GFlowNets can be reformulated as maximum-entropy reinforcement learning (MaxEnt RL). This thesis extends this equivalence to continuous state spaces and relaxes a key terminal-state assumption, establishing the connection in a more general setting.
In terms of training, using the Trajectory Balance loss for GFlowNets corresponds to a policy-gradient method with a scalar baseline. However, modern RL typically employs learned value functions as state-dependent baselines to reduce gradient variance and improve training stability. Motivated by this, we show that Soft Actor--Critic (SAC) can serve as an effective training procedure for GFlowNets, leveraging a well-validated MaxEnt RL algorithm supported by extensive follow-up work.
To this end, we study a termination-controlled SAC algorithm in which the policy explicitly chooses termination, and we develop several mitigation strategies to address its early-termination bias. Experiments on synthetic benchmarks demonstrate that the proposed SAC-based methods better approximate the target reward-proportional distribution and reduce premature termination during training.

국문 초록 (Abstract)

Generative Flow Networks (GFlowNets)은 주어진 보상 함수에 비례하도록 복잡한 구조적 객체를 샘플링하기 위해 설계된 생성 프레임워크이다. 최근 연구는 이산 공간에서, 적절한 보상 함수 조정 하에 GFlowNets를 maximum-entropy reinforcement learning (MaxEnt RL)로 재정의할 수 있음을 보였다. 본 논문은 이러한 등가성을 연속 상태 공간으로 확장하고, 종결 상태에 대한 핵심 가정을 완화함으로써 보다 일반적인 설정에서 두 프레임워크의 연결을 확립한다.
GFlowNets의 학습에 Trajectory Balance 손실 함수를 사용하는 것은 스칼라 베이스라인을 갖는 정책 경사 방법으로 해석될 수 있다. 반면 현대 강화학습은 보통 학습된 가치 함수를 상태 의존적 베이스라인으로 활용하여 경사 분산을 줄이고 학습 안정성을 높인다. 이러한 관점에서, 경험적으로 성능이 검증되고 후속 연구가 활발한 Soft Actor--Critic (SAC)가 GFlowNets의 효과적인 학습 절차가 될 수 있음을 보인다.
이를 위해, 정책이 종료를 명시적으로 선택하는 termination-controlled SAC 알고리즘을 연구하고, 그 과정에서 발생하는 조기 종료 편향을 완화하기 위한 여러 완화 전략을 제안한다. 합성 벤치마크 실험 결과, 제안한 SAC 기반 방법은 목표 보상 비례 분포를 더 잘 근사하며, 학습 중 조기 종료를 줄이는 것을 확인하였다.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• Section 1.1. Overview and Contributions 1
• Section 1.2. Related Work 3
• Chapter 2. Continuous GFlowNets as MaxEnt RL 6
• Section 2.1. Definition of Continuous GFlowNets 6
• Section 2.2. MDP Construction from Continuous GFlowNets 10
• Section 2.3. Reduction: Continuous GFlowNets to MaxEnt RL 11
• Chapter 3. SAC for GFlowNets 15
• Section 3.1. Trajectory Balance as a Policy-Gradient Objective 15
• Section 3.2. Limitations of Vanilla SAC for Terminal Actions 19
• Section 3.3. Termination-controlled SAC 20
• Section 3.4. Early-termination Bias and Mitigation 23
• Chapter 4. Experiments 29
• Section 4.1. Terminal-fixed Environment 30
• Section 4.2. Terminate-action Environment 33
• Section 4.3. Effect of the Entropy Bonus on Termination Probability 35
• Chapter 5. Conclusion and Future Work 37
• Bibliography 39
• Abstract (in Korean) 42