Bridging SPDE Theory and Score-Based Generative Models : Stochastic Fokker-Planck Equation and Evaluation Metric = 확률 편미분 방정식 이론과 스코어 기반 생성 모델 간의 가교:확률적 포커-플랑크 방정식과 평가 지표

다국어 초록 (Multilingual Abstract)

This work introduces a novel approach linking Stochastic Partial Differential Equations (SPDEs) to Score-based Generative Models (SGMs) via the stochastic Fokker-Planck equation. This connection aims to provide a deeper understanding of the underlying dynamics in generative modeling, reflecting substantive, real-world phenomena. We first derive an error function D(t,x) from the Fokker-Planck equation of the SGM's reverse process, representing the time-varying difference between model and target distributions. We then assume that this error function D(t,x) is a sample path of an infinite-dimensional stochastic process Κ(t,x). We design a new forward SPDE, a stochastic Fokker-Planck type equation, fundamentally driven by this Κ(t,x). We prove the existence and uniqueness of the SPDE solution, ensuring our analytical framework is well-grounded. This SPDE formulation allows us to quantify a discrepancy α between its solution (driven by Κ(t,x)) and a hypothetical trajectory without this driving term. For computational tractability, we assume the Wiener process within Κ(t,x) to be spatially homogeneous. Since the covariance of such a process is related to the Fourier transform, utilizing Fourier transform techniques reduces the computation of the discrepancy α, originally an infinite-dimensional problem, to a tractable, single one-dimensional problem. We then collect samples for the computation of this one-dimensional problem utilizing the ergodic property. We also employ a technique similar to denoising score matching, allowing for a straightforward implementation akin to SGM implementations. This analysis yields two scalar terms, Trend and Residuals, satisfying α^2 \leq K(\text{Trend}^2 +\text{Residuals}^2) for some K>0. We call the pair of Trend and Residuals the SPDE-Induced Evaluation Metric (SIEM). Interestingly, the Residuals component correlates with the other evaluation metrics during model training. This correlation, rooted in our SPDE formulation, validates that our mathematical framework captures meaningful dynamics of generative model quality, thereby demonstrating its empirical grounding. Furthermore, we show that SIEM achieves this reliability with significantly fewer sampling steps, highlighting its potential for substantial computational efficiency. Finally, we conclude by highlighting the potential of our SPDE framework to offer new insights into model discrepancies and suggesting avenues for future research.

국문 초록 (Abstract)

본 연구는 확률적 포커-플랑크(Fokker-Planck) 방정식을 매개로 확률 편미분 방정식(SPDEs)과 스코어 기반 생성 모델(SGMs)을 연결하는 새로운 접근법을 제안합니다. 이러한 연결은 생성 모델링의 근간을 이루는 역학(dynamics)에 대한 깊이 있는 이해를 제공하고, 나아가 현실 세계의 본질적인 현상을 반영하는 것을 목표로 합니다. 우선, SGM의 역방향 프로세스에 대한 포커-플랑크 방정식으로부터 모델 분포와 목표 분포 간의 시간적 차이를 나타내는 오차 함수 D(t,x)를 유도합니다. 그리고 이 오차 함수 D(t,x)가 무한 차원의 확률 과정(stochastic process) Κ(t,x)의 한 샘플 경로(sample path)라고 가정합니다. 이 Κ(t,x)를 핵심 구동력으로 삼는 새로운 순방향 SPDE, 즉 확률적 포커-플랑크 형태의 방정식을 설계합니다. 또한, 이 SPDE 해의 존재성과 유일성을 증명하여 제안하는 분석 프레임워크의 이론적 기반이 견고함을 보입니다. 이 SPDE 공식을 통해, Κ(t,x)라는 구동항이 포함된 해와 이것이 없는 가상적인 궤적 사이의 불일치도 α를 정량화할 수 있습니다. 계산의 용이성을 위해, Κ(t,x)에 포함된 위너 과정(Wiener process)이 공간적으로 균일하다고 가정합니다. 이러한 과정의 공분산은 푸리에 변환과 관련이 깊기 때문에, 푸리에 변환 기법을 활용하면 본래 무한 차원 문제였던 불일치도 α의 계산을 다루기 쉬운 단일 1차원 문제로 축소시킬 수 있습니다. 이후 2차 변분(quadratic variation)을 이용해 이 1차원 문제 계산에 필요한 샘플들을 수집하고, 디노이징 스코어 매칭과 유사한 기법을 적용하여 기존 SGM처럼 간단하게 구현할 수 있도록 설계했습니다. 이 분석을 통해 우리는 α^2 \leq K(\text{Trend}^2 +\text{Residuals}^2) (단, K>0) 관계를 만족하는 두 스칼라 값, 'Trend(추세)'와 'Residuals(잔차)'를 얻습니다. 저희는 이 Trend와 Residuals의 쌍을 SPDE 기반 평가 지표(SPDE-Induced Evaluation Metric, SIEM)라고 명명합니다. 흥미로운 점은, 'Residuals' 구성요소가 모델 학습 과정에서 다른 평가 지표들과 높은 상관관계를 보인다는 것입니다. SPDE 공식에 기반한 이러한 상관관계는, 본 연구의 수학적 프레임워크가 생성 모델의 품질과 관련된 의미 있는 동역학을 실제로 포착하고 있음을 검증하며, 그 경험적 타당성을 뒷받침합니다. 더 나아가, SIEM은 훨씬 적은 수의 샘플링만으로도 이러한 신뢰도 높은 결과를 얻을 수 있음을 보여주며, 이는 상당한 계산 효율성 향상의 잠재력을 시사합니다. 결론적으로, 본 연구의 SPDE 프레임워크가 모델의 불일치도를 이해하는 새로운 통찰력을 제공할 잠재력이 있음을 강조하고, 향후 연구 방향을 제시하며 마무리합니다.

목차 (Table of Contents)

• 1 Introduction 1
• 2 Score-based Generative Models 6
• 2.1 Score-based Generative Models 6
• 2.2 Fokker-Planck Equation Perspective 12
• 2.2.1 Forward Process Fokker-Planck Equation. 12
• 2.2.2 Reverse Process Fokker-Planck Equation. 13
• 2.3 Summary of Notation. 13
• 3 Stochastic Partial Differential Equations 15
• 3.1 From Finite to Infinite Dimensions: The Need for Functional Analysis 15
• 3.2 Hilbert Spaces and Function Spaces 16
• 3.3 Wiener Processes in Hilbert Spaces (Function Spaces) 17
• 3.4 Stochastic Integration in Hilbert Spaces and Ito Isometry 20
• 3.5 Stochastic Partial Differential Equations (SPDEs) 22
• 3.5.1 Solution Concepts 23
• 3.5.2 Existence and Uniqueness: The Variational Approach 26
• 4 Analysis of the Stochastic Fokker-Planck Equation 29
• 4.1 Motivation and Formulation of the Forward SPDE 29
• 4.2 Variational Framework for SPDEs 33
• 4.2.1 Conditions for Existence and Uniqueness (Liu & Rockner) 34
• 4.2.2 Existence and Uniqueness for the Proposed SPDE(f1(t) = 0 for all t) 35
• 4.2.3 Existence and Uniqueness for the Proposed SPDE(f1(t) > 0 for all t) 53
• 5 SPDE-Induced Evaluation Metric 89
• 5.1 Derivation of the Expected Squared L2 Error 90
• 5.1.1 f1(t) = 0 and g1(t) = 0 for all t ∈ [0, T] 90
• 5.1.2 f1(t) = 0 for all t ∈ [0, T] 94
• 5.1.3 f1(t) > 0 for all t ∈ [0, T] 103
• 5.2 Computational Formulation of SIEM via Quadratic Variation 115
• 5.3 Trend and Residuals 121
• 6 Experiments 125
• 6.1 Technical Preliminaries 126
• 6.1.1 Denoising Diffusion Probabilistic Models (DDPM) 126
• 6.1.2 U-Net Architecture 128
• 6.1.3 Datasets 129
• 6.1.4 Evaluation Metrics 130
• 6.2 Implementation Details 132
• 6.2.1 Experimental Environment 132
• 6.2.2 Score-based Generative Models and Datasets 132
• 6.2.3 SIEM Computation 133
• 6.3 Training Dynamics Experiment 137
• 6.3.1 Experimental Setup 137
• 6.3.2 Results and Analysis 138
• 6.4 Diverse Models Experiment 141
• 6.4.1 Experimental Setup 141
• 6.4.2 Results and Analysis 143
• 7 Further Considerations 145
• 7.1 Backward SPDE for the SGM Backward Process 145
• 7.2 Connection between the SIEM Error Term and KL Divergence 147
• 7.3 Geodesic Geometry of SPDE Noise Covariances 148