Enhancing Efficiency-Performance Trade-Offs of Diffusion Probabilistic Models = 디퓨전 확률 모델의 효율성-성능 상충 관계 개선

다국어 초록 (Multilingual Abstract)

Diffusion Probabilistic Models (DPMs) have recently become prominent in generative modeling, showing excellent performance in producing high-fidelity, diverse data in various domains. Despite their remarkable generative capabilities, a significant drawback of DPMs is their substantial computational cost and latency due to the inherently iterative, multi-step sampling process. This inefficiency poses a critical barrier to their practical deployment in real-world applications, motivating extensive research into reducing their inference time without compromising generation quality. This dissertation addresses the crucial challenge posed by efficiency-performance trade-offs of DPMs through novel methodologies across three distinct research directions. Our primary goal is to achieve better efficiency-performance relationship by reducing the number of function evaluations (NFEs) required for sample generation, while maintaining or improving sample quality.
First, we focus on improving the robustness of DPMs to varying NFEs by proposing a novel training objective. We introduce an observation-guided diffusion probabilistic model (OGDM) that reestablishes the training objective by integrating guidance from an observation process into the diffusion Markov chain in a principled way. This is achieved by introducing an additional loss term derived from the observation based on a conditional discriminator on noise level, which employs a Bernoulli distribution indicating whether its input lies on the (noisy) real manifold or not. This approach allows for more accurate log-likelihood optimization, especially under a limited NFE budget during inference, leading to better denoising networks that maintain quality even with faster sampling, without incurring extra inference costs.
Second, we delve into enhancing existing ODE-based DPM solvers through the extrapolation sampling algorithm. Inspired by Richardson extrapolation, we propose RX-DPM, a method that leverages an additional ODE solution at intermediate time steps to extrapolate denoised predictions. This significantly improves the numerical accuracy of the sampling process, reducing truncation errors and leading to higher-quality samples for a given NFE. Notably, RX-DPM is generalized for arbitrary time step scheduling and can be seamlessly integrated into various existing solvers with minimal computational overhead. Additionally, RX-DPM provides explicit error estimates, effectively demonstrating the faster convergence due to the higher order of the leading error term.
Third, we investigate knowledge distillation techniques to create one-step student generators from multi-step teacher DPMs. Recent advancements in this area have often incorporated adversarial objectives, leveraging GAN training to guide the student towards higher fidelity and faster convergence. Building upon this approach, we formulate a principled objective that forces the distributions of the student and teacher models to be identical within the discriminator's feature space. We utilize characteristic functions---which uniquely determine probability distributions---adopting a squared CFD metric approximated via their empirical counterparts. This batch-level statistical comparison provides a holistic distributional alignment, enhancing adversarial training and exploring novel optimization pathways.
The contributions of the proposed training, sampling and distillation frameworks are validated through extensive experiments and analyses across standard benchmarks, respectively, demonstrating the effectiveness in improving the efficiency-performance trade-offs of DPMs.

국문 초록 (Abstract)

디퓨전 확률 모델은 최근 생성 모델 분야에서 두각을 나타내며, 다양한 영역에서 고품질의 다양한 데이터를 생성하는 뛰어난 성능을 보여주었다. 그러나 이러한 주목할 만한 생성 능력에도 불구하고, 디퓨전 확률 모델은 본질적으로 반복적인 다중 스텝의 샘플링 과정으로 인해 상당한 계산 비용과 지연 시간을 수반한다는 큰 단점을 가지고 있다. 이러한 비효율성은 실용적 측면에서 실제 응용 및 배포에 큰 걸림돌이 되어, 생성 품질을 저하시키지 않으면서 생성 시간을 단축시키는 연구가 활발히 진행되고 있다. 본 논문은 세 가지 서로 다른 연구 방향에 걸친 다각적인 탐구를 통해 디퓨전 확률 모델의 효율성과 성능 간 상충 관계를 개선하고자 한다. 주요 목표는 샘플 생성에 필요한 함수 평가 횟수(NFE)를 줄이면서도 샘플 품질을 유지하거나 향상시키는 것이다.
첫째, 새로운 학습 목표를 제안하여 디퓨전 확률 모델 자체를 개선한다. 제안하는 OGDM 방법론은 관찰 과정으로부터 얻은 가이던스를 디퓨전 마르코프 체인에 통합하여 새로운 학습 목표를 제시한다. 이는 결과적으로 노이즈 레벨에 조건화된 판별자를 기반으로 한 관찰로부터 파생된 추가적인 손실 항의 도입으로 유도되며, 이 판별자는 입력이 실제 매니폴드 상에 있는지 여부를 나타내는 베르누이 분포를 학습한다. 제안하는 방법은 특히 제한된 NFE로 샘플링할 때 더 정확한 우도 최적화를 가능하게 하여, 추가적인 계산 비용 없이도 더 빠른 샘플링에서도 품질을 유지하는 더 나은 디노이징 네트워크를 얻을 수 있게 한다.
둘째, 외삽 알고리즘을 통해 기존의 ODE 기반의 디퓨전 확률 모델 솔버를 향상시키는 방법을 제안한다. 리처드슨 외삽법에서 영감을 받아, 중간 스텝에서 추가로 얻은 ODE 해를 활용하여 디노이징된 예측값을 외삽하는 방법인 RX-DPM을 제안한다. 이는 샘플링 과정의 수치적 정확도를 크게 향상시켜 절단 오차를 줄이고, 주어진 NFE에 대해 더 높은 품질의 샘플을 생성하게 한다. 특히, RX-DPM은 임의의 시간 단계 스케줄링에 대해 일반화되며, 최소한의 계산 오버헤드로 다양한 기존 솔버에 손쉽게 통합될 수 있다. 또한, RX-DPM은 명시적인 오차 추정치를 제공하기 때문에, 주요 오차 항의 차수 증가에 따른 수렴 속도 향상을 효과적으로 설명할 수 있다.
셋째, 다중 스텝 교사 디퓨전 확률 모델로부터 단일 스텝 학생 생성 모델을 만들기 위한 지식 증류 기법을 연구한다. 이 분야의 최근 발전은 종종 적대적 생성 신경망 학습을 활용하여 학생 모델이 더 높은 충실도와 빠른 수렴을 달성하도록 유도한다. 이러한 동향을 바탕으로, 우리는 판별자의 특징 공간 내에서 학생 모델과 교사 모델의 분포가 동일해지도록 강제하는 목표식을 세운다. 제안하는 학습 방식은 확률 분포를 고유하게 결정하는 특성 함수를 활용하여, 두 주변 분포의 표본 특성 함수를 일치시키도록 한다. 이러한 통계적 비교는 전체적인 분포 간 정렬을 유도하여 적대적 학습을 강화하고 새로운 최적화 경로를 탐색할 수 있게 한다. 제안된 학습, 샘플링, 지식 증류 프레임워크는 각각 표준 벤치마크에 대한 광범위한 실험과 분석을 통해 검증되었으며 디퓨전 확률 모델의 효율성-성능 상충 관계 개선에 효과적임을 화인하였다.

목차 (Table of Contents)

• 1 Introduction 1
• 1.1 Motivation 1
• 1.2 Research Overview 3
• 1.2.1 NFE as an Indicator for Efficiency 3
• 1.2.2 Three Complementary Strategies 4
• 1.3 Proposed Approaches 6
• 1.3.1 Training Objective for Improved Diffusion Probabilistic Models 6
• 1.3.2 Advanced Sampling Algorithm for Diffusion Probabilistic Models 8
• 1.3.3 Knowledge Distillation from Diffusion Probabilistic Models for One-Step Generation 9
• 1.4 Summary of Contributions 11
• 1.5 Dissertation Outline 12
• 2 Preliminary 13
• 2.1 Foundational DPM Frameworks 13
• 2.2 A Unified View of DPM Frameworks 15
• 2.2.1 Mathematical Equivalence 15
• 2.2.2 Cross-Framework Flexibility 16
• 3 Related Work 18
• 3.1 Training Paradigms for Improved DPMs 18
• 3.1.1 Optimal Reverse Process 18
• 3.1.2 Design of Underlying SDE 19
• 3.1.3 Design of Forward Process 19
• 3.1.4 Training Objective 20
• 3.1.5 Integrating Other Generative Model Frameworks 20
• 3.2 Sampling Algorithms for Fast Inference 22
• 3.2.1 ODE/SDE Solvers 22
• 3.2.2 Add-on Solver Acceleration 23
• 3.2.3 Optimal Time Step Schedules 23
• 3.3 Diffusion Distillation for Few-Step Generation 24
• 3.3.1 Trajectory Matching 24
• 3.3.2 Distribution Matching 25
• 3.3.3 Diffusion Distillation with Adversarial Training 25
• 4 Training Objective for Improved Diffusion Probabilistic Models 27
• 4.1 Overview 27
• 4.2 Related Work 29
• 4.3 Observation-Guided Diffusion Probabilistic Models 31
• 4.3.1 Properties 31
• 4.3.2 New Surrogate Objective 32
• 4.3.3 Manifold Embedding and Likelihood Function 34
• 4.3.4 Training Objectives 36
• 4.3.5 Analysis of the Observation-Induced Loss 36
• 4.4 Experiments 40
• 4.4.1 Experimental Setup 42
• 4.4.2 Quantitative Results 43
• 4.4.3 Comparison with GAN-incorporated Methods 50
• 4.4.4 Qualitative Results 52
• 4.4.5 Discussion on training cost 53
• 4.5 Potential Improvements 54
• 4.6 Summary 54
• 5 Advanced Sampling Algorithm for Diffusion Probabilistic Models 63
• 5.1 Overview 63
• 5.2 Related Work 66
• 5.3 Preliminaries 67
• 5.3.1 Diffusion Probabilistic Models as Solving an ODE 67
• 5.3.2 Richardson Extrapolation 68
• 5.4 RX-DPM 68
• 5.4.1 Truncation Error of Euler Method on Non-Uniform Grid 68
• 5.4.2 RX-Euler 69
• 5.4.3 RX-DPM with Higher-Order Solvers 71
• 5.4.4 Analysis on Global Truncation Errors 74
• 5.5 Experiment 76
• 5.5.1 Implementation Details 76
• 5.5.2 Validity Test 76
• 5.5.3 Quantitative Comparisons on EDM Backbone 77
• 5.5.4 Comparisons on Stable Diffusion 80
• 5.5.5 Comparisons on Higher-Order Solvers 83
• 5.5.6 DPMs with Optimal Covariances 84
• 5.5.7 Computational Cost 85
• 5.6 Summary 86
• 6 Knowledge Distillation from Diffusion Probabilistic Models for One-Step Generation 98
• 6.1 Overview 98
• 6.2 Related Work 100
• 6.3 Preliminaries 102
• 6.4 Method 104
• 6.4.1 Motivation behind Matching Generative Distributions on the Discriminator Feature Space 104
• 6.4.2 Matching Generative Distributions on Feature Space via Characteristic Function Matching 105
• 6.4.3 Calculating Characteristic Functions 108
• 6.4.4 Final Loss and Algorithm 111
• 6.5 Experiment 114
• 6.5.1 Experimental Setup 114
• 6.5.2 Results on EDM Backbone 115
• 6.5.3 Results on Stable Diffusion v1.5 119
• 6.6 Discussion 121
• 6.6.1 Choice of Distributional Metric 121
• 6.6.2 Limitation 122
• 6.7 Summary 122
• 7 Conclusion 125
• 7.1 Summary 125
• 7.2 Future Work 126
• Abstract (In Korean) 141