Advances in Diffusion-Based Image Generation Across Training, Adaptation, and Inference = 확산 기반 이미지 생성모델의 훈련, 적응, 추론

국문 초록 (Abstract)

확산 모델~\cite{ho2020denoising,sohl2015deep,song2020score}은 최근 강력한 생성 모델 계열로 자리매김하며, 생성적 적대 신경망(GAN)~\cite{goodfellow2014generative,stylegan,karras2020analyzing,karras2021alias}이나 변분 오토인코더(VAE)~\cite{kingma2013auto,xiao2020vaebm}에 비해 여러 장점을 보여 왔다. 특히 GAN이 흔히 겪는 불안정한 학습과 제한된 다양성과 달리, 확산 모델은 안정적인 학습 동역학, 확장 가능한 모델 용량, 그리고 데이터 분포에 대한 우수한 커버리지를 제공한다. 이 모델들은 학습 데이터에 점진적으로 노이즈를 주입하고 그 과정을 역으로 복원하도록 학습함으로써 새로운 표본을 합성하며, 이러한 접근은 비평형 열역학에서 영감을 받았다. 확산 기반 생성의 초기 정식화는 Sohl-Dickstein 등~\cite{sohl2015deep}에 의해 제시되었고, 이후 점수기반 방법~\cite{song2020score}과 DDPM~\cite{ho2020denoising}으로 정교화되었다. 최근 연구들은 확산 모델이 최첨단 GAN에 필적하거나 이를 능가하는 이미지 합성 품질을 달성함을 보였고, 이에 힘입어 이미지 편집, 초해상도, 텍스트-투-이미지 합성 등 다양한 응용으로 빠르게 확산되고 있다.

그럼에도 확산 모델에는 여전히 극복해야 할 도전 과제가 남아 있다. 첫째, 샘플링의 확률성으로 인해 원하는 의미나 속성을 갖는 이미지를 안정적으로 제어하는 일이 쉽지 않다. 우리의 연구를 포함한 초기 작업—특히 사전학습된 비조건부 확산 모델을 추가 학습 없이 참조로 제어하는 추론 기법~\cite{choi2021ilvr}—은 추론 시점의 유도가 재학습 없이도 생성 과정을 방향짓는다는 사실을 보여주었다. 이후 classifier-free guidance~\cite{cfg}와 같은 기법이 조건부 샘플링을 한층 단순화했지만, 매 조건마다 전용 모델을 마련하지 않고도 유연하게 적응할 수 있는 메커니즘은 여전히 필요하다. 둘째, 확산 모델의 학습은 여러 노이즈 단계에 걸친 가중 손실을 최적화하지만, 기본 가중~\cite{ho2020denoising}은 이론적 근거가 약하고 지각적으로 중요하지 않은 고주파 세부에 학습을 치우치게 할 수 있다. 이는 의미적으로 유의미한 특징 학습을 우선시하도록 재가중하는 전략~\cite{p2}을 촉발하며, 이를 통해 시각적 충실도와 효율을 함께 개선할 수 있다. 셋째, 소수의 참조만으로 사전학습 모델을 새로운 스타일이나 도메인에 적응시키는 일은 여전히 어렵다. 표준 파인튜닝은 흔히 사전학습의 목적과 노이즈 스케줄을 그대로 물려받아, 주로 높은 노이즈 단계에서 드러나는 상위 수준의 스타일 속성과 정렬되지 않을 수 있다~\cite{choi2024style}. 유연한 추론 제어, 지각 기반의 학습, 효율적인 사후 적응이라는 세 문제를 해결하는 일은 확산 모델을 더 개인화 가능하고 제어 가능한 도구로 만드는 데 핵심적이다.

본 학위논문은 이러한 도전을 세 개의 핵심 기여를 통해 다룬다. (1) \textit{Inference-Time Control of Diffusion Models}: 참조 이미지를 이용해 사전학습된 비조건부 확산 모델의 역확산 궤적을 참조의 저주파 구조에 정렬함으로써, 추가 학습 없이도 단일 모델이 참조의 전역 의미를 보존하면서 다양한 출력을 생성하도록 한다. 이 방법은 다중 도메인 이미지 변환, 페인트-투-이미지, 스케치 기반 편집 등에서 제어 가능한 합성을 가능하게 한다. (2) \textit{Perception-Prioritized Training of Diffusion Models}: 지각적으로 중요한 노이즈 구간을 우선시하도록 학습 목적을 재가중하는 방식을 제안한다. 관찰 불가능한 미세 세부에 치우치기 쉬운 고 SNR 단계의 기여를 낮추고, 의미 있는 시각 개념을 학습하는 중간 SNR 구간의 기여를 높임으로써, 다양한 데이터셋과 아키텍처에서 일관된 품질 향상을 달성한다. 이를 통해 확산 목적함수의 학습 동역학을 명확히 하고, 추가 연산이나 구조 변경 없이 충실도를 끌어올린다. (3) \textit{Post-Training Style Adaptation of Diffusion Models}: 스타일 속성이 주로 나타나는 높은 노이즈 구간으로 노이즈 수준 샘플링을 재구성하는 스타일 친화적 파인튜닝 전략을 제시한다. 적은 수의 참조만으로도 개인화된 상위 수준의 스타일을 내재화하도록 하며, 저랭크 업데이트 등 경량 적응으로 스타일 전이의 충실도와 다양성을 동시에 개선한다.

이러한 기여를 통해 본 논문은 확산 모델 연구를 세 측면 (제어 가능한 생성, 지각 품질을 목표로 한 학습 최적화, 스타일 전이를 위한 파인튜닝 고도화) 에서 전진시킨다. 각 부분은 개별 한계를 해소하는 동시에, 고품질·범용 생성 모델로서 확산 모델이 표준으로 자리잡아 가는 큰 흐름과 맞물린다. 요약하면, ILVR~\cite{choi2021ilvr}은 신규 학습 없이 조건부 과제를 수행하도록 확산 모델의 적용 범위를 넓히고, P2 재가중~\cite{p2}은 더 나은 시각적 결과를 위해 학습 목표를 최적화하며, 스타일 친화적 샘플러~\cite{choi2024style}는 사용자 특화 창작으로의 확장을 이끈다. 다양한 데이터셋과 과제에서의 실험을 통해 향상된 충실도 지표, 보다 안정적인 수렴, 미지의 스타일에서의 성공적 생성 등을 입증한다. 마지막으로, 본 논문은 확산 모델의 추론 속도와 학습 자원 요구, 그리고 생성형 AI의 윤리적 고려사항을 논의하며, 빠르게 진화하는 이 분야의 향후 연구 방향을 제시한다.

다국어 초록 (Multilingual Abstract)

Diffusion models~\cite{ho2020denoising,sohl2015deep,song2020score} have emerged as a powerful class of generative models in recent years, offering advantages over earlier approaches like generative adversarial networks (GANs)~\cite{goodfellow2014generative,stylegan,karras2020analyzing,karras2021alias} and variational autoencoders (VAEs)~\cite{kingma2013auto,xiao2020vaebm}. Unlike GANs, which often suffer from unstable training and limited diversity, diffusion models provide stable training dynamics, scalable model capacity, and excellent coverage of the data distribution. These models work by gradually adding noise to training data and then learning to reverse this noising process to generate new samples, an approach inspired by non-equilibrium thermodynamics. Early formulations of diffusion-based generative modeling were introduced by Sohl- Dickstein et al.~\cite{sohl2015deep} and refined via score-based methods~\cite{song2020score} and denoising diffusion probabilistic models (DDPM)~\cite{ho2020denoising}. Recent studies have demonstrated that diffusion models can achieve image synthesis quality on par with, or even surpassing, state-of-the-art GANs. This success has led to rapid adoption of diffusion models in applications such as image editing, super-resolution, and text-to-image synthesis.

Despite their remarkable performance, diffusion models still face several challenges that limit their full potential. First, controlling the generative process to produce images with desired semantics or characteristics remains non-trivial due to the stochastic nature of sampling. Early works, including our reference-guided, training-free control of an unconditional diffusion model~\cite{choi2021ilvr}, demonstrated that inference-time guidance could steer generation without retraining. Subsequent developments such as classifier-free guidance~\cite{cfg} further simplified conditional sampling, yet the need remains for flexible mechanisms that adapt to new conditions without bespoke models. Second, diffusion training optimizes a weighted loss across many noise levels, but the default weighting \cite{ho2020denoising} is not theoretically justified and can bias learning toward imperceptible high-frequency details that do not improve perceptual quality. This motivates reweighting strategies~\cite{p2} that prioritize learning semantically meaningful features to boost fidelity and efficiency. Third, adapting pretrained models to new visual styles or domains from only a few references is challenging: standard fine-tuning typically inherits objectives and noise schedules from pretraining, which can misalign with high-level stylistic attributes that predominantly emerge at higher noise levels~\cite{choi2024style}. Addressing these three issues—flexible inference-time control, perceptually grounded training, and efficient post-training adaptation—is crucial for making diffusion models more personalized and controllable.

This dissertation addresses the above challenges through three main contributions, each corresponding to a core chapter. (1) \textit{Inference-Time Control of Diffusion Models}: We present a method to guide a pretrained, unconditional diffusion model using a reference image. By aligning the reverse-diffusion trajectory to the reference’s low-frequency structure, a single model can produce diverse outputs that preserve global semantics of the reference, enabling controllable image synthesis without additional training across tasks such as multi-domain image translation, paint-to-image generation, and sketch-based editing. (2) \textit{Perception-Prioritized Training of Diffusion Models}: We introduce a training objective reweighting that prioritizes perceptually important noise regimes. Down-weighting high–signal-to-noise steps that emphasize imperceptible details and up-weighting mid-SNR steps that encode salient visual concepts yields consistent gains in sample quality across datasets and architectures This chapter clarifies the learning dynamics of diffusion objectives and improving fidelity without architectural changes or extra compute. (3) \textit{Post-Training Style Adaptation of Diffusion Models}: We develop a style-friendly fine-tuning strategy that reshapes the noise-level sampling toward higher-noise regimes where stylistic attributes emerge, enabling models to internalize personalized, high-level styles from a few references. This approach improves style-transfer fidelity and diversity through lightweight adaptation (e.g., low-rank updates), providing a practical foundation for personalized content creation with diffusion models.

Through these contributions, this dissertation advances the diffusion model field in three aspects: controllable generation, optimized training for perceptual quality, and enhanced model fine-tuning for style transfer. Each part not only addresses a key limitation but also aligns with the broader trajectory of diffusion models becoming the de-facto tool for high-quality, versatile generative modeling. In summary, our ILVR~\cite{choi2021ilvr} method expands diffusion models to conditional tasks without new training, P2 weighting~\cite{p2} optimizes the training objective for better visual outcomes, and the style-friendly sampler~\cite{choi2024style} extends diffusion models to user-specific creativity. We validate these methods on a range of datasets and tasks, showing state-of-the-art results such as improved fidelity metrics, more stable training convergence, and successful generation of images in unseen styles. Ultimately, this dissertation illustrates how identifying and addressing critical gaps – semantic controllability, training efficiency, and adaptability – can push generative diffusion models closer to their full potential. The closing chapter reflects on remaining challenges in diffusion model inference speed and training resource requirements, as well as ethical considerations surrounding generative AI, laying out a road map for future research in this rapidly evolving domain.

목차 (Table of Contents)

• Abstract i
• Contents iv
• List of Tables viii
• List of Figures ix
• 1. Introduction 1
• 2 Background 12
• 3 Inference-Time Control of Diffusion Models 26
• 4 Perception-Prioritized Training of Diffusion Models 51
• 5 Post-Training Style Adaptation of Diffusion Models 74
• 6 Concluding Remark 107
• Abstract (In Korean) 142
• 감사의 글 145