Uncertainty Quantification of Supervised Learning via Conditional Generative Adversarial Networks: Algorithm and Theoretical Optimality = 조건부 적대적 생성 네트워크를 통한 지도학습에서의 불확실성 정량화: 알고리즘과 이론적 최적성

다국어 초록 (Multilingual Abstract)

In this thesis, we address the problem of uncertainty quantification of supervised learning using the conditional generative model.
Our goal is to construct a conditional generative model that can capture predictive uncertainty while being theoretically well-grounded.

To this end, we use the conditional generative adversarial network(cGAN) and develop two extensions of cGAN for uncertainty quantification of supervised learning: (1) a $k$ nearest neighborhood($k$NN) based data augmentation that enriches local variability around each sample, and (2) an uncertainty regularization term that explicitly enforces stochastic diversity in the generator outputs.

On the theoretical side, we establish asymptotic guarantees for the conditional density estimated by cGAN.
Specifically, we show that the conditional density estimated by a conditional generative adversarial network converges to the true conditional density in Jensen-Shannon divergence at a nearly minimax-optimal rate.
We further show that the bias introduced by the $k$NN-based data augmentation converges to zero faster than the original convergence rate when $k$ increases at an appropriate rate, and the proposed uncertainty regularization preserves the optimal convergence rate when the regularization coefficient vanishes at an appropriate rate.

Through experiments on both regression and classification datasets, we empirically validate the proposed framework.
The results demonstrate that our methods achieve competitive or superior performance compared with established uncertainty quantification baselines.
Taken together, these findings indicate that conditional generative adversarial networks, when properly regularized or augmented, constitute a powerful and theoretically grounded tool for uncertainty quantification in supervised learning.

국문 초록 (Abstract)

본 논문에선, 조건부 생성 모형을 이용한 지도학습의 불확실성 정량화 문제에 대해 다루고자 한다.
본 연구의 목표는 이론적으로 근거가 있으며 예측적 불확실성을 반영하는 조건부 생성 모형을 개발하는 것이다.
이를 위해 조건부 적대적 생성 네트워크(cGAN)를 이용하였으며 지도학습에서의 불확실성 정량화를 위해 2가지 방법을 제안한다.
(1) 각 샘플 주변의 국소적 다양성을 증대하기 위한 $k$근접이웃($k$NN)기반 데이터 증강 그리고 (2) 생성자의 출력을 다양하게 강제하는 불확실성 정규화 항이다.

이론적 면에서 우린 cGAN을 이용하여 추정한 조건부 밀도 함수의 점근적 보장을 수립하였다.
구제적으로, cGAN으로 추정한 조건부 밀도함수와 실제 밀도함수간의 젠센-샤넌 발산이 거의 최소최대-최적 속도로 줄어드는 것을 증명한다.
또한 $k$NN 기반 데이터 증강으로 인해 생긴 편향이 $k$가 적당한 속도로 증가하였을 때, 기존의 수렴속도보다 빠르게 0으로 수렴하는 것을 증명하였고, 제안한 불확실성 정규화 역시 정규화 상수가 적절한 속도로 감소할 때 최적의 수렴속도를 유지하는 것을 증명했다.
이러한 결과들은 cGAN기반 조건부 밀도함수 방법의 확고한 이론적 기반을 제시하며 불확실성 정량화에 cGAN을 적용하는 것을 정당화 한다.

마지막으로, 다양한 회귀 및 분류 데이터셋에서 광범위한 실험을 통해 제안한 프레임워크를 검증하였다.
그 결과, 제안한 방법은 기존의 불확실성 정량화 기준 모델들과 비교하여 경쟁력 있는 또는 우수한 성능을 보였다.
이러한 결과는, cGAN을 새롭게 확장한 방법들이 지도 학습에서 불확실성 정량화를 위한 강력하고 이론적으로 정당화된 방법임을 입증한다.

목차 (Table of Contents)

• Abstract
• 1 Introduction 1
• 2 Review of Deep generative models 5
• 2.1 Overview 5
• 2.2 Deep generative models 8
• 2.2.1 Algorithms for deep generative models 9
• 2.2.2 Asymptotic theories of deep generative models 14
• 2.3 Conditional Generative models 17
• 2.3.1 Introduction of conditional generative models 17
• 2.3.2 Asymptotic theories of conditional generative models 19
• 3 Uncertainty quantification of supervised learning via cGAN 22
• 3.1 Overview 22
• 3.2 Review of Uncertainty Quantification Methods 23
• 3.2.1 Deep Ensemble 24
• 3.2.2 Bayesian Neural Network 24
• 3.2.3 MC Dropout 25
• 3.3 Conditional Generative Adversarial Network 26
• 3.4 Proposed methods 29
• 3.4.1 kNN-based Data Augmentation 30
• 3.4.2 Uncertainty regularization32
• 4 Asymptotic theory of cGAN 38
• 4.1 Overview 38
• 4.2 Preliminaries 39
• 4.2.1 Notations and definitions 39
• 4.3 Asymptotic convergence rate of cGAN 47
• 4.3.1 Assumptions 47
• 4.3.2 Theoretical Results 51
• 5 Experiments 56
• 5.1 Regression 57
• 5.1.1 Simulation Study 57
• 5.1.2 UCI Regression Benchmarks 59
• 5.2 Classification 61
• 6 Conclusion 69
• A Proof of Theorems 71
• A.1 Proof of Theorem 4.1 71
• A.2 Proof of Theorem 4.2 83
• A.3 Proof of Corollary 4.3 89
• A.4 Proof of Corollary 4.4 92
• B Additional Experiments 93
• B.1 Experimental Details 93
• B.2 Ablation studies 94
• B.2.1 JS divergence according to sample size 94
• B.2.2 Sensitivity to k and λ 96
• B.2.3 Comparison with Conformal Prediction 96
• B.2.4 Effect of kNN Augmentation 97
• B.2.5 Hessian Regularization 97
• B.2.6 UCI classification dataset 100
• Bibliography 103
• Abstract (in Korean) 111