Trustworthy Generative Models: from Privacy to Fairness = 신뢰할 수 있는 생성모델 개발: 프라이버시부터 공정성까지

국문 초록 (Abstract)

최근 생성 모델의 발달로 공공 및 산업에서 생성 모델의 사용이 증가했다. 생성 모델은 학습 데이터의 분포를 추정해 높은 확률을 가지는 데이터를 생성한다. 하지만, 이 분포는 학습 데이터의 분포에 의존해 개인정보를 유출하는 문제를 발생 시킬 수 있다. 더욱이, 모델은 학습된 분포에서 높은 확률을 가지는 데이터를 생성하기 때문에 학습 데이터 상에서 낮은 확률을 가지는 데이터가 무시되는 경향이 생길 수 있다. 이 문제들은 생성 모델에 대한 개인정보 유출 문제와 편향성으로 인한 공정성 문제를 불러 일으킨다.

이러한 문제점을 해결하기 위하여 본 학위논문에서는 두 가지 관점에서 신뢰가능한 생성 모델을 개발한다: 첫 번째는 민감 데이터의 개인정보를 보호하는 것이며, 두 번째는 생성된 데이터의 편향성을 완화해 공정한 데이터를 생성하는 것이다. 이를 통해 높은 수준으로 개인정보를 보호하면서 생성 모델의 성능을 유지하는 생성 방법과, 추가 학습 없이 편향성을 완화해 공정한 데이터를 생성하는 생성 기법을 개발한다. 또한, 이러한 생성 기법이 다양성을 증가시킬 수 있음을 이론적으로 보인다.

먼저, 편향성이 문제가 될 수 있는 클래스 불균형 상황에서 차분 정보보호(Differential Privacy, DP)를 만족하는 생성 모델을 개발한다. DP가 클래스 불균형 문제를 심화시킬 수 있기 때문에, 이를 완화하기 위하여 DP를 만족하는 소수 클래스 데이터를 증강 기법을 제안한다. 소수 클래스 증강 상황에서는 학습 데이터 수가 부족하기 때문에 학습에 많은 데이터를 요구하는 기존의 딥러닝 기반 생성 방식의 성능은 제한된다. 본 연구에서는 커널 방식을 이용해 소수 클래스의 표형 데이터를 증강시켜 동일한 개인정보 보호 수준에서 높은 분류 성능을 달성한다.

다음으로, 이미지 분야에서 DP를 만족하는 생성 모델을 학습한다. 높은 이미지 생성 성능을 가지는 확산 모델의 순차적인 성질은 DP를 만족하는 학습을 도울 수 있지만, 동시에 불필요한 학습 과정도 존재한다. 이를 해결하기 위해 이 학위논문에서 이용해 불필요한 학습 과정을 규명하고, 이를 개인정보 문제가 없는 랜덤 과정으로 생성한 이미지로 (원, 사각형 등의 도형) 대체한다. 이를 통해 공개 데이터나 공개 모델에 대한 가정 없는 강한 개인정보 보호 수준에서 높은 유용성을 보이는 학습 방식을 제안한다.

이후, 본 학위 논문은 대규모 언어모델의 공격 방어 기법을 개발한다. 대규모 언어 모델의 환각(Hallucination)을 줄이기 위해 외부 데이터베이스를 도입한 방식인 검색-증강 생성(Retrieval-Augmented Generation, RAG)은 멤버십 추론 공격에 취약하다. 이 외부 데이터베이스를 보호하기 위해, 본 연구에서는 RAG 시스템의 유사도를 기반 공격 탐지 기법을 개발한다. 이 탐지 기법을 이용해 공격이 아닌 질의에 대해서는 성능이 거의 하락하지 않으면서도 공격에 대해서 DP 수준의 강한 방어 성능을 가지는 방어 기법을 개발한다.

마지막으로, 사전 학습된 확산 모델을 이용해 공정한 이미지를 생성하기 위해서, 본 학위논문에서는 확산 모델의 생성 과정의 순차적인 성질을 이용한다. 확산 모델의 생성 과정에서 조건부 속성을 변환(Switching)하면 재학습 없이 생성 데이터가 이론적, 실험적 공정성을 달성할 수 있음을 보인다. 이 학위논문에서는 이론적 공정성을 달성할 수 있는 속성 전환이 이루어지는 전환점을 찾으며, 임의의 전환점으로 전환한다면 생성 데이터의 다양성을 증가 시킬 수 있음을 이론적으로 보인다.

이러한 연구를 통해 생성 모델을 산업 및 공공 분야에 사용할 때 생길 수 있는 문제를 해결할 수 있다. 또한, 윤리 문제가 없이 생성된 합성 데이터는 추후 다른 딥러닝 모델을 학습시키는 과정에 사용 가능하며, 개인정보 문제가 없어 데이터 제공자가 늘어나는 선순환고리를 만들 수 있다. 제안된 방법을 통해 안전하고 신뢰가능한 생성 모델의 발전에 기여하기를 기대한다.

다국어 초록 (Multilingual Abstract)

With the recent advancement of generative models, the use of synthetic data has rapidly increased. Generative models estimate the distribution of training data and generate samples that follow this learned distribution. However, the estimated data distribution can reveal information about training data, raising concerns about data privacy. Moreover, since these models tend to generate samples with high probability under the learned distribution, data with low probability may be ignored. These issues can lead to problems of both privacy and fairness in the generated data.

This dissertation aims to achieve trustworthy generative models from two perspectives: (i) preserving the privacy of sensitive data, and (ii) mitigating the bias of the generated data to ensure fairness. To achieve these goals, this dissertation proposes generation techniques that can protect sensitive data and mitigate bias while preserving the utility of the models. Moreover, this dissertation theoretically demonstrates that the generation technique can also improve the diversity.

First, a differentially private generative method is introduced for a class-imbalanced setting, where the bias can arise. Since applying differential privacy (DP) methods to classifiers can highly degrade the performance in an imbalanced setting, this work proposes a DP-upsampling method for the minority class data. This work adopts a kernel-based method that generates samples based on an approximated density function, since the lack of minority class samples restricts the generation quality of deep learning based methods. The proposed method improves the DP-classifier under the same privacy budget.

Next, this dissertation proposes a differentially private training method for image generative models. Diffusion models, which have become the de-facto standard for image generation, involve small and iterative denoising steps. While these small steps can help DP training, they also cause unnecessary training steps. To mitigate this, the redundant training steps are identified in this work and replaced with privacy-free synthetic data (e.g., random bundles of geometric shapes) generated from a random process. This approach improves generation quality under the same privacy budget without any public data.

Furthermore, this dissertation proposes an attack defense method for Large Language Models (LLMs). Retrieval-Augmented Generation (RAG), which integrates external databases to reduce hallucination in LLMs, has been shown to be vulnerable to membership inference attacks (MIAs). To protect the external database, this dissertation proposes an attack query detection method that utilizes similarity scores. Based on this detection method, a simple defense method is also proposed, which maintains almost the same utility for benign queries while providing DP-level protection against attacks.

Finally, to generate fair images from the pre-trained diffusion model, this dissertation leverages the iterative sampling process of diffusion models. By switching the conditioning attribute during the sampling, the proposed method can achieve theoretical and empirical fairness, without retraining. This dissertation identifies a transition point that guarantees theoretical fairness and proves that the switching method can also enhance the diversity of generated data.

Through these studies, this dissertation aims to address privacy and fairness challenges that arise when applying generative models in industrial and public contexts. Ethically generated synthetic data can also be used to train other models without privacy concerns, making a virtuous cycle where more data providers are willing to contribute. I hope that the proposed approaches will contribute to the development of trustworthy generative models.

목차 (Table of Contents)

• Chapter 1 Introduction 1
• 1.1 Motivation of this Dissertation 1
• 1.2 Aims of the Dissertation 3
• 1.3 Thesis Organization 4
• Chapter 2 Background 6
• 2.1 Background Overview 6
• 2.2 Support Vector Data Description for Kernel Density Estimation 6
• 2.3 Differential Privacy 8
• 2.4 Diffusion Models 11
• 2.5 Retrieval-Augmented Generation 14
• Chapter 3 Privacy-preserving Upsampling for Imbalanced Tabular Data 16
• 3.1 Chapter Overview 16
• 3.2 Related Works 20
• 3.3 Proposed Method 22
• 3.3.1 Phase I. Training GDPSVDD 25
• 3.3.2 Phase II. Gradient-Based Density Driven Sampling 29
• 3.3.3 Phase III. Filtering Generated Samples 32
• 3.4 Experiments 35
• 3.4.1 Experimental Setup 35
• 3.4.2 Generated Data 38
• 3.4.3 Downstream Performance 40
• 3.4.4 Effects of Filtering 44
• 3.4.5 Additional Experiments 46
• 3.4.6 Experimental Results Summary 51
• 3.5 Chapter Summary 52
• Chapter 4 Privacy-preserving Diffusion Training for Image Generation 54
• 4.1 Chapter Overview 54
• 4.2 Methodology 57
• 4.2.1 Motivating Examples 57
• 4.2.2 Leveraging Synthetic Data in DP Diffusion Training 60
• 4.2.3 Finding Appropriate Thresholds 65
• 4.3 Experiments 66
• 4.3.1 Training Details 66
• 4.3.2 Generated Examples 72
• 4.3.3 Varying Multiplicity 72
• 4.4 Chapter Summary 73
• Chapter 5 Safeguarding External Language Data in Retrieval-Augmented Generation 74
• 5.1 Chapter Overview 74
• 5.2 Related Works 76
• 5.2.1 Privacy Leakage of RAG System 76
• 5.2.2 Safeguarding Attacks in RAG 76
• 5.3 Scenarios 77
• 5.3.1 Motivation and Goals 78
• 5.4 Proposed Method 79
• 5.4.1 Is This Query Too Close to Home? MIA Detection with Gumbel Distribution 79
• 5.4.2 Detect-and-hide to Defend MIA 83
• 5.5 Experiments 84
• 5.5.1 Experimental Setups 84
• 5.5.2 Detection Evaluation 87
• 5.5.3 Defense Evaluation 88
• 5.5.4 Composing with Existing DP Models 93
• 5.5.5 Experiments with Different Models 94
• 5.5.6 Runtime 94
• 5.6 Chapter Summary 95
• Chapter 6 Ensuring Fairness in Synthetic Image Generation 96
• 6.1 Chapter Overview 96
• 6.2 Notations and Related Work 98
• 6.2.1 Fairness Notions 98
• 6.2.2 Fair Generative Model 100
• 6.3 Methodology 101
• 6.3.1 Problem Statement 101
• 6.3.2 Sampling with Attribute Switching Mechanism 102
• 6.3.3 Fair Sampling with Attribute Switching 104
• 6.4 Experiments 108
• 6.4.1 Experimental Setups 108
• 6.4.2 Data Fairness 110
• 6.4.3 Data Utility 111
• 6.4.4 Sampling with Text-conditioning Models 113
• 6.5 Attribute Switching Improves Diversity in Generation 114
• 6.5.1 Importance of Diversity in Image Generation 114
• 6.5.2 Attribute Switching Can Improve Diversity 115
• 6.6 Chapter Summary 117
• Chapter 7 Conclusion 118
• 7.1 Dissertation Summary 118
• 7.2 Limitations 119
• Chapter A Appendix for Chapter 3 121
• A.1 Proof of Theorem 3.4 121
• Chapter B Appendix for Chapter 4 124
• B.1 Training Details 124
• B.1.1 Training Details for Motivating Examples 124
• B.1.2 Training Details for Diffusion Models 125
• B.1.3 Training Details for DP Training 125
• B.1.4 Training Details for Downstream Classifier 125
• B.1.5 Generated Examples of Synthetic Data 126
• B.2 Proof of Theorems 127
• B.3 Additional Experiments 129
• B.3.1 Additional Experiments for Motivating Examples 129
• B.3.2 Varying Multiplicity 132
• B.4 Generated Examples 132
• Chapter C Appendix for Chapter 6 134
• C.1 Implementation Details 134
• C.2 Proofs 135
• C.3 Ablation Study 138
• C.3.1 Additional Experiments for ε-fairness 138
• C.3.2 The Stability of τ-searching Algorithm 138
• C.3.3 Dimension Reduction with CIFAR10 139
• C.3.4 Image Captioning 139
• C.3.5 Visualization 140
• Chapter D Appendix for Chapter 5 151
• D.1 Experimental Details 151
• D.1.1 Dataset 151
• D.1.2 Hyperparameters 152
• D.1.3 MIA Implementation 153
• D.2 Prompt Templates 153
• D.3 Additional Experiments 154
• D.3.1 Illustration of Motivating Example 154
• D.3.2 Detection 155
• D.3.3 Defense 156
• D.3.4 Indistinguishable 157
• 국문초록 186