Novel Data, Algorithm and Metric for Fairness-aware Machine Learning = 공정성을 고려한 머신러닝을 위한 새로운 데이터, 알고리즘 및 평가지표

다국어 초록 (Multilingual Abstract)

As machine learning systems are increasingly deployed in high-stakes decision-making contexts, concerns about algorithmic bias and unfairness have come to the forefront. Achieving algorithmic fairness requires coordinated advancements in how we define fairness (metrics), enforce it (learning algorithms), and assess it (evaluation datasets). However, existing approaches often struggle to generalize across tasks, scale to realistic settings, or address fairness in underexplored domains such as generation tasks.
This dissertation addresses these limitations by proposing a comprehensive investigation into novel fairness metrics, fairness-aware algorithms, and benchmark datasets. First, we propose a fairness-aware distillation framework that aligns group-conditional representations between teacher and student models using a regularization term based on Maximum Mean Discrepancy (MMD), improving both accuracy and fairness in visual recognition tasks. Second, we introduce a reweighting-based optimization method grounded in classwise Group Distributionally Robust Optimization (DRO), which reduces group-level disparities for each class. Third, we present a more practical fairness learning framework that utilizes confidence-based pseudo group labels to enable fairness-aware training when only partial demographic information is available in the training dataset. Fourth, we construct novel benchmark datasets of counterfactual images and theoretically analyze the relationship between counterfactual fairness and group fairness in image classification, revealing their divergence and offering a new method to bridge them. Finally, we propose a new metric—Multi-Group Proportional Representation (MPR)—to evaluate representational fairness in generative models, providing a scalable and flexible measure across intersectional groups and prompt-specific contexts.

Through this body of work, we offer rigorous and useful tools to advance the algorithmic fairness of machine learning models across diverse modalities and more practical real-world applications. Our findings underscore the need to move beyond simplistic fairness paradigms and toward principled, scalable, and context-sensitive solutions that better reflect the complexity of real-world AI deployments.

국문 초록 (Abstract)

머신러닝 시스템이 고위험 결정을 포함하는 다양한 실제 환경에 점점 더 많이 도입
되면서, 알고리즘 편향과 불공정성에 대한 우려가 대두되고 있다. 알고리즘 공정성
을 달성하기 위해서는 공정성을 정의하는 기준(공정성 측정 지표), 기존 학습알고리
즘의 변형을 통한 공정성 달성 방법(공정성 학습 방법), 그리고 이를 평가하는 방법
(공정성 평가 데이터셋)에 대한 통합적 발전이 요구된다. 하지만 기존의 접근 방식
들은 태스크 간 일반화에 취약하고, 현실적인 조건에서의 확장성에 한계가 있으며,
특히 생성 모델과 같이 아직 덜 탐색된 영역에서는 공정성 문제를 충분히 다루지
못하고 있다.
본 논문은 이러한 한계를 해결하기 위해 새로운 공정성 지표, 공정성 고려 학습
알고리즘, 그리고 평가용 벤치마크 데이터셋에 대한 종합적인 연구를 수행하였다.
첫째, 교사 모델과 학생 모델 간의 그룹 조건부 표현을 최대 평균 차이(MMD) 기반
의 정규화 항을 통해 정렬하는 공정성 기반 지식 증류 프레임워크를 제안하여, 시각
인식 태스크에서 정확도와 공정성을 동시에 향상시켰다. 둘째, 클래스 단위의 그룹
분포 강건 최적화(Group DRO)에 기반한 가중치 재조정 방식의 공정성 최적화 기
법을 제안하여, 각 클래스 내에서의 그룹 간 성능 격차를 효과적으로 줄였다. 셋째,
민감 정보에 대한 그룹 레이블이 부분적으로만 주어지는 상황에서, 예측 신뢰도를
기반으로 생성된 임의 그룹 레이블을 사용하는 약지도 기반의 공정 학습 프레임워
크를 제안하였다. 넷째, 이미지 분류에서의 반사실적 공정성과 그룹 공정성 간의
관계를 이론적, 실증적으로 분석하기 위해 반사실적 이미지 벤치마크를 새롭게 구
축하였으며, 두 기준 간의 비등가성을 밝히고 이를 디스틸레이션을 통해 연결하는
새로운 방법을 제시하였다. 마지막으로, 다양한 교차 그룹 속성과 프롬프트 문맥에
따라 유연하게 적용 가능한 새로운 대표성 공정성 측정 지표을 제안하였으며, 생
성 모델에서의 공정성 평가를 위한 확장 가능하고 실용적인 도구로 활용 가능함을
실험적으로 검증하였다.
본 논문은 다양한 데이터 형식과 실용적 시나리오에 걸쳐 공정성 학습을 구현할
수 있는 이론적이고 실용적인 도구들을 제안한다. 이러한 연구 결과들은 단순한 공
정성 기준을 넘어서, 실제 환경의 복잡성과 문맥을 반영할 수 있는 원칙적이고 확장
가능하며 상황에 민감한 공정성 솔루션의 필요성을 강조한다.

목차 (Table of Contents)

• Abstract i
• 1 Introduction 1
• 1.1 Background and Motivation 1
• 1.2 Contents of Dissertation 4
• 2 Backgrounds 7
• 2.1 Fairness Metrics 7
• 2.1.1 Group Fairness 7
• 2.1.2 Individual Fairness 9
• 2.1.3 Counterfactual Fairness 9
• 2.2 Fairness-aware Learning Methods 10
• 2.2.1 Pre-processing Methods 10
• 2.2.2 In-processing Methods 10
• 2.2.3 Post-processing Methods 11
• 2.2.4 Fairness-aware Learning Methods under Partially Labeled Group Information 11
• 2.3 Benchmark Datasets and Evaluation Protocols 12
• 3 Fair Feature Distillation for Visual Recognition 14
• 3.1 Introduction 14
• 3.2 Related Works 17
• 3.3 Notations and Fairness Criterion 18
• 3.4 Main Method 20
• 3.4.1 MMD-based Regularization for MFD 20
• 3.4.2 Objective Function 22
• 3.4.3 Analysis 23
• 3.5 Experimental Results 25
• 3.5.1 Synthetic Dataset 26
• 3.5.2 Real-world Datasets 33
• 3.5.3 Ablation Study 34
• 3.6 Concluding Remarks 35
• 4 Re-weighting based Group Fairness Regularization via Classwise Robust Optimization 36
• 4.1 Introduction 36
• 4.2 Related Works 38
• 4.2.1 In-processing Methods for Group Fairness 38
• 4.2.2 Distributionally Robust Optimization (DRO) 39
• 4.3 Fairness Criterion 40
• 4.4 Fairness-aware DRO(FairDRO) 41
• 4.4.1 Equivalence between DCA and Variance of Groupwise Losses 41
• 4.4.2 Prior Work on Variance Regularization via Group DRO 42
• 4.4.3 Training Objective of FairDRO 43
• 4.4.4 An Efficient Iterative Optimization for FairDRO 45
• 4.5 Experimental Results 47
• 4.5.1 Tabular Datasets 48
• 4.5.2 Vision Datasets 49
• 4.5.3 Language Dataset 49
• 4.5.4 Analysis 50
• 4.6 Concluding Remarks 52
• 5 Learning Fair Classifiers with Partially Annotated Group Labels 53
• 5.1 Introduction 53
• 5.2 Related Works 56
• 5.3 Problem Definition 58
• 5.4 Confidence-based Group Label Assignment 58
• 5.4.1 Method Overview 58
• 5.4.2 Theoretical Understanding of CGL 60
• 5.5 Experiments 62
• 5.5.1 Experimental Settings 62
• 5.5.2 Main Results 66
• 5.5.3 Analysis of Group Classifiers 69
• 5.5.4 Augmenting with Extra Group-unlabeled Data 70
• 5.6 Discussion and Concluding Remarks 71
• 6 Do Counterfactually Fair Image Classifiers Satisfy Group Fairness? – A Theoretical and Empirical Study 73
• 6.1 Introduction 73
• 6.2 Constructing High-quality Counterfactual Images 75
• 6.3 Primitive Study on the Relationship Between CF and GF 79
• 6.3.1 Experimental Setup 79
• 6.3.2 Performance Comparison 80
• 6.4 Theoretical Analysis on the Relationship Between CF and EO for Images 81
• 6.4.1 Structural Causal Model (SCM) for Images 81
• 6.4.2 Theoretical analysis 81
• 6.5 Empirical Analyses on the Effect of G to CF and GF
• 6.5.1 Counterfactual Knowledge Distillation (CKD)
• 6.5.2 Impact of Robustness to G on CF and GF
• 6.5.3 Impact of the Robustness to G of the Teacher Model on CKD 87
• 6.6 Full Comparisons of Fair-Training Methods on Image Classification 88
• 6.7 Concluding Remarks 90
• 7 Multi-Group Proportional Representation for Text-to-Image Models 92
• 7.1 Introduction 92
• 7.2 Related Work 95
• 7.3 Multi-group Proportional Representation in Image Generation 97
• 7.3.1 MPR with Empirical Distributions 100
• 7.3.2 MPR Computation according to C 101
• 7.4 Quantitative Assessment of Representational Harm Using MPR 102
• 7.4.1 Application of MPR across Diverse Scenarios 103
• 7.4.2 Use Cases unlocked by MPR 107
• 7.5 Fine-tuning T2I Models for MPR 108
• 7.6 Concluding Remarks 110
• 8 Conclusion 112
• 8.1 Summary of Contributions 112
• 8.2 Practical Guidelines for Selecting MFD, FairDRO and CGL 114
• 8.3 Discussion and Future Works 115
• A Appendix 119
• A.1 Proofs 119
• A.1.1 Proofs in Chapter 4 119
• A.1.2 Proofs in Chapter 5 123
• A.1.3 Proof in Chapter 6 125
• A.1.4 Proofs in Chapter 7 126
• 초록 147
• Acknowledgements 149