Effective and unified machine unlearning via optimal transport for feature alignment

다국어 초록 (Multilingual Abstract)

Recent advances in deep learning have raised growing concerns about privacy leakage, as models can memorize sensitive training data. To address this issue, machine unlearning aims to remove the influence of specific data samples (the forget set) while preserving the knowledge learned from the remaining data (the retain set). However, existing unlearning approaches often fail to achieve a balanced trade-off between forgetting effectiveness, model utility, computational efficiency and task robustness. In this work, we formulate machine unlearning as a feature distribution alignment problem and propose an Optimal Transport–based framework that aligns the feature representations of the forget set with the retain feature manifold. By modeling unlearning as a geometric transformation in the feature space, our approach effectively eliminates structural traces of forget samples while maintaining performance on the retain set. To ensure computational scalability and effective unlearning process, we introduce a prototype guided alignment mechanism using class prototypes that represent the retain distribution, along with a class-aware cost function to encourage semantic dispersion in sample-level unlearning. Extensive experiments on various datasets and models demonstrate that our proposed method achieves superior performance against state-of-the-art methods.

국문 초록 (Abstract)

최근 딥러닝 기술의 비약적인 발전과 함께, 모델이 민감한 학습 데이터를 암기함에 따른 프라이버시 유출 우려가 증대되고 있다. 이러한 문제를 해결하기 위한 머신 언러닝은 잔존 데이터셋으로부터 습득한 지식은 보존하면서, 특정 데이터 샘플인 삭제 데이터셋의 영향을 모델로부터 제거하는 것을 목표로 한다. 그러나 기존의 언러닝 기법들은 삭제 효과성, 모델 유용성, 연산 효율성, 그리고 테스크 강건성 간의 균형 잡힌 트레이드오프를 달성하는 데 한계를 보인다. 본 연구에서는 머신 언러닝을 특징 분포 정렬 문제로 정의하고, 삭제 데이터셋의 특징 표현을 잔존 데이터의 특징 다양체에 정렬시키는 최적 수송 기반의 프레임워크를 제안한다. 언러닝 과정을 특징 공간 내의 기하학적 변환으로 모델링함으로써, 제안하는 방법은 잔존 데이터셋에 대한 성능을 유지하는 동시에 삭제 샘플들의 구조적 흔적을 효과적으로 제거한다. 연산 효율성과 효과적인 언러닝 과정을 위해 잔존 데이터 분포를 대변하는 클래스 프로토타입을 활용한 프로토타입 기반 OT 정렬 메커니즘을 도입하였으며, 샘플 단위 언러닝에서 의미론적 분산을 촉진하기 위한 클래스 인식 비용 함수를 함께 설계하였다. 다양한 데이터셋과 모델을 대상으로 수행한 광범위한 실험을 통해, 제안하는 방법이 최신 기법들과 비교하여 우수한 성능을 달성함을 입증하였다.

목차 (Table of Contents)

• 1. Introduction 1
• 2. Related Work 5
• 2.1. Machine Unlearning 5
• 2.2. Optimal Transport 7
• 3. Empirical Motivation 9
• 4. Preliminaries and Notation 12
• 4.1. Machine Unlearning 12
• 4.2. Optimal Transport 13
• 5. Method 15
• 5.1. Alignment between Forget and Retain Features 15
• 5.2. Prototype-guided Alignment 17
• 5.3. Class-aware Cost Function 18
• 5.4. Overall Algorithm 19
• 6. Experiment 20
• 6.1. Experimental Setup 21
• 6.2. Class-level Unlearning Results 23
• 6.3. Sample-level Unlearning Results 26
• 6.4. Membership Inference Attack 28
• 6.5. Runtime Efficiency 30
• 6.6. Feature Space Visualization 32
• 6.6. Unlearning with Varying Forget Class and Ratios 34
• 7. Limitation and Future Work 36
• 8. Conclusion 38
• References 39