Neural Optimal Transport-based Methods for Unpaired Image Restoration = 비대응 영상 복원을 위한 신경 최적수송 기반 방법

국문 초록 (Abstract)

본 연구에서는 노이즈가 포함된 관측 데이터와 깨끗한 타깃 신호가 각각 독립적으로만 주어지는 환경에서의 비대응 영상 복원(unpaired image restoration) 문제를 역문제의 관점에서 다룬다. 우리는 비균형 최적 수송(Unbalanced Optimal Transport) 에 기반한 새로운 복원 프레임워크를 제안한다. 제안하는 방법은 노이즈 관측 분포로부터 깨끗한 신호 분포를 예측하는 이미지 복원 문제를, 우도 기반 비용 함수를 사용하여 노이즈 관측 분포에서 깨끗한 신호 분포로의 함수를 학습하는 문제로 정식화한다. 또한 본 연구는 이러한 정식화 아래에서 도출되는 함수의 존재성과 유일성을 이론적으로 확립한다.

정확한 주변분포 제약을 완화하는 비균형 최적 수송의 구조적 특성으로 인해, 제안한 프레임워크는 다중 수준의 관측 노이즈에 대한 견고성, 노이즈 데이터와 깨끗한 데이터 간의 클래스 불균형에 대한 적응성이라는 핵심적인 이점을 제공한다. 실험 결과, 제안 모델은 초해상도 복원 및 가우시안 블러 제거와 같은 선형 복원 과제, HDR 이미지 복원 및 비선형 블러 제거와 같은 비선형 복원 설정에서, 기존의 비대응 영상 복원 방법 대비 우수한 성능을 보임을 확인하였다.

다국어 초록 (Multilingual Abstract)

We address the problem of unpaired image restoration, viewed through the lens of inverse problems, where only independent sets of noisy measurements and clean target signals are available. We propose a novel restoration framework grounded in Unbalanced Optimal Transport. Our method formulates image restoration—predicting clean target signals from noisy measurements—as learning a UOT map from the noisy measurement distribution to the clean signal distribution using a likelihood-based cost function. A theoretical analysis establishes the existence and uniqueness of the resulting transport map under our formulation. By relaxing the exact marginal constraint, the UOT framework provides key advantages to our model: robustness to multi-level observation noise, adaptability to class imbalance between noisy and clean datasets. Our experiments demonstrate that the proposed model achieves superior performance on unpaired image restoration benchmarks across both linear (super-resolution and Gaussian deblurring) and nonlinear (high dynamic range reconstruction and nonlinear deblurring) settings.

목차 (Table of Contents)

• 1 Introduction 1
• 2 Preliminary 5
• 2.1 Optimal Transport 5
• 2.1.1 Optimal Transport 5
• 2.1.2 Unbalanced Optimal Transport 7
• 2.2 Image Restoration as Inverse Problems 8
• 3 Optimal Transport-based Formulation for Unpaired Image Restoration 10
• 3.1 Motivation 11
• 3.2 Optimal Transport for Unpaired Image Restoration 12
• 3.2.1 Problem Formulation 12
• 3.2.2 Likelihood-Based Cost and MAP Estimation 15
• 3.2.3 Existence and Uniqueness of the OT Map under the Modified Cost Function 17
• 3.3 Proofs 18
• 4 Unbalanced Optimal Transport-based Formulation and Modeling 23
• 4.1 Motivation 24
• 4.2 Unbalanced Optimal Transport for Unpaired Image Restoration 26
• 4.2.1 Existence and Uniqueness of the UOT Map under the Modified Cost Function 26
• 4.2.2 Learning Objectives for Neural UOT 29
• 4.3 Proofs 33
• 5 Experiments 44
• 5.1 Dataset 45
• 5.2 Implementation Details 46
• 5.2.1 Degradation Operators 46
• 5.2.2 Evaluation Metrics 47
• 5.2.3 Model Training Details 48
• 5.3 Quantitative Experiments 49
• 5.3.1 Comparison with Unpaired Image Restoration Benchmarks 49
• 5.3.2 Evaluation under Multi-level Observation Noise 52
• 5.3.3 Evaluation under Class Imbalance 55
• 5.3.4 Evaluation under Diverse Noise Types 57
• 5.3.5 Analysis of Model Components 59
• 5.4 Qualitative Experiments 62
• 6 Conclusion 73
• The bibliography 75
• Abstract (in Korean) 82