Physics-informed computational imaging for optical artifact removal

다국어 초록 (Multilingual Abstract)

This dissertation establishes a physics-informed computational imaging framework for removing optical artifacts across diverse imaging systems. Addressing two critical challenges——optical aberrations in virtual reality head-mounted displays and lens flare/glare in low-light photography——the research demonstrates how physical principles can systematically guide computational solutions. For VR HMDs, we develop a real-time pre-correction system that combines wavefront modeling through Zernike polynomials with optimized L2-regularized deconvolution, achieving 19.5 ms processing throughput at 1080p resolution while significantly improving visual fidelity without hardware modifications. For nighttime flare and glare removal, we introduce the Physically-Based Flare and Glare (PBFG) dataset, generated through computational rendering that accurately simulates diffraction and scattering phenomena. Leveraging this dataset, we develop two specialized networks: FlareHRF incorporates hybrid receptive fields through parallel convolutional attention and frequency-aware feed-forward networks, while FGRNet employs spatial-frequency enhancement with histogram matching to maintain visual consistency. Both architectures demonstrate remarkable capability in removing complex artifacts, including off-frame light sources and weak streaks, with FGRNet achieving up to 3 dB PSNR improvement in glare regions.
Comprehensive experiments validate our physics-informed approach across both applications, showing state-of-the-art performance in artifact removal while maintaining physical plausibility and computational efficiency. This work provides a coherent methodology for integrating physical optics with computational imaging, with direct applications in immersive displays, autonomous driving, and computational photography.

국문 초록 (Abstract)

본 논문은 다양한 영상 시스템에서 발생하는 광학적 아티팩트를 제거하기 위한 물리 정보 기반 전산 이미징 프레임워크를 제안한다. 가상현실 헤드 마운트 디스플레이에서의 광학 수차와 저조도 촬영 환경에서 나타나는 렌즈 플레어 및 글레어라는 두 가지 핵심 문제를 다루며, 물리적 원리가 계산적 해결 방안을 체계적으로 설계하는 데 활용될 수 있음을 실증적으로 보인다. VR HMD의 경우, 본 연구에서는 Zernike 다항식 기반의 파면 모델링과 최적화된 L2 정규화 디컨볼루션을 결합한 실시간 사전 보정 시스템을 설계하고 구현한다. 제안한 시스템은 하드웨어 변경 없이 1080p 해상도에서 프레임당 19.5 ms의 처리 시간을 달성하며 시각적 품질을 현저히 향상시킨다. 야간 환경에서의 플레어 및 글레어 제거를 위해, 본 연구에서는 회절과 산란 현상을 정확하게 모사하는 계산 렌더링 기법을 활용하여 Physically-Based Flare and Glare (PBFG) 데이터셋을 제안한다. 해당 데이터셋을 기반으로 두 가지 특화된 신경망 구조를 개발한다. FlareHRF는 병렬 합성곱 어텐션과 주파수 인지형 피드포워드 네트워크를 결합하여 하이브리드 수용 영역을 통합하고, FGRNet은 히스토그램 매칭을 결합한 공간–주파수 강화 기법을 적용하여 시각적 일관성을 유지한다. 두 아키텍처 모두 프레임 외 광원과 미약한 스트리크 패턴을 포함한 복잡한 아티팩트에 대해 우수한 제거 성능을 보였으며, 특히 FGRNet은 글레어 영역에서 최대 3 dB의 PSNR 향상을 달성하였다.
종합적인 실험을 통해 본 연구의 물리 정보 기반 접근법은 두 응용 사례 모두에서 효과가 검증되었으며, 물리적 타당성과 계산 효율성을 유지하면서도 아티팩트 제거 성능에서 최첨단 수준의 결과를 달성하였다. 본 연구는 물리 광학과 전산 이미징을 통합하는 일관된 방법론을 제시하며, 몰입형 디스플레이, 자율주행, 전산 사진학 등 다양한 응용 분야에 직접적으로 활용될 수 있다.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• 1.1 Limitations of Traditional Artifact Correction Approaches 2
• 1.2 Our Solution: A Physics-Informed Computational Imaging Framework 4
• 1.3 Aberration Pre-correction of HMDs 5
• 1.4 Lens Flare and Glare Datasets 6
• 1.5 Lens Flare and Glare Removal Methods 8
• 1.6 Contributions 10
• 1.7 Organization 11
• Chapter 2. Related Work 12
• 2.1 Aberration Correction 12
• 2.1.1 Aberration Correction Methods 12
• 2.1.2 Constrained Deconvolution 13
• 2.1.3 Point Spread Function Estimation 14
• 2.2 Lens Flare and Glare Datasets 15
• 2.3 Lens Flare and Glare Removal Methods 16
• 2.3.1 Hardware-Based Methods 16
• 2.3.2 Computational Methods 16
• 2.3.3 Deep Learning-Based Methods 17
• Chapter 3. Aberration Pre-correction for Simple Optical System of Head-Mounted Displays 18
• 3.1 Aberration Pre-correction 18
• 3.1.1 Problem Formulation 19
• 3.1.2 Background: Pre-Correction Model 21
• 3.2 Our Improved Pre-Correction Model 23
• 3.3 Real-Time Implementation Details 27
• 3.4 Point Spread Function Evaluation 29
• 3.5 Results 37
• 3.5.1 Implementation Setting 37
• 3.5.2 Qualitative Analysis 38
• 3.5.3 Quantitative Analysis 40
• 3.5.4 Performance 43
• 3.6 Real experiment results 43
• 3.7 Conclusions 45
• 3.8 Limitations 46
• Chapter 4. Physically-Based Lens Flare and Glare Dataset Generation 47
• 4.1 Glare Pattern Synthesis 47
• 4.1.1 Physics of Lens Glare 47
• 4.1.2 Streak Pattern Synthesis 50
• 4.1.3 Starburst Pattern Synthesis 51
• 4.1.4 Glow and Shimmer Pattern Synthesis 52
• 4.1.5 Light Source Synthesis 53
• 4.1.6 Spectral Integration 53
• 4.2 Flare Pattern 54
• 4.3 Enhanced Ground Truth (GT) Dataset 54
• 4.4 Comparison with Existing Dataset 57
• Chapter 5. FlareHRF: Hybrid Receptive Field Network for Nighttime Flare and Glare Removal 60
• 5.1 FlareHRF: Architecture and Design 61
• 5.1.1 Parallel Convolutional Self-Attention Block 62
• 5.1.2 Frequency-Aware Feed-Forward Network 64
• 5.1.3 Loss Function 68
• 5.2 Experimental Implementation Details 69
• 5.2.1 Datasets 69
• 5.2.2 Data Augmentation 69
• 5.2.3 Training Details 70
• 5.3 Experimental Results 71
• 5.3.1 Quantitative Comparison 72
• 5.3.2 Qualitative Comparison 74
• 5.3.3 Efficiency Analysis 76
• 5.4 Ablation Study 78
• 5.4.1 Effect of Parallel Convolutional Self-Attention Block 79
• 5.4.2 Effect of Frequency-Aware Feed-Forward Network 81
• 5.4.3 Effect of Loss Function 84
• 5.5 Additional Application: De-blooming 84
• 5.6 Conclusions 86
• 5.7 Limitations 86
• Chapter 6. Spatial-Frequency Enhanced Network for Flare and Glare Removal 88
• 6.1 Overall Pipeline 88
• 6.2 Flare and Glare Removal Transformer Block 89
• 6.2.1 Spatial-Frequency Enhanced Module (SFEM) 89
• 6.2.2 Spatial Reconstruction Unit (SRU) 90
• 6.2.3 Frequency-Enhanced Unit (FEU) 91
• 6.2.4 Histogram-Matching Processing Module 92
• 6.2.5 Loss Function 93
• 6.3 Experiment Settings 93
• 6.4 Experimental Results 93
• 6.4.1 Qualitative Comparison 93
• 6.4.2 Quantitative Comparison 94
• 6.5 Ablation Study 96
• 6.5.1 Spatial-Frequency Enhanced Module 96
• 6.5.2 HM Processing Module 97
• 6.5.3 Loss Function 98
• 6.6 Generalization 99
• 6.7 Conclusion and Limitations 102
• Chapter 7. Conclusion and Future Work 103
• References 104