Study towards robust image enhancement in adverse atmospheric conditions

국문 초록 (Abstract)

대기 중 안개 및 저조도 환경으로 인해 발생하는 이미지 품질 저하 문제는 자율주행 차량 및 감시 시스템과 같은 자율 시스템에서 매우 중요한 장면 인식 성능에 직결되므로, 이를 해결하는 것은 다양한 실제 응용 분야에서 필수적입니다. 컴퓨터 비전 기반 자율 시스템은 명확하고 고품질의 이미지를 기반으로 실시간으로 중요한 의사결정을 수행하므로, 흐림, 안개, 환경적 대기 오염, 저조도 등의 기상 조건은 이미지의 선명도를 크게 떨어뜨려 객체 탐지 및 주변 환경 해석에 있어 심각한 오류를 유발할 수 있습니다. 이러한 환경에서는 기존의 시각 알고리즘이 신뢰할 수 있는 성능을 제공하지 못하고, 객체 검출, 추적, 장면 분할 등의 주요 작업 성능이 저하되므로, 불리한 환경에서도 안정적으로 작동할 수 있는 이미지 품질 향상 기법의 개발이 요구됩니다.

본 연구에서는 위와 같은 문제를 해결하기 위해 컴퓨터 비전 분야에 두 가지 주요 기여를 제안합니다. 첫 번째는 단일 이미지 안개 제거 성능 향상을 위해 설계된 대규모 종합 데이터셋 HazeSpace2M을 소개합니다. 해당 데이터셋은 야외, 도로, 농경지, 위성 이미지 등 다양한 장면 유형에 걸쳐 안개, 구름, 환경적 대기 오염 (EH) 등 다양한 유형의 대기 흐림 현상이 포함된 2백만 장 이상의 이미지를 포함합니다. 기존 데이터셋이 합성 데이터에 의존하고 안개 유형이나 강도 측면에서 제한적이었던 반면, HazeSpace2M은 실제 및 합성 안개 이미지를 모두 포함하며, 10단계의 안개 강도 수준을 제공합니다. 본 연구에서는 안개 유형을 분류한 후 각 유형에 특화된 제거 알고리즘을 적용하는 새로운 접근법을 통해 안개 제거 성능을 효과적으로 향상시켰습니다. ResNet50과 AlexNet 기반의 최신 분류 모델을 통해 합성 데이터에서 각각 92.75%, 92.50%의 분류 정확도를 달성했으며, 실제 안개 이미지 (RHT)에서는 각각 80%, 70%로 성능이 감소하여 실제 환경의 복잡성을 확인할 수 있었습니다. 실험 결과, 안개 유형 분류 후 특화된 제거 기법을 적용했을 때, PSNR 2.41%, SSIM 17.14%, MSE 10.2\%의 개선을 달성하며 기존 일반화 접근 방식 대비 향상된 성능을 입증하였습니다. 이러한 기여는 향후 더 정교한 대기 환경 이미지 개선 기술 개발의 기반을 마련합니다.

두 번째 기여로는 자율 시스템에서 객체 탐지, 추적, 경로 탐색을 위한 필수 과제인 저조도 이미지 향상 (Low-Light Image Enhancement, LLIE) 문제를 다룹니다. 기존 LLIE 기법은 특히 도심 거리와 같은 실제 환경에서 일반화 성능이 부족한 한계를 가지고 있습니다. 이를 해결하기 위해, 본 연구는 도시 거리 장면에서 촬영된 33,000쌍의 저조도 및 정규 노출 이미지로 구성된 LoLI-Street 데이터셋을 새롭게 구축하였습니다. 또한 실제 저조도 테스트셋 1,000장을 포함하여 모델의 현실 적용 가능성을 평가할 수 있도록 구성하였습니다. 더불어, 본 논문에서는 Transformer와 조건부 노이즈 확산 (Conditional Noise Diffusion)을 결합한 새로운 LLIE 모델 TriFuse를 제안합니다. TriFuse는 Transformer를 확산 과정에서의 정밀한 노이즈 예측기로 활용하여 기존 기법보다 시각적으로 자연스러운 향상 결과를 제공합니다. LoLI-Street 및 주요 벤치마크 데이터셋에서 TriFuse를 기존 최신 기법들과 비교한 결과, PSNR, SSIM, BRISQUE 등 주요 성능 지표에서 우수한 결과를 보였으며, 추론 속도도 크게 단축되어 실시간 적용 가능성을 입증하였습니다.

결론적으로, 본 연구는 안개 및 저조도 환경에서의 이미지 열화를 해결함으로써 컴퓨터 비전 기술을 한 단계 발전시켰으며, 제안된 데이터셋과 기법은 자율 시스템의 정확성과 안정성을 크게 향상시켜 다양한 실제 환경에서의 활용 가능성을 넓히는 데 기여합니다.

다국어 초록 (Multilingual Abstract)

Addressing the challenges posed by environmental degradation of image quality due to atmospheric haze and low-light conditions is critical for many real-world applications, particularly in autonomous systems such as self-driving vehicles and surveillance technologies, where accurate scene understanding is vital. Computer vision-based autonomous systems rely heavily on clear and high-quality images to make critical real-time decisions. However, adverse atmospheric conditions such as cloud, fog, environmental haze, and low-light environments drastically reduce image clarity, making it difficult for these systems to accurately detect objects, navigate, and interpret the surrounding environment. Under these conditions, standard vision algorithms often fail to deliver reliable results, leading to degraded performance in object detection, tracking, and scene segmentation tasks. This underscores the need for robust methods to enhance image quality and maintain the operational efficiency of autonomous systems in challenging weather and lighting conditions.

In this study, we present two major contributions to computer vision to mitigate the challenges mentioned above. The first part of this study introduces HazeSpace2M, a comprehensive dataset designed to enhance single-image dehazing performance. HazeSpace2M contains over 2 million images from diverse scene types, including outdoor, street, farmland, and satellite views, all affected by various atmospheric haze, such as fog, cloud, and environmental haze (EH). Unlike existing dehazing datasets, which often rely on synthetic data and are limited in terms of haze type and intensity level, HazeSpace2M includes both synthetic and real hazy images across ten levels of haze intensity. This dataset enables the classification of different haze types before applying specialized dehazing algorithms tailored to each type, which is a novel approach that significantly improves dehazing performance. Using state-of-the-art (SOTA) models such as ResNet50 and AlexNet, we achieved classification accuracies of 92.75% and 92.50%, respectively, on synthetic data. However, on real hazy images from our Real Hazy Testset (RHT), the performance dropped to 80% and 70%, illustrating the challenging nature of real-world dehazing. Experiments demonstrated that the proposed haze type classification, followed by specialized dehazing, led to an improvement of 2.41%, 17.14%, and 10.2% in PSNR, SSIM, and MSE, respectively, compared to generalized dehazing methods. This contribution lays the foundation for more effective atmospheric dehazing techniques and improves the clarity and usability of images captured under adverse weather conditions.

In the second part of this study, we addressed the problem of low-light image enhancement (LLIE), which is crucial for object detection, tracking, and navigation in autonomous systems. Existing LLIE methods often fail to generalize well to real-world scenarios, particularly in street scenes, where low-light conditions pose a significant challenge. To address this issue, we introduce the LoLI-Street dataset, which consists of 33,000 paired low-light and well-exposed images captured from urban street scenes. This dataset was specifically curated to support LLIE tasks in autonomous driving and urban surveillance. The dataset includes a real low-light test set of 1,000 images for evaluating LLIE models under real-life conditions. In addition to the dataset, we propose TriFuse, a novel LLIE model that combines the power of transformers and conditional noise diffusion to enhance the image quality. TriFuse leverages a transformer as an accurate noise predictor during diffusion, allowing for more realistic and visually appealing enhancements than existing methods. Benchmarking TriFuse against SOTA models on LoLI-Street and other mainstream datasets demonstrated its superiority in image enhancement and object detection. Notably, TriFuse outperformed other models in key metrics, such as PSNR, SSIM, and BRISQUE, while significantly reducing the inference time, making it a practical solution for real-time applications.

Thus, this study advances computer vision technology by addressing two critical image degradation issues. The datasets and methods developed in this study improve the accuracy and robustness of dehazing and LLIE models and pave the way for more reliable and efficient autonomous systems capable of functioning in challenging environmental conditions.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• 1.1. Motivation 2
• A. Haze-Aware Dehazing 2
• B. Low-Light Image Enhancement (LLIE) 3
• 1.2. Problem Statement 3
• 1.3. Objectives 5
• 1.4. Scope of the Study 6
• Chapter 2. Related Works 8
• 2.1. Existing Datasets 8
• A. Dehazing Datasets 8
• B. LLIE Datasets 9
• 2.2. Existing Methods 10
• A. Single Image Dehazing 10
• B. Low-light Image Enhancement 12
• B.1. Transformer-based LLIE 12
• B.2. Diffusion-based LLIE 13
• Chapter 3. Haze Aware Single Image Dehazing 15
• 3.1. Dataset Description: HazeSpace2M 16
• A. Data Collection and Generation 17
• A.1. Quality Assurance 17
• B. Annotation Process and Tools 21
• C. Quantitative Analysis 22
• C.1. Average PSNR 25
• C.2. Average SSIM 25
• 3.2. Proposed Framework: Haze Aware Dehazing 25
• 3.3. Pseudocode 27
• 3.4. Experimental Setups 29
• 3.5. Experimental Results 32
• A. Results of Haze Type Classification 32
• B. Results of Single Image Dehazing 34
• Chapter 4. Diffusion Noise Prediction for Effective Low-light Image Enhancement 38
• 4.1. Dataset Description: LoLI-Street 39
• 4.2. Proposed Method: TriFuse 41
• A. Discrete Wavelet Transformation (DWT) 41
• B. TriFuse 41
• C. Conditional Noise Module (CNM) for Diffusion Denoising 42
• D. Edge Sharpening Module (ESM) 43
• 4.3. Experimental Setup 44
• A. Datasets 44
• B. Implementation 45
• C. Evaluation Strategy 45
• 4.4. Experimental Results 45
• A. Quantitative Analysis 46
• B. Qualitative Analysis 49
• C. Ablation Study 51
• Chapter 5. Conclusion 53
• 5.1. Limitations 53
• 5.2. Future Directions 54