비균일 모션 블러 제거를 위한 패치 기반 이미지 디블러링 기법 : 계층적 패치 기반 특징 융합 네트워크 = Patch-Based Image Deblurring for Non-uniform Motion Blur : Hierarchical Patch-based Fusion Network

국문 초록 (Abstract)

동적 장면에서 발생하는 모션 블러는 픽셀 위치에 따라 블러 커널의 궤적과 크기가 불규칙하게 변화하는 공간 가변적(Spatially variant) 특성을 갖는다. 이러한 비균일한 블러는 영상의 시각적 정보를 심각하게 훼손할 뿐만 아니라, 객체 탐지나 시맨틱 분할과 같은 고수준 비전 작업의 성능을 저해하는 치명적인 요인이다. 최근 컨볼루션 신경망 기반의 단일 단계 모델들이 디블러링분 야에서 주류를 이루고 있으나, 복잡하게 얽힌 블러 패턴을 한 번의 추론으로 완벽히 제거하는 데에는 한계가 있다. 특히, 이들은 커널 추정 과정에서 발생하는 오차에 민감하며, 이는 복원 영상의 미세 구조 손실과 아티팩트 생성으로 이어진다.
본 논문에서는 이러한 한계를 극복하기 위해, 패치 기반으로 점차 세밀한 영역을 복원하는 2단계 계층적 프레임워크인 Hierarchical Patch-based Deblurring Network (HPDNet)를 제안한다. 1단계에서는 블러의 불확실성을 고려한 UFPNet을 백본으로 채택하여 전역적인 구조와 색감 정보를 우선적으로 복원한다. 이어지는 2단계의 인코더에서는 CAPE (Context-Aware Patch Enhancement) 블록을 도입하여 입력 특징을 패치 단위로 분할하고, 1단계의 초기 복원 정보를 가이드 삼아 정교한 로컬 특징을 추출한다. 특히, CAPE 내부에는 CPF (Cross-stage Patch-based Fusion) 모듈을 설계하여 1단계 디코더 특징과 2단계 패치 특징을 효과적으로 융합함으로써 단계 간 정보 손실을 최소화하였다. 최종적으로 디코더 단의 PDK (Patch-based Dual-Kernel) 블록에서는 패치별로 다양한 커널을 병렬 적용하여 복잡한 블러 패턴을 정밀하게 처리하고 고품질의 최종 이미지를 생성한다.
제안하는 모델의 유효성을 검증하기 위해 빠른 속도로 이동하는 자동차나 보행자 등 다양한 동적 객체의 모션 블러를 포함하는 GoPro 데이터셋과 HIDE, RealBlur 데이터셋을 활용하여 광범위한 실험을 수행하였다. 실험 결과, HPDNet은 기존 최신 방법론들을 질적 및 양적 측면에서 모두 상회하는 성능을 달성하였다. 특히, GoPro 벤치마크에서 기준 모델인 UFPNet 대비 PSNR은 34.06dB에서 34.25dB로 향상되었으며, 이는 제안하는 모델이 복잡한 동적 장면의 블러를 효과적으로 제거함을 정량적으로 입증한다.

다국어 초록 (Multilingual Abstract)

Motion blur in dynamic scenes exhibits spatially variant characteristics, where the trajectory and size of blur kernels vary irregularly across pixel locations. Such non-uniform blur not only severely degrades visual quality but also acts as a critical factor hindering the performance of high-level vision tasks, such as object detection and semantic segmentation. Although single-stage Convolutional Neural Network CNN-based models currently dominate the image deblurring field, they encounter limitations in fully resolving complexly entangled blur patterns within a single inference pass. Specifically, these models are sensitive to errors in kernel estimation, which leads to the loss of fine structures and the generation of artifacts in restored images.
To overcome these limitations, we propose the Hierarchical Patch-based Deblurring Network (HPDNet), a two-stage hierarchical framework that proceeds from coarse restoration to fine refinement. In the first stage, we adopt UFPNet, which accounts for blur uncertainty, as a backbone to primarily recover global structure and color information. In the subsequent second-stage encoder, we introduce the Context-Aware Patch Enhancement (CAPE) block to partition input features into patches and extract refined local features, guided by the initial restoration information from the first stage. Within the CAPE, we design the Cross-stage Patch-based Fusion (CPF) module to effectively fuse the first-stage decoder features with the second-stage patch features, thereby minimizing information loss between stages. Finally, the Patch-based Dual-Kernel (PDK) block in the decoder applies diverse kernels in parallel for each patch to precisely handle complex blur patterns and generate a high-quality final image.
To verify the effectiveness of the proposed model, we conducted extensive experiments using synthetic datasets, such as GoPro and HIDE, as well as the RealBlur dataset, which reflects real-world environments with fast-moving vehicles and pedestrians. Experimental results demonstrate that HPDNet outperforms existing state-of-the-art methods in both qualitative and quantitative aspects. Notably, on the GoPro benchmark, the PSNR improved from 34.06 dB to 34.25 dB compared to the baseline UFPNet, quantitatively demonstrating that the proposed model effectively removes blur in complex dynamic scenes.

목차 (Table of Contents)

• 제 1 장 서 론 1
• 제 2 장 관련 연구 4
• 2.1 단일 단계 및 주파수/필터 기반 접근법 4
• 2.2 다단계 계층적 구조 5
• 제 3 장 제안 방법 6
• 3.1 전체 네트워크 구조 6
• 3.2 Context-Aware Patch Enhancement (CAPE) 블록 8
• 3.3 Patch-based Dual-Kernel (PDK) 블록 10
• 3.4 손실 함수 12
• 제 4 장 성능평가 수행 및 결과 14
• 4.1 실험 설정 14
• 4.1.1 데이터셋 14
• 4.1.2 구현 세부 사항 14
• 4.1.3 모델 구성 15
• 4.1.4 성능 평가 비교 모델 15
• 4.2 정량적 성능 비교 16
• 4.2.1 합성 데이터셋 평가 16
• 4.2.2 실세계 데이터셋 평가 18
• 4.2.3 모델 효율성 및 복잡도 분석 19
• 4.3 정성적 결과 분석 20
• 제 5 장 결론 24
• 참고문헌 26
• ABSTRACT30