열화 번호판 이미지 복원기반 탐지 및 인식 성능 향상 연구 : 2단계 복원 파이프라인과 CNN-어텐션 기반 시퀀스 인식을 중심으로 = Improving Number Plate Detection and Recognition through Restoration of Degraded Images : Focusing on a Two-Stage Restoration Pipeline and CNN-Attention Based Sequence Recognition

다국어 초록 (Multilingual Abstract)

This study proposes an integrated processing framework designed to enhance the readability and reliability of degraded license plate images acquired under adverse conditions such as low resolution, low illumination, motion blur, and overexposure. In real-world investigative environments, CCTV and dashboard camera footage often capture license plates at small scales or with severe distortion caused by reflections, weather conditions, or viewing angles. These factors frequently lead to delays and misidentification during vehicle tracking and forensic
analysis. While previous super-resolution-based restoration methods have improved visual clarity, they inherentlygenerate non-existent pixel information, which can distort character shapes and compromise the authenticity andevidential reliability of images used in legal proceedings.
To address these challenges, this study introduces a two-stage restoration pipeline that prioritizes information preservation and combines it with a license plate–specific sequence recognition architecture. In the first stage, global contrast and structural contours weakened by noise and illumination imbalance are restored to improve plate region visibility. The YOLOv8-based detection module is then applied to automatically localize license plate areas. In the second stage, fine-grained restoration is performed exclusively on the detected regions to refine character strokes and edges. Finally, a CNN–attention-based sequence recognition model is applied to the restored license plate images, enabling robust handling of both seven- and eight-character plate formats. This sequential process is designed to selectively enhance visually relevant details while maintaining the structural consistency and evidential integrity of the original image.
To evaluate the proposed approach, a dataset was constructed using AI-Hub vehicle license plate images withsimulated degradations, including low-light, low-resolution, overexposure, blur, and composite conditions. Experimental results demonstrate that the inclusion of the restoration stages significantly improved PSNR and SSIMmetrics, as well as overall plate-level recognition accuracy compared to non-restored inputs. Through this framework, the study presents a practical and effective method to improve license plate recognition performance using existing imaging devices and data, thereby establishing a technical foundation for stable andreliable plate interpretation in traffic enforcement, criminal investigations, and digital forensic applications.

국문 초록 (Abstract)

본 연구는 저해상도·저조도·과노출 등 열악한 조건에서 촬영된 열화 번호판 영상을 대상으로, 수사초기 단계에서 바로 활용할 수 있을 만큼의 판독 정확도와 신뢰성을 확보하기 위한 통합 처리 구조를제안한다. 실제 현장에서 수집되는 CCTV·블랙박스 영상은 번호판이 매우 작게 촬영되거나, 빛반사와기상 요인으로 문자가 흐릿해져 육안으로 확인하기 어려운 경우가 많다. 이러한 영상적 제약으로인해번호판 정보를 초기에 확보하지 못하면 대응이 지연되고, 수사의 골든타임을 놓칠 위험도 커진다. 초해상도(super-resolution) 기반 복원 기법은 흐릿한 번호판의 가독성과 전반적인 화질을 높이는데에는 일정한 효과가 있었지만, 세부 패턴을 추정·생성하는 과정에서 글자 형태가 실제와 다르게 재구성되는 문제가 남아 있어 수사 현장에서 복원 결과를 그대로 신뢰하기 어렵다는 지적이 이어져 왔다. 이에 본 연구는 열화 번호판 이미지를 대상으로, 원본 정보를 최대한 유지하면서 열화 요소만 선택적으로 개선하는 2단계 복원 파이프라인과 번호판 특화 시퀀스 인식 구조를 결합한 통합 방식을 제안한다. 먼저 1단계에서는 저조도·명암 불균형·블러로 약화된 전체 대비와 윤곽을 보정해 번호판 후보 영역의시인성을 높이고, 이를 기반으로 YOLOv8m 탐지기를 적용하여 번호판 영역을 자동 추출한다. 이후탐지된 번호판 패치에 한정해 2단계 정밀 복원을 수행함으로써 문자 획과 경계를 선명하게 보정한다. 최종적으로 복원된 번호판 이미지를 CNN·어텐션 기반 시퀀스 인식기에 입력하여 7자리와 8자리형식을모두 처리할 수 있도록 설계하였다. 제안한 파이프라인의 효과 검증을 위해 AI-Hub 차량 번호판 데이터를 기반으로 저조도, 저해상도, 과노출, 블러 및 이들의 복합 열화를 모사한 데이터셋을 구축하고, 복원 단계 적용에 따른 성능 변화를정량적으로 분석하였다. 복원 단계를 포함한 경우 PSNR·SSIM이 유의미하게 향상되었고, 번호판단위인식 정확도 또한 비복원 조건 대비 크게 개선되는 결과를 확인하였다. 본 연구는 열악한 촬영 조건에서도 기존 장비와 영상 자원을 그대로 활용하면서 번호판 판독 성능을향상시킬 수 있는 실용적인 처리 체계를 제시하였으며, 교통 단속 및 수사 실무에서 열화 번호판판독의 안정성과 신뢰성을 높일 수 있는 기술적 기반을 마련하였다.

목차 (Table of Contents)

• 제1장 서론 1
• 1.1. 연구 배경 1
• 1.2. 연구 목적 5
• 1.3. 연구 목표 6
• 제2장 관련 연구 7
• 2.1. 지능형 감지 시스템 7
• 2.1.1 지능형 CCTV의 개념과 발전 배경 7
• 2.1.2. 지능형 CCTV의 기술 구성 8
• 2.1.3. 지능형 CCTV 영상 수집의 한계 9
• 2.2. 번호판 검출 11
• 2.3. 문자 인식 및 복원 14
• 2.3.1. 번호판 정렬 14
• 2.3.2. 세그멘테이션 기반(Segmentation-based)번호판 인식 15
• 2.3.3. 시퀀스 기반(Sequence-based)번호판 인식 15
• 2.3.4. 이미지 복원 16
• 제3장 연구 방법 19
• 3.1. 시스템 구성도 19
• 3.2. 복원 모듈 19
• 3.3. 번호판 탐지 모듈 22
• 3.4. 번호판 인식 모듈 23
• 제4장 실험 및 결과 24
• 4.1. 실험 환경 24
• 4.2. 데이터 셋 구축 25
• 4.3. 측정 지표 29
• 4.4 정량, 정성 평가 31
• 4.5. Ablation test 36
• 4.5.1. 열화 유형별 인식 성능 분석 36
• 4.5.2. 7자리와 8자리 OCR 성능 비교 37
• 4.5.3. 번호판 탐지 및 인식 실패 사례 분석 38
• 제5장 결론 및 향후 연구 41
• 5.1. 연구 요약 41
• 5.2. 연구 기여 및 의의 42
• 5.3. 향후 연구 방향 43
• 참고문헌 44
• 영문 초록 55