Beyond Perceptual Quality: A Holistic Metric for Image Super-Resolution with Text Fidelity = 지각적 품질을 넘어서: 텍스트 충실도를 갖춘 이미지 초해상도를 위한 전체적인 지표

국문 초록 (Abstract)

기존의 무참조 이미지 품질 평가(NR-IQA) 지표인 MANIQA, CLIPIQA, MUSIQ 등은 초해상도 영상의 시각적 충실도를 평가하는 데 널리 사용되지만, 감시 영상이나 문서 분석과 같이 텍스트 중심 응용에서 중요한 문자 가독성을 반영하지 못하는 한계를 지닌다. 그 결과, SR 모델이 높은 NR-IQA 점수를 얻더라도 실제로는 읽을 수 없는 문자를 복원하는 경우가 빈번하게 발생하며, 이는 광학 문자 인식과 같은 후속 작업에서 성능 저하로 이어진다.

이러한 문제를 해결하기 위해 본 논문에서는 SOMQ(Super-resolution OCR Metric for Quality)라는 새로운 통합 평가 지표를 제안한다. SOMQ는 NR-IQA 기반의 배경 품질 점수와 OCR 기반의 텍스트 인식 정확도를 선형적으로 결합하여, 시각적 품질과 기능적 가독성을 동시에 반영한다. PaddleOCR 등 다양한 OCR 엔진을 활용하고, CER, WER, NED, 단어 정확도 등의 세부 지표를 통합적으로 분석한다. 또한 텍스트 영역 마스크와 가중치 조절을 통해 의미적으로 중요한 영역의 가독성을 정밀하게 평가할 수 있다.

CUTE80 데이터셋을 활용한 실험 결과, SR 모델은 배경 품질은 향상시키지만 텍스트 인식 정확도는 오히려 저하되는 경향을 보였으며, SOMQ는 이러한 텍스트 관련 실패 사례를 기존 지표보다 효과적으로 식별하였다. 본 연구의 SOMQ는 시각적 충실도와 문자 가독성 간의 간극을 해소하는 새로운 평가 표준으로, 향후 텍스트 중심 초해상도 연구 및 벤치마크 설계에 중요한 방향성을 제시한다.

목차 (Table of Contents)

• I. Introduction 1
• II. Related Works 4
• 2.1 Image Quality Assessment and Human Perception in SR 4
• 2.2 Task-Driven Evaluation for Text-in-Image SR 5
• III. Proposed Method 6
• 3.1 Overview of SOMQ 6
• 3.2 Text Masking and Region Selection 6
• 3.3 OCR-based Readability 7
• 3.4 Background Quality Evaluation: Traditional and VLM-based Approaches 8
• 3.4.1 Traditional Approach using NR-IQA Metrics 8
• 3.4.2 Advanced Approach using a Vision-Language Model (VLM) 9
• 3.5 Implementation Details 11
• 3.6 Novelty and Advantages 11
• IV. Experiments 13
• 4.1 Experiment Setting 13
• 4.2 Main Results on CUTE80 13
• 4.3 Ablation Studies 14
• 4.4 VLM-based Evaluation Metric 19
• 4.4.1 Dataset 24
• 4.4.2 Implementation Details 25
• V. Conclusion 29
• References 30
• Abstract (In Korean) 33