Data Generation and Quality Assessment for Visual Display Systems = 디스플레이 시스템을 위한 데이터 생성과 화질 평가 연구

다국어 초록 (Multilingual Abstract)

With the rapid advancement of display technologies in recent years, display resolutions have evolved from UHD (4K) toward 8K and even 16K
. Consequently, the demand for high-throughput data transmission and computationally intensive processing in visual display systems has increased significantly. Although display interface standards such as DisplayPort (DP) have evolved to support higher bandwidth, the explosive growth of ultra-high-resolution content, particularly on over-the-top (OTT) platforms such as YouTube and Netflix, has led to substantial increases in transmitted data volume and decoding, scaling, and rendering complexity. These requirements pose critical technical challenges, especially for systems with stringent physical and power constraints, such as automotive and portable displays.

To mitigate these issues, modern display processing pipelines increasingly rely on data-efficient transmission and reconstruction techniques, such as super-resolution, as well as visually lossless compression schemes like VESA’s Display Stream Compression (DSC). However, evaluation methodologies for display systems, specifically those that assess whether visual data are correctly generated and transmitted at the display interface level and transmitted without transmission errors or buffer overflows, remain insufficiently explored. As a result, most systems depend on distortion-based metrics such as PSNR, which fail to adequately capture human perceptual quality. Moreover, conventional compression and upscaling approaches that rely on fixed and discrete scaling factors exhibit inherent limitations in maintaining visual quality in today’s environment, where web-based content of highly diverse resolutions must be rendered on displays with fixed native resolutions.

This dissertation addresses the aforementioned challenges in visual display systems by pursuing three complementary research directions centered on perceptual image quality assessment and resolution-adaptive arbitrary-scale image generation. First, in the domain of perceptual quality evaluation, we investigate Full-Reference Image Quality Assessment (FR-IQA) and propose a multi-task feature integration framework that enhances quality prediction performance by aggregating representations from multiple computer vision tasks. Second, for No-Reference IQA (NR-IQA), we introduce a surrogate full-reference evaluation framework that leverages restored images, effectively reformulating the blind IQA problem through the integration of image restoration and a Dual-Attention Task Interaction mechanism. Finally, to enable high-quality rendering of content with diverse resolutions on fixed-resolution displays, we develop an arbitrary super-resolution approach based on Self-Cascaded Diffusion Models, enabling resolution-adaptive and perceptually faithful reconstruction under varying display conditions.

Collectively, these contributions advance the perceptual evaluation and adaptive generation of high-resolution visual content, providing principled and practically applicable solutions to emerging challenges in next-generation display systems.

국문 초록 (Abstract)

최근 디스플레이 기술의 급속한 발전으로 디스플레이 해상도는 초고해상도(4K)를 넘어서 8K, 16K 수준까지 확장되고 있으며, 이에 따라 visual display system에서 많은 양의 데이터 전송과 고연산 복잡도 처리에 대한 요구가 크게 증가하고 있다. DisplayPort(DP)를 비롯한 디스플레이 인터페이스 표준 역시 더 높은 대역폭을 지원하도록 지속적으로 진화하고 있지만, YouTube와 Netflix와 같은 OTT 플랫폼을 중심으로 초고해상도 콘텐츠가 폭발적으로 증가하면서 전송 데이터량과 디코딩, 스케일링 및 렌더링 복잡도는 더욱 가중되고 있다. 이러한 요구는 특히 자동차용 또는 휴대용 디스플레이처럼 물리적 및 전력적 제약이 큰 시스템에서 중요한 기술적 도전 과제로 부각되고 있다.

이러한 문제를 완화하기 위해, 최근의 디스플레이 처리 파이프라인은 Super-Resolution과 같은 데이터 효율적 생성 기법 및 VESA의 Display Stream Compression(DSC)과 같은 visually lossless 압축 방식에 점점 더 의존하고 있다. 그러나 디스플레이 인터페이스 단계에서 데이터가 잘 생성되었는지, 또한 전송 과정에서 오류나 오버플로 없이 안정적으로 전달되었는지를 종합적으로 평가할 수 있는 체계적인 검증 방법은 여전히 부족하다. 대부분의 경우 PSNR과 같은 왜곡 기반 지표에 의존하고 있으나, 이들 지표는 인간의 지각적 품질을 충분히 반영하지 못하는 한계가 있다. 더불어, 고정 배율 기반 압축 및 업스케일링 방식은 해상도가 다양한 웹 기반 콘텐츠를 고정 해상도 디스플레이에 렌더링해야 하는 최근의 환경에서 시각적 품질을 유지하는 데 한계가 존재한다.

본 학위논문은 Visual Display System에서 직면한 위와 같은 문제를 해결하기 위해, 인지적이고 지각적 영상 품질 평가와 해상도 적응력이 우수한 임의 배율(arbitrary-scale) 영상 생성이라는 문제의식을 바탕으로 총 세 가지의 상호보완적 연구를 수행한다. 먼저, 지각적 영상 품질 평가와 관련해 Full-Reference IQA(FR-IQA)를 다루며, 그 방법으로 여러 컴퓨터 비전 태스크의 특징을 통합하여 품질 추정 성능을 향상시키는 멀티태스크 기반 특성 결합 방법을 제안한다. 두 번째로, No-Reference IQA(NR-IQA)에서 복원 영상을 활용한 대체적 Full-Reference 관점의 품질 평가 프레임워크를 제안하며, 이미지 복원과 Dual-Attention Task Interaction 메커니즘을 결합하여 블라인드 품질 평가 문제를 효과적으로 재정의한다. 마지막으로, 다양한 해상도의 콘텐츠를 고정 해상도 디스플레이에서 고품질로 표현하기 위한 Arbitrary Super-Resolution 과제를 수행하기 위해 Self-Cascaded Diffusion Models 기반의 방법을 개발하여, 상황에 따라 해상도에 적응하는 고품질 영상 재구성을 가능하게 한다.

종합적으로 본 연구는 차세대 디스플레이 시스템에서 직면한 초고해상도 콘텐츠의 지각적 평가 및 적응형 생성 문제를 해결하기 위한 이론적, 기술적 기반을 제시하며, 디스플레이 품질 향상을 위한 새로운 방향성을 제안한다.

목차 (Table of Contents)

• 1 Introduction 1
• 1.1 Challenges in Beyond-Ultra-High-Resolution Data Generation and Quality Assessment for Visual Display Systems 1
• 1.2 Contributions and Summary 4
• 2 Image Quality Assessments By Leveraging Diverse Visual Tasks 7
• 2.1 Introduction 7
• 2.2 Related Work 10
• 2.2.1 Image quality assessment 10
• 2.2.2 Full-Reference Image quality assessment 11
• 2.2.3 Taskonomy 12
• 2.3 Method and Analysis 13
• 2.3.1 LPIPS-like IQA Metrics with Diverse Visual Tasks 13
• 2.3.2 Analysis On Key Visual Factors for IQA 19
• 2.3.3 Proposed IQA: Vision Ensemble(VE)-IQA 22
• 2.4 Experimental Results 25
• 2.4.1 Datasets 25
• 2.4.2 Implementation details 26
• 2.4.3 Ablation Studies 27
• 2.4.4 Benchmark Results 28
• 2.5 Discussion 29
• 2.6 Conclusion 29
• 3 Blind Image Quality Assessment via Dual-Attention Task Interaction with Restorations 31
• 3.1 Introduction 31
• 3.2 Related Work 35
• 3.2.1 Image Quality Assessment 35
• 3.2.2 Image Restoration 37
• 3.3 Analysis on FR-IQA with Restoration 38
• 3.4 Proposed Method: DAR-IQA (IQA via Dual-Attention task interaction with Restoration) 40
• 3.4.1 Real-world image restoration in NR-IQA 41
• 3.4.2 Overall structure of DAR-IQA 42
• 3.4.3 Dual Attention Task Interaction Module 42
• 3.5 Experiments 43
• 3.5.1 Datasets 45
• 3.5.2 Implementation Details 45
• 3.5.3 Results 47
• 3.5.4 Ablation study 47
• 3.6 Conclusion 49
• 4 Self-Cascaded Diffusion Models for Arbitrary-Scale Image Super-Resolution 55
• 4.1 Introduction 55
• 4.2 Related Work 57
• 4.2.1 Arbitrary-scale image super-resolution 57
• 4.2.2 Progressive image super-resolution 58
• 4.2.3 Cascaded diffusion models 59
• 4.3 Preliminary 60
• 4.3.1 Diffusion Models with Residual Shifting 60
• 4.3.2 Guided Sampling in Conditional Diffusion Models 61
• 4.4 Method 62
• 4.4.1 Self-Cascaded diffusion framework for ASISR 62
• 4.4.2 Coordinate-conditioned diffusion model 64
• 4.4.3 Optimization 65
• 4.5 Experimental Results 68
• 4.5.1 Implementation Details 68
• 4.5.2 Qualitative Comparisons 70
• 4.5.3 Quantitative Comparisons 72
• 4.5.4 Discussion 73
• 4.6 Conclusion 77
• 5 Conclusion 87
• 5.1 Future Work 88
• Abstract (In Korean) 111