Exploring Compressive Transmission with Neural Compression for Efficient Data Communication = 효율적인 데이터 통신을 위한 신경 압축 기반 압축 전송 기법 탐구

국문 초록 (Abstract)

실시간 영상 회의, 증강현실(AR), 가상현실(VR), 3차원 볼류메트릭 스트리밍과 같은 차세대 멀티미디어 응용의 급속한 발전으로 인해 무선 네트워크는 신뢰성 있는 고품질 콘텐츠의 실시간 전송에 대한 요구가 증가하고 있다. 최근 mmWave 및 6GHz 등의 차세대 무선 기술이 빠르게 진화하고 있지만, 여전히 링크 불안정성, 신호 차단(blockage), 빠르게 변동하는 네트워크 조건 등으로 인해 고품질 콘텐츠 전송에 근본적인 한계를 드러내고 있다. 따라서 변동성이 큰 네트워크 환경에서도 필수적인 의미적 정보(semantic fidelity)를 유지하면서 전송 데이터를 최소화할 수 있는 보완적 압축 기술이 시급히 요구되고 있다.

본 논문은 송수신단 간의 공유된 정보를 전략적으로 활용하여 실시간 전송 데이터량을 근본적으로 감소시키는 신경 압축 전송(neural compressive transmission)이라는 새로운 패러다임을 제안하고 체계적으로 연구한다. 기존 압축 방식이 데이터 내부의 중복(intra-data redundancy) 제거에 초점을 두었다면, 신경 압축 전송은 데이터 간(inter-data) 중복성을 활용하여 기존의 섀넌 엔트로피(Shannon entropy)가 아닌 조건부 엔트로피(Conditional entropy)에 근접한 최소한의 전송 데이터를 목표로 한다. 그러나 이를 실질적으로 구현하기 위해서는 (1) 공유 정보의 효율적 활용, (2) 네트워크 환경에 적응적인 의미적 품질 제어 및 저지연 인코딩, 그리고 (3) 실제 스트리밍 환경에서 견고한 시스템 통합이라는 세 가지 핵심적 연구 도전 과제가 남아있다.

본 연구는 이러한 연구 도전 과제를 세 가지 상호보완적 주제(theme)를 통해 순차적으로 해결한다.

Theme I (nCTX)에서는 공유된 정보를 능동적으로 활용하기 위한 생성적 모델링(generative modeling)과 데이터 간 정합(match-based recombination)을 융합한 의미 기반 압축 기술을 제안하였다. 이를 통해 실시간 압축 전송이 가능한 의미 기반 조건부 압축(semantic-aware conditional compression)의 실현 가능성을 입증하여 첫 번째 문제의 근본적인 해결 가능성을 보였다.

Theme II (ARC)에서는 주의 기반 패치 필터링(attention-based patch filtering)을 통해 추가적인 재인코딩이나 별도 모델 없이도 정밀한 비트레이트 제어와 저지연 인코딩, 그리고 다중 비트레이트 확장성을 확보하는 실시간 적응형 신경 코덱을 제안하였다. 이를 통해 신경 코덱이 현실적인 스트리밍 시나리오에서도 적용 가능함을 입증하며 두 번째 문제를 근본적으로 해결하였다.

Theme III (Apertura)에서는 ARC 코덱을 시스템적으로 통합하여 단일 인코딩 스트림에서 뷰어 맞춤형 다중 비트레이트 스트리밍을 실현하였다. Apertura는 중복 인코딩과 트랜스코딩을 제거하고 실제 스트리밍 인프라에서의 시스템 통합 가능성 및 확장성을 보여줌으로써 세 번째 문제를 효과적으로 해결하였다.

결론적으로, 본 논문은 신경 압축 전송의 근본적 타당성, 유연성 및 실질적인 확장 가능성을 체계적으로 제시하였다. 단순한 성능 개선을 넘어 기존 기술의 구조적 한계를 근본적으로 해결함으로써, 신경 코덱 기술이 실제로 확장 가능한 차세대 멀티미디어 통신 시스템으로 실질적 배포가 가능함을 입증하고, 이를 위한 학술적 기반을 제공하였다.

다국어 초록 (Multilingual Abstract)

The rapid emergence of immersive multimedia applications, such as real-time video conferencing, augmented reality (AR), virtual reality (VR), and 3D volumetric streaming, has significantly elevated the demand for reliable, real-time, high-quality content delivery. Despite rapid advancements in wireless networks—including emerging mmWave and 6GHz technologies—the inherent instability, blockage susceptibility, and rapidly fluctuating conditions of these networks remain fundamental challenges. Therefore, complementary compression techniques that minimize transmission volume while preserving essential semantic fidelity under such dynamic conditions are increasingly critical.

This dissertation proposes and systematically investigates neural compressive transmission, a novel paradigm that strategically leverages endpoint-shared information to minimize real-time transmission data. Unlike traditional approaches that focus on intra-data redundancy, compressive transmission targets inter-data redundancy, fundamentally reducing transmission requirements from conventional Shannon entropy to conditional entropy. Nonetheless, practical realization faces critical challenges in (i) efficiently utilizing shared information, (ii) adaptive semantic control under stringent real-time constraints, and (iii) robust end-to-end streaming integration for real-world deployment.

To systematically address these research challenges, the dissertation presents three complementary thematic contributions:

First, I propose, nCTX, a hybrid semantic compression framework that adaptively exploits endpoint-shared knowledge through generative modeling and match-based recombination. Unlike existing methods that passively embed shared information, nCTX actively determines essential semantic features for transmission, effectively addressing the first challenge by demonstrating the practical feasibility of semantic-aware conditional compression.

Second, I introduce, ARC, a runtime-adaptive neural video codec leveraging attention-based patch filtering to achieve fine-grained bitrate control without re-encoding or separate models. ARC effectively resolves the second challenge by enabling semantic rate adaptation, sub-frame latency encoding, and multi-bitrate scalability, thus substantially advancing practical deployability of neural codecs in real-time adaptive streaming scenarios.

Lastly, I present, Apertura, a scalable, receiver-adaptive neural streaming system that fully integrates ARC to realize multi-bitrate streaming from a single encoded stream. By eliminating redundant encoding and transcoding, Apertura successfully addresses the third challenge by demonstrating the system-level integration feasibility and scalability of neural compressive transmission for realistic multimedia streaming infrastructures.

Through these thematic contributions, this dissertation establishes the foundational feasibility, flexibility, and scalability of neural compressive transmission. Rather than merely achieving incremental performance improvements, the research fundamentally resolves structural limitations inherent to traditional methods, thereby paving the way toward practical deployment of neural codecs as scalable, robust, and semantically efficient multimedia communication systems.

목차 (Table of Contents)

• Contents
• Abstract i
• Contents iii
• List of Figures vi
• List of Tables ix
• 1 Introduction 1
• 1.1 Research Goal and Challenges 3
• 1.2 Proposed Approach: A Thematic Path to Neural Compressive Transmission 5
• 2 nCTX:ANeural Network-Powered Lossless Compressive Transmission using Shared Information 8
• 2.1 Introduction 8
• 2.2 Background 11
• 2.3 Related Work 12
• 2.4 Leveraging shared information for compressive transmission 13
• 2.4.1 Concept and Architecture of Compressive Transmission 13
• 2.4.2 Tailored Information Shared on Both Sides 15
• 2.4.3 Minimization of Runtime Transmission Volume 16
• 2.5 System Implementation 17
• 2.6 EVALUATION 20
• 2.6.1 Settings 21
• 2.6.2 Ablation Study 22
• 2.6.3 Compression Performance Benchmarks 26
• 2.6.4 System Overhead 29
• 2.7 DISCUSSION 31
• 2.8 CONCLUSION 32
• 3 ARC: Attention-Aware Filtering-Based Bitrate Control for Practical Neural Video Codecs 33
• 3.1 Introduction 33
• 3.2 Related Work 36
• 3.3 ARC: Attention-Aware Filtering-Based Bitrate Control Framework 38
• 3.3.1 Basic of ARC: Feature Filtering-based Fine-grained Bitrate Control on NeuralCodecs 38
• 3.3.2 Heart of ARC: Attention-aware Patch Filter 40
• 3.3.3 Optimization of ARC: Exploiting Multi-Head Attention for Enhanced Performance 42
• 3.4 Evaluation 43
• 3.4.1 Evaluation Methodology 44
• 3.4.2 Experimental Results 45
• 3.5 Conclusion 47
• 4 Apertura: Enabling Scalable Real-Time Multi-Bitrate Neural Streaming via Single Encoding 48
• 4.1 Introduction 48
• 4.2 Motivation and Limitations of Duplication-Based Streaming Architectures 51
• 4.2.1 The Role of Multi-Bitrate Delivery in Modern Streaming 51
• 4.2.2 Bitrate Selection: From Static Profiles to Context-Aware Adaptation 52
• 4.2.3 The Fundamental Limitations of Duplication-Centric Design 52
• 4.3 Bitrate-Scalable Streaming with a Single Encoding 53
• 4.3.1 QoE-Optimized Bitrate Controller 54
• 4.3.2 Patch-wise Bitrate Adaptation via Attention-Guided Sampling 55
• 4.3.3 End-to-End Neural Streaming Pipeline 56
• 4.4 Evaluation: Demonstrating Scalable Neural Streaming in Practice 57
• 4.4.1 Experimental Setup 58
• 4.4.2 End-to-End Streaming Results 59
• 4.5 Discussion and Future Directions 59
• 4.6 Conclusion 60
• 5 Concluding Remark 61
• 5.1 Concluding Remarks 61
• Bibliography 63
• 한국어초록 71