End-to-End Efficient Digital Semantic Communications with Residual Vector Quantization = 잔차 벡터 양자화를 이용한 종단 간 효율적 디지털 시맨틱 통신

다국어 초록 (Multilingual Abstract)

Digital semantic communication has garnered significant research attention due to its potential to surpass traditional transmission methods. However, current VQ-based approaches are constrained by fixed codebooks, limiting rate flexibility and failing to address semantic importance during transmission. To address these dual challenges of structural rigidity and transmission inefficiency, we introduce ResUME, a novel and efficient end-to-end digital semantic communication framework.
ResUME integrates Residual Vector Quantization (RVQ) with Unequal Modulation Encoding (UME). By leveraging the hierarchical structure of RVQ, the framework mitigates semantic degradation even at high compression ratios. By aligning modulation orders with the hierarchical importance of residuals, UME optimizes transmission efficiency and reconstruction performance.
To enhance training reliability and ensure robust transmission, we propose a Channel-Aware Noise Substituting VQ (CA-NSVQ) technique. CA-NSVQ stabilizes training by modeling combined distortion as a single Gaussian, while the loss function optimizes the Evidence Lower Bound (ELBO) within a variational framework.
Our experimental evaluations confirm that ResUME, particularly when combined with UME, consistently outperforms existing VQ-based frameworks in reconstruction quality. Furthermore, it demonstrates flexible adaptation to diverse SNR conditions via modulation optimization, enabling effective rate control within a single, fixed backbone network even under strict channel bandwidth ratio (CBR) constraints.

국문 초록 (Abstract)

디지털 시맨틱 통신 (Digital semantic communication)은 기존 아날로그 방식 대비 호환성 이점으로 인해 주목받고 있다. 그러나 현재 주류를 이루는 벡터 양자화 (Vector Quantization, VQ) 기반의 접근 방식은 구조적으로 유연한 전송률 조절이 어려울 뿐만 아니라, 양자화된 데이터가 갖는 의미적 중요도의 차이를 물리 계층 전송 과정에서 효과적으로 반영하지 못한다는 한계가 있다. 이러한 양자화의 경직성과 전송의 비효율성을 동시에 해결하기 위해, 본 논문에서는 새롭고 효율적인 종단간(end-to-end) 디지털 시맨틱 통신 프레임워크인 ResUME을 제안한다.
ResUME은 잔차 벡터 양자화 (Residual Vector Quantization, RVQ)와 불균등 변조 인코딩 (Unequal Modulation Encoding, UME)을 통합한 구조로, RVQ의 계층적 구조를 활용하여 높은 압축률에서 발생하는 의미적 성능 저하를 완화한다. 또한, UME와의 통합을 통해 잔차 성분의 의미적 중요도에 따라 변조 차수 (modulation orders)를 할당함으로써 전송 효율을 극대화하고 성능을 최적화한다.
학습의 신뢰성 제고 및 강인한 전송 보장을 위해, 본 연구에서는 양자화 및 채널 잡음으로 인한 결합 왜곡을 단일 가우시안 분포로 모델링하여 안정적인 종단간 학습을 지원하는 채널 인지형 잡음 대체 VQ (Channel-Aware Noise Substituting VQ, CA-NSVQ) 기법을 제시한다. 이를 보완하기 위해 손실 함수는 변분 추론 (variational inference) 관점에서 설계되었으며, CA-NSVQ 방법론과 호환되도록 증거 하한 (Evidence Lower Bound)을 최적화하도록 구성되었다.
실험 결과, ResUME은 복원 품질 측면에서 기존 양자화 기반 프레임워크보다 일관되게 우수한 성능을 보였으며, 변조를 통해 다양한 SNR 조건에 유연하게 적응함을 확인하였다. 이는 엄격한 채널 대역폭 비율 (channel bandwidth ratio) 제약 하에서도 단일 고정 백본 네트워크 내에서 효과적인 전송률 제어가 가능함을 입증한다.

목차 (Table of Contents)

• Abstract i
• Contents ii
• List of Tables iv
• List of Figures v
• 1 Introduction 1
• 2 Background and Related Work 4
• 2.1 Deep Joint Source-Channel Coding (DeepJSCC) 4
• 2.2 Advancements in DeepJSCC Applications 5
• 2.3 Digital Semantic Communications 5
• 2.4 Vector Quantization (VQ) based Approaches 6
• 2.5 Residual Vector Quantization (RVQ) based Approaches 6
• 3 Overall Framework for Efficient Digital Transmission 8
• 3.1 System Model and Pipeline 8
• 3.2 JSCC Backbone Architecture 10
• 3.3 ResUME: Joint Quantization and Modulation Framework 11
• 3.3.1 Residual Vector Quantization (RVQ) for Digitization 12
• 3.3.2 Unequal Modulation Encoding (UME) for Efficient Symbolization 13
• 3.3.3 Algorithms for ResUME and De-ResUME 15
• 4 Surrogate Modeling for End-to-End Training 17
• 4.1 CA-NSVQ: Joint Optimization via Surrogate Modeling 17
• 4.1.1 Noise Modeling for Quantization and Channel Effects 17
• 4.1.2 Gaussian Surrogate via Worst Case Optimization 19
• 4.2 Information Theoretic Loss Optimization 21
• 4.2.1 Variational Approach to Optimization Objective 21
• 4.2.2 Loss Configuration 22
• 5 Performance Evaluation 25
• 5.1 Experimental Setup and Evaluation Metrics 25
• 5.2 Simulation Details 27
• 5.3 Performance Analysis 27
• 5.3.1 Performance Analysis of UME 27
• 5.3.2 Impact of Modulation Composition 31
• 5.3.3 Ablation Study for Loss Configuration 33
• 6 Conclusion 35
• Abstract (In Korean) 42