Optimization of FFE-MLSD Equalizers in PAM4 Wireline Communications = 고속 PAM4 유선통신을 위한 FFE-MLSD 구조의 최적화

국문 초록 (Abstract)

차세대 고속 와이어라인 통신 시스템에서는 높은 데이터 전송 속도와 안정적인 성능을 확보하는 것이 필수적이다. 특히, 32Gbps 이상의 데이터 전송 속도를 구현하기 위해 스펙트럼 효율성이 우수한 4-레벨 펄스 진폭 변조(PAM4)가 표준 방식으로 자리 잡고 있다. 그러나 PAM4 방식은 심각한 부호 간 간섭(ISI)과 잡음 증폭 문제로 인해 전통적인 피드포워드 등화기(FFE)와 디시전 피드백 등화기(DFE)의 성능 한계에 직면하고 있다.

최대우도열 검출(MLSD)은 채널 메모리를 고려하여 최적의 비트 오류율(BER) 성능을 제공하는 우수한 검출 기법으로 인정받고 있으나, 높은 하드웨어 복잡도와 소비전력 문제로 인해 실제 시스템에서의 적용이 어렵다. 본 논문은 이러한 문제를 해결하기 위해 PAM4 와이어라인 통신에 최적화된 FFE-MLSD 구조를 제안하고 최적화하는 데 중점을 두었다.

첫째, MLSD의 성능을 최적화하기 위해 FFE 계수를 최소 평균 제곱(LMS) 방식으로 초기 결정한 뒤, Cross-Entropy 및 BER 지향 최적화 방식을 통해 정밀 훈련(fine-training)하는 방식을 제안하였다. 이를 통해 BER 성능을 더욱 향상시켰다.

둘째, MLSD의 연산 복잡도를 효과적으로 감소시키기 위해 Top-K 선택 알고리즘을 제안하였다. FPGA 구현을 통하여 실제 하드웨어 구현의 실현 가능성을 분석하고 입증하였다.

제안된 방법의 성능은 시뮬레이션과 FPGA 하드웨어 구현을 통해 검증되었다. 결과적으로 제안한 FFE-MLSD 구조는 기존 등화기 대비 BER 성능을 크게 향상시키고, 하드웨어 복잡도, 게이트 면적, 지연 시간 및 소비전력을 현저히 감소시킬 수 있음을 입증하였다. 본 연구는 고속 PAM4 와이어라인 시스템의 실용적이고 효율적인 구현을 위한 포괄적인 FFE-MLSD 최적화 프레임워크를 제공한다.

다국어 초록 (Multilingual Abstract)

Next-generation high-speed wireline communication systems require high data rates and stable performance. Four-level Pulse Amplitude Modulation (PAM4) has become the standard modulation scheme due to its spectral efficiency for data rates exceeding 32Gbps. However, PAM4 signals face significant limitations from severe inter-symbol interference (ISI) and noise amplification, challenging the effectiveness of traditional Feed-Forward Equalizers (FFE) and Decision Feedback Equalizers (DFE).

Maximum Likelihood Sequence Detection (MLSD) is recognized for providing optimal bit error rate (BER) performance by leveraging channel memory, but its practical application is limited due to high hardware complexity and power consumption. This dissertation focuses on optimizing an FFE-MLSD architecture tailored specifically for PAM4 wireline communication to address these challenges.

Firstly, to optimize MLSD performance, an initial FFE coefficient configuration is determined using the Least Mean Square (LMS) method, followed by fine-tuning using Cross-Entropy and BER-oriented optimization approaches, thereby significantly enhancing BER performance.

Secondly, the computational complexity of MLSD is effectively reduced by proposing a Top-K selection algorithm. FPGA implementations validate and demonstrate the practical feasibility of the proposed hardware designs.

The performance of the proposed methods has been validated through simulation and FPGA hardware implementation. Results confirm substantial BER performance improvements compared to conventional equalizers, along with notable reductions in hardware complexity, gate area, latency, and power consumption.

This research provides a comprehensive optimization framework for practical and efficient FFE-MLSD implementation in high-speed PAM4 wireline communication systems.

목차 (Table of Contents)

• Contents
• CHAPTER 1 INTRODUCTION 1
• CHAPTER 2 BACKGROUND 4
• 2.1 ADC-based Receiver 4
• 2.2 Conventional Equalization Techniques 8
• 2.2.1 Feed-Forward Equalizer 8
• 2.2.2 Decision Feedback Equalizer 11
• 2.2.3 Least Mean Squares Algorithm 15
• 2.3 Neural Network based Equalization 19
• 2.4 MLSD for Wireline Communication 21
• 2.4.1 Introduction to MLSD 21
• 2.4.2 The Viterbi Algorithm 25
• 2.4.3 MLSD Implementation in Wireline Communication 27
• 2.5 Limits of Existing MLSD for Wireline 30
• CHAPTER 3 SIMULATION SETUP 34
• 3.1 Overview 34
• 3.2 Channel Modeling 36
• 3.3 CTLE Modeling 38
• 3.4 Noise Modeling 41
• CHAPTER 4 FFE OPTIMIZATION FOR MLSD 45
• 4.1 Length of Retained ISI 46
• 4.2 Magnitude of Retained ISI 50
• CHAPTER 5 MLSD COMPLEXITY REDUCTION 56
• 5.1 Conventional Approaches 57
• 5.1.1 Reduced-State Sequence Estimation (RSSE) 57
• 5.1.2 T-algorithm and M-algorithm 59
• 5.1.3 Duo-PAM4 based Reduction 61
• 5.2 Top-K Selection 63
• CHAPTER 6 IMPLEMENTATION 68
• 6.1 Quantization 69
• 6.2 Implementation of FFE Coefficient Training 71
• 6.3 Implementation of Top-K Selection 77
• CHAPTER 7 RESULTS 84
• CHAPTER 8 CONCLUSION 89
• BIBLIOGRAPHY 92
• 국 문 초 록 100