MIMO-Aware Patching Transformer With Spatial-Spectral Encoding for Hybrid-Field Channel Estimation in XL-MIMO Systems = XL-MIMO 시스템의 하이브리드 필드 채널 추정을 위한 공간-스펙트럼 인코딩 기반 MIMO 인지 패칭 트랜스포머

다국어 초록 (Multilingual Abstract)

Accurate channel estimation in extra-large multiple-input multiple-output （XL-MIMO） systems is fundamentally challenged by hybrid-field propagation, where the coexistence of near-field and far-field components induces spatially nonstationary and geometry-dependent channel characteristics across the antenna array. Conventional model-based estimators rely on restrictive assumptions that become ineffective under such conditions, while existing learning-based approaches typically employ generic tokenization schemes that fail to preserve antenna-domain structure, leading to a representation-structure mismatch. This thesis formulates hybrid-field channel estimation as a geometry-consistent representation learning problem, in which the input representation is explicitly aligned with antenna-domain structure. To address this problem, a MIMO-aware patching Transformer is proposed, where received pilot observations are partitioned into receive-subarray and transmit-group tokens, augmented with dual-domain spatial-spectral encoding, and processed through Transformer blocks to capture dependencies across geometrically related antenna-domain regions. The proposed framework is evaluated under hybrid-field XL-MIMO settings across varying signal-to-noise ratios （SNR）. Controlled evaluations are conducted under fixed model capacity and dataset size to ensure fair benchmarking against classical and learning-based baseline methods, while additional analysis investigate scalability with increasing model capacity and training data. Simulation results demonstrate that the proposed framework consistently achieves lower normalized mean square error （NMSE） and higher achievable rate compared to the considered baseline methods, while maintaining stable performance across different operating conditions. The results further indicate that the effectiveness of attention-based channel estimation is strongly influenced by representation design rather than architectural complexity alone. In particular, preserving antenna-domain structure during tokenization enables more effective modeling of spatially nonstationary channel dependencies, highlighting the importance of geometry-consistent representations for hybrid-field XL-MIMO systems.

국문 초록 (Abstract)

초대형 다중입출력（XL-MIMO） 시스템에서의 정확한 채널 추정은 근거리장（near-field） 및 원거리장（far-field） 성분이 공존하는 하이브리드 필드 전파 환경으로 인해 근본적인 어려움에 직면한다. 이러한 환경에서는 안테나 배열 전반에 걸쳐 공간적으로 비정상적（spatially nonstationary）이며 기하 구조에 의존적인 채널 특성이 발생한다. 기존의 모델 기반 채널 추정 기법은 이러한 조건에서 유효하지 않은 제한적인 가정에 의존하며, 기존 학습 기반 접근법 또한 일반적인 토크나이징（tokenization） 방식을 사용함으로써 안테나 도메인 구조를 충분히 보존하지 못해 표현（representation）과 구조 간 불일치 문제를 초래한다.
본 학위논문에서는 하이브리드 필드 채널 추정을 입력 표현이 안테나 도메인 구조와 명시적으로 정렬되는 geometry-consistent representation learning 문제로 정식화한다. 이를 해결하기 위해, 수신된 파일럿 관측값을 수신 서브어레이（receive-subarray） 및 송신 그룹（transmit-group） 토큰으로 분할하고, 이중 도메인 공간-스펙트럼 인코딩（dual-domain spatial-spectral encoding）을 적용한 뒤, Transformer 블록을 통해 기하적으로 연관된 안테나 도메인 영역 간의 의존성을 학습하는 MIMO-aware patching Transformer 구조를 제안한다.
제안된 프레임워크는 다양한 신호 대 잡음비（SNR） 환경에서 하이브리드 필드 XL-MIMO 시스템을 대상으로 평가되었다. 고전적 채널 추정 기법 및 학습 기반 기준 기법들과의 공정한 비교를 위해 모델 용량과 데이터셋 크기를 고정한 통제 실험을 수행하였으며, 추가적으로 모델 용량 및 학습 데이터 증가에 따른 확장성 분석도 함께 수행하였다. 시뮬레이션 결과, 제안된 프레임워크는 비교 대상 기준 기법들에 비해 일관되게 더 낮은 정규화 평균제곱오차（NMSE）와 더 높은 achievable rate를 달성하였으며, 다양한 운용 환경에서도 안정적인 성능을 유지함을 확인하였다.
또한 실험 결과는 attention 기반 채널 추정의 성능이 단순한 아키텍처 복잡도보다 표현 설계（representation design）에 더욱 크게 영향을 받음을 보여준다. 특히, 토크나이징 과정에서 안테나 도메인 구조를 보존하는 것은 공간적으로 비정상적인 채널 의존성을 보다 효과적으로 모델링할 수 있도록 하며, 이는 하이브리드 필드 XL-MIMO 시스템에서 geometry-consistent representation의 중요성을 시사한다.

목차 (Table of Contents)

• 1 Background and Motivation 1
• 1.1 Problem Statement 5
• 1.2 Research Objectives 7
• 1.3 Research Contributions 8
• 1.4 Thesis Outline 9
• 2 Literature Review 13
• 2.1 Introduction 13
• 2.2 Massive MIMO and XL-MIMO Systems 13
• 2.2.1 Evolution of MIMO Toward XL-MIMO 13
• 2.2.2 Propagation Characteristics in XL-MIMO 15
• 2.2.3 Hybrid-Field Channel Propagation 17
• 2.3 Fundamentals of Channel Estimation 19
• 2.4 Hybrid-Field Channel Estimation in XL-MIMO 21
• 2.5 Deep Learning-Based Channel Estimation 24
• 2.6 Transformer-Based Learning for Wireless Communications 25
• 2.7 Attention-Based Channel Estimation 28
• 2.8 Research Gap 31
• 2.9 Chapter Summary 33
• 3 System Model and Hybrid-Field Channel Model 35
• 3.1 Uplink XL-MIMO System Model 35
• 3.1.1 Signal Model 35
• 3.2 Hybrid-Field Channel Model 36
• 3.2.1 Hybrid-Field Channel Decomposition 37
• 3.2.2 Line-of-Sight Component 38
• 3.2.3 Far-Field Channel Component 38
• 3.2.4 Near-Field Channel Component 39
• 3.3 Spatial Characteristics of Hybrid-Field Channels 39
• 3.4 Channel Normalization 40
• 3.5 Channel Estimation Objective 40
• 3.6 Chapter Summary 41
• 4 Geometry-Consistent Representation Learning for Hybrid-Field Channel Estimation 43
• 4.1 Design Overview and Key Insights 44
• 4.2 Overall Network Architecture 45
• 4.2.1 MIMO-Aware Patch Embedding Module 46
• 4.2.2 Spatial-Spectral Encoding Layer 50
• 4.2.3 Patch-Based SWiGLU Transformer 52
• 4.2.4 Patch Reconstruction Module 54
• 4.3 Learning Objective for Channel Estimation 55
• 4.4 Chapter Summary 56
• 5 Simulation Results and Performance Evaluation 59
• 5.1 Simulation Setup 60
• 5.1.1 System Parameters 60
• 5.1.2 Hybrid-Field Dataset Generation 61
• 5.1.3 Training Configuration 61
• 5.1.4 Baseline Models 62
• 5.2 Overall Performance Comparison 63
• 5.3 Channel Estimation Performance 65
• 5.4 Achievable Rate Performance 68
• 5.5 Performance Under Reduced Pilot Observations 71
• 5.5.1 NMSE Under Pilot Subsampling 72
• 5.5.2 Achievable Rate Under Pilot Subsampling 74
• 5.6 Ablation Studies 77
• 5.7 Computational Complexity Analysis 81
• 5.8 Insights and Implications 84
• 5.9 Chapter Summary 85
• 6 Conclusion and Future Work 87
• 6.1 Overview of the Thesis 87
• 6.2 Summary of Contributions 88
• 6.3 Key Findings and Insights 89
• 6.4 Limitations of This Work 91
• 6.5 Future Research Directions 92