Reinforcement learning-guided beamsearch for resource allocation in MU-MIMO systems

국문 초록 (Abstract)

MU-MIMO 시스템에서 자원 블록, 전력, 빔을 최적으로 할당하는 문제는 NP-hard 난제이다. 기존 수학적 최적화 기법은 높은 연산 복잡도를 가지며, 휴리스틱 알고리즘은 국소 최적해에 빠지기 쉽고, 표준 강화학습은 대규모 네트워크의 방대한 행동 공간으로 인해 수렴이 어렵다는 한계가 있다.
본 논문은 이를 해결하기 위해 강화학습 기반 빔 탐색 프레임워크를 제안한다. 제안하는 방법은 GNN을 통해 복잡한 네트워크 상태를 효과적으로 임베딩하고, 학습된 Actor-Critic 에이전트가 빔 탐색 과정을 가이드하도록 설계되었다. 구체적으로 Actor는 유망한 후보를 샘플링하고 Critic은 장기적 이득을 평가하여 탐색 효율을 극대화한다. 시뮬레이션 결과, RLG-BS는 기존 빔 탐색, Tabu Search 및 PPO 대비 우수한 스펙트럼 효율성과 공정성을 달성하였으며, 이는 대규모 자원 할당 문제에서 탐색 알고리즘과 딥러닝 결합의 유효성을 시사한다.

다국어 초록 (Multilingual Abstract)

Optimally allocating resources in Multi-User MIMO (MU-MIMO) systems is an NP-hard combinatorial problem. Conventional optimization techniques suffer from high complexity, heuristics are prone to local optima, and standard Reinforcement Learning (RL) struggles with the vast action space of large-scale networks.
To address these challenges, this thesis proposes Reinforcement Learning-Guided Beam Search (RLG-BS). This framework utilizes a Graph Neural Network (GNN) for state embedding and employs an Actor-Critic agent to intelligently guide the search process. Specifically, the Actor samples promising candidates to narrow the search space, while the Critic evaluates their long-term gain to maximize efficiency. Simulation results demonstrate that RLG-BS achieves superior spectral efficiency compared to Beam Search, Tabu Search, and PPO baselines. These findings validate the effectiveness of combining structural search algorithms with deep learning for large-scale resource allocation.

목차 (Table of Contents)

• Chapter 1. INTRODUCTION 1
• Chapter 2. BACKGROUND 3
• 2.1. MU-MIMO OFDM system 3
• 2.2 Reinforcement Learning 5
• 2.3 Graph Neural Network 6
• 2.4 Beam Search 7
• Chapter 3. RELATED WORK 8
• 3.1. Traditional Resource Allocation Approaches for MU-MIMO 8
• 3.2 RL-based wireless resource allocation 9
• 3.3 Neural Combinatorial Optimization 10
• Chapter 4. SYSTEM MODEL 11
• 4.1. Network Model 11
• 4.2 Channel and Resource Model 11
• 4.3 Interference Model and Problem Formulation 13
• 4.4 Optimization Objective 14
• Chapter 5. Proposed Methodology 16
• 5.1. Problem Formulation as a Sequential Decision Process 16
• 5.2 GNN-based State-Enviornment Representation 17
• 5.3 RL-Guided Beam Search Framework 20
• 5.4 Training the RL agent 24
• Chapter 6. EXPERIMENT 26
• 6.1. Experiment Setup 26
• 6.2 Simulation Results and Analysis 32
• Chapter 7. CONCLUSION 37
• References 38
• 논문 요약 41