고속 철도 MEC 시스템 환경에서 심층 강화학습 기반 태스크 파티셔닝 기법 연구 = Deep Reinforcement Learning-Based Task Partitioning Techniques in High Speed Railway MEC System Environment

국문 초록 (Abstract)

고속 철도 시스템(High-Speed Railway, HSR)은 높은 이동성, 독특한 채널 특성, 그리고 이기종 QoS(Quality of Service) 요구사항으로 인해 기존 네트워크 환경과는 다른 복잡한 문제를 야기한다. 특히, 승객들의 QoS를 유지하면서 MEC(Mobile Edge Computing) 자원을 효율적으로 활용하기 위해서는 태스크 파티셔닝(Task Partitioning) 전략이 필수적이다. 그러나 HSR MEC 환경에서는 시간에 따라 변화하는 고속 열차(High-Speed Train, HST)의 개수, 사용자 밀집도, 예측하기 어려운 태스크 발생 빈도, 그리고 MEC 서버의 부하 상태와 같은 동적 요소로 인해 기존의 휴리스틱, 메타휴리스틱과 같은 접근법만으로는 효과적인 문제 해결이 어렵다. 이러한 동적인 환경에서 심층 강화학습(Deep Reinforcement Learning, DRL)은 복잡한 자원 관리 문제를 해결하기 위한 유망한 대안으로 주목받고 있다. 본 연구는 DRL을 기반으로 한 태스크 파티셔닝 기법을 제안한다. 안정적이고 효율적인 학습을 보장하기 위해 MDP의 행동 공간을 줄이는 세 가지 단계로 알고리즘을 설계하였다. 첫 번째 단계에서는 태스크를 오프로딩할 target MEC 서버를 선택하고, 두 번째 단계에서는 본 연구에서 제안하는 선택 확률 기반 방식을 통해 태스크를 처리할 serving MEC 서버들을 선택한다. 마지막으로, 세 번째 단계에서는 DRL 알고리즘을 이용하여 최적의 태스크 파티셔닝 비율을 동적으로 결정한다. 심층 강화학습 알고리즘으로는 TD3(Twin Delayed Deep Deterministic Policy Gradient)를 활용하여 HSR MEC 환경의 특성을 반영한 태스크 파티셔닝 기법을 제안한다. TD3는 Clipped Double Q-learning, Delayed Policy Updates, Target Policy Smoothing Regularization과 같은 주요 특징을 통해 학습 안정성과 성능을 동시에 보장한다. 이를 통해 태스크 처리량을 최대화하고, 태스크 처리 시간과 MEC 서버 간 부하 편차를 최소화하는 것을 목표로 한다. 제안된 기법은 다양한 고속 철도 시나리오를 모델링하여 성능을 평가하였으며, 실험 결과 기존 기법과 비교하여 태스크 처리 성능을 효율적으로 개선하고 QoS를 보장함을 확인하였다. 향후 연구는 본 연구를 확장하여 HST의 전력 자원 최적화 문제를 결합하고, 더욱 효율적인 HSR MEC 시스템 구축을 목표로 할 예정이다.

다국어 초록 (Multilingual Abstract)

The High-Speed Railway (HSR) system presents complex challenges due to its high mobility, unique channel characteristics, and heterogeneous Quality of Service (QoS) requirements, which differentiate it from conventional network environments. In particular, task partitioning strategies are essential for efficiently utilizing Mobile Edge Computing (MEC) resources while maintaining passenger QoS. However, in the HSR MEC environment, dynamic factors of the environment such as the changing number of High-Speed Trains (HSTs) over time, varying user density, unpredictable task arrival rates, and fluctuating MEC server load states make it difficult to effectively solve these problems using the existing approaches such as traditional heuristic, meta-heuristic. In such dynamic environments, Deep Reinforcement Learning (DRL) has emerged as a promising alternative for addressing complex resource management issues. This study proposes a DRL-based task partitioning method. To ensure stable and efficient learning, the algorithm is designed in three stages to reduce the action space of the Markov Decision Process (MDP). In the first stage, the target MEC server for task offloading is selected. In the second stage, serving MEC servers to process the tasks are chosen based on the selection probability proposed in this study. Finally, in the third stage, a DRL algorithm dynamically determines the optimal task partitioning ratio. The proposed task partitioning method utilizes the Twin Delayed Deep Deterministic Policy Gradient (TD3) algorithm to reflect the characteristics of the HSR MEC environment. TD3 ensures stability and performance in learning through key features such as Clipped Double Q-learning, Delayed Policy Updates, and Target Policy Smoothing Regularization. The method aims to maximize task throughput, minimize task processing delay and the load variance among MEC servers. The performance of the proposed method was evaluated by modeling various HSR scenarios, and experimental results confirmed that it effectively improves task processing performance and ensures QoS compared to existing methods. Future research will extend this study to incorporate HST power resource allocation optimization and aim to build a more efficient HSR MEC system.

목차 (Table of Contents)

• Ⅰ. 서론 = 1
• 1.1 연구 배경 및 목적 = 1
• 1.2 연구의 필요성 및 논문 구성 = 6
• II. 관련 연구 = 9
• 2.1 태스크 오프로딩 및 파티셔닝 기법 = 9
• 2.2 DRL 기반 HSR-MEC 환경에서의 태스크 오프로딩 및 파티셔닝 = 13
• III. HSR MEC 시스템 = 15
• 3.1 시스템 모델 및 아키텍처 = 16
• 3.2 네트워크 시나리오와 통신 및 컴퓨팅 자원 모델 = 20
• Ⅳ. 제안 알고리즘 = 27
• 4.1 문제 정의 = 27
• 4.2 MDP 모델 설계 및 목표 설정 = 29
• 4.3 Twin Delayed Deep Deterministic Policy Gradient(TD3) 기반 태스크 파티셔닝 알고리즘 = 33
• Ⅴ. 실험 환경 및 성능 평가 = 39
• 5.1 개발 환경 설정 = 39
• 5.2 실험 및 성능평가 = 42
• Ⅵ. 결론 및 향후 계획 = 61
• 참고문헌 = 63