Trajectory Optimization for Mission-Critical UAV Systems in SCMA Networks = SCMA 네트워크에서 미션 크리티컬 UAV 시스템을 위한 궤적 최적화

다국어 초록 (Multilingual Abstract)

Unmanned aerial vehicles (UAVs) have been considered a promising technology in the operation of Internet of Things (IoT) networks. IoT networks play a significant role in different applications that allow us to connect, collect, and process data. Yet, effective data collection and processing in IoT networks remain one of the key concerns since IoTDs are resource-constrained, the working environment is dynamic, and data delivery must be timely. These challenges have triggered to propose a MEC-enabled UAV-assisted IoT network system where UAVs are equipped with MEC functionalities to make the data collection and process rewarding. In this paper, we study how the trajectory of UAVs should be optimized to minimize the age of information (AoI) and mission time. We apply the K-means dynamic clustering algorithm to cluster IoTDs based on their geographical location proximity, which helps to simplify the trajectory optimization problem. Then, we develop a novel Deep Deterministic Policy Gradient-based Dynamic Hovering Point Selection Algorithm (DDPG-DHPSA) to identify the hovering point within each cluster. The hovering point is selected by the DDPG-DHPSA based on the IoTD with the highest data transmission time and AoI to acquire the necessary data quickly. We incorporate sparse code multiple access (SCMA) as a communication model to improve the capability of data transmission between the UAV and IoTDs. The optimization problem is formulated as a Markov decision process (MDP) to control the continuous decision-making nature of the UAV’s actions. DDPG-DHPSA adopts deep neural networks as function approximators to handle the high-dimensional, continuous state and action spaces associated with UAV trajectory optimization. Extensive simulations are conducted to evaluate the performance of the proposed solutions. The results clearly show high performance with the proposed K-means dynamic clustering, DDPG-DHPSA combined with SCMA to minimize AoI and mission time in contrast to the baseline scenarios. By employing K-means dynamic clustering, the system’s performance improved by approximately 87.5%, while the implementation of the DDPG-DHPSA algorithm yields an improvement of about 73%.

국문 초록 (Abstract)

무인 항공기(UAV)는 사물 인터넷(IoT) 네트워크의 성능을 향상시킬 수 있는 유망한 기술로 부상하고 있습니다. 그러나 IoT 네트워크에서 데이터 수집 및 처리를 최적화하는 것은 IoT 디바이스의 제한된 리소스, 환경의 동적 특성, 적시에 데이터를 전송해야 하는 필요성 때문에 상당한 과제를 안고 있습니다. 이러한 문제를 해결하기 위해 유니티는 MEC 기능이 탑재된 UAV를 배치하여 지상 IoT 디바이스(IoTD)로부터 데이터를 수집하고 처리하는 UAV 지원 모바일 에지 컴퓨팅(MEC) 지원 IoT 네트워크 아키텍처를 제안합니다. 이 백서에서는 UAV 궤적을 최적화하여 정보 획득 시간(AoI)과 임무 시간을 최소화하는 데 중점을 둡니다. K-평균 클러스터링 알고리즘을 사용하여 공간적 근접성에 따라 IoTD를 그룹화하여 궤적 최적화 문제를 단순화합니다. 또한 심층 결정론적 정책 그래디언트 기반 동적 호버링 포인트 선택 알고리즘(DDPG-DHPSA)을 도입하여 각 클러스터 내에서 최적의 호버링 포인트를 결정합니다. DDPG-DHPSA는 데이터 전송 시간과 AoI가 가장 높은 IoTD를 기반으로 호버링 포인트를 선정하여 중요한 데이터를 신속하게 수집합니다. 또한 이 알고리즘은 커버리지 수준에 따라 UAV의 고도를 관리하여 클러스터 내 디바이스와의 효과적인 통신을 유지합니다. UAV와 IoTD 간의 데이터 전송 효율성을 개선하기 위해 통신 모델로 SCMA(Sparse Code Multiple Access)를 통합합니다. 최적화 문제는 마르코프 결정 과정(MDP)으로 공식화하여 UAV 동작의 순차적 의사 결정 특성을 포착합니다. DDPG-DHPSA는 심층 신경망을 함수 근사치로 활용하여 UAV 궤적 최적화와 관련된 고차원의 연속 상태 및 동작 공간을 처리합니다. 제안된 솔루션의 성능을 평가하기 위해 광범위한 시뮬레이션을 수행했습니다. 그 결과, K-평균 클러스터링과 DDPG-DHPSA 알고리즘을 SCMA와 통합하는 것이 기준 접근 방식에 비해 정보 연령(AoI)과 임무 시간을 줄이는 데 상당한 효과가 있음을 입증했습니다. K-평균 클러스터링을 사용하면 시스템 성능이 약 87.5\% 향상되는 반면, DDPG-DHPSA 알고리즘을 구현하면 약 73\% 향상되는 것으로 나타났습니다.

목차 (Table of Contents)

• Abstract i
• List of Figures v
• List of Tables vi
• List of Abbreviations vii
• 1 Introduction 1
• 1.1 Motivations 2
• 1.2 Contributions 4
• 2 Related Work 7
• 3 Problem Statement 11
• 3.1 K-Means Clustering Model 13
• 3.2 SCMA Communication Model 14
• 3.3 Age of Information (AoI) 20
• 3.4 Time Consumption Model 22
• 3.4.1 Data Transmission Time (DTT) 22
• 3.4.2 Data Computation Time 22
• 3.4.3 UAV Transit Time 23
• 3.4.4 Cluster-wise Time Consumption: 24
• 3.4.5 Cumulative Mission Time 24
• 3.5 Optimisation Problem 25
• iii
• 4 Proposed solution 27
• 4.1 DDPG Primer 27
• 4.2 MDP Formulation 30
• 5 Simulation Results 36
• 5.1 Simulation Environment and Setup 36
• 5.2 Clustering System Settings 37
• 5.3 Proposed Framework Analysis 40
• 5.4 Performance Evaluation 43
• 6 Limitations and Future Work 50
• 6.1 Limitations 50
• 6.2 Future work 50
• 7 Conclusion 51
• References 52
• 국문초록 62
• Acknowledgements 64