데이터 적시성(適時性)을 고려한 내쉬협상-심층강화학습 기반 순차적 스펙트럼 할당 기법 = NBS and DRL Based Dual-Stage Spectrum Allocation Technique for the IoE Network

국문 초록 (Abstract)

만물 인터넷 (Internet of Everything: IoE)는 인터넷을 통해 사물과 사물이 연결되는 사물 인터넷 (Internet of Things: IoT)에서 확장된 개념으로사람과 사물 그리고 데이터가 연결됨을 의미한다. IoE 장치를 통해 생산된 데이터는 정보 및 제어를 위해 IoE 플랫폼에서 무선 통신을 통해 전송되며,IoE 애플리케이션이 생성한 데이터를 적시에 전송 할 때 전반적인 IoE 플랫폼의 성능이 높아진다. 즉 두 번째 단계에서는 개별 IoE 장치가 심층강화 학습을 통해 스펙트럼 요청을 선택한다. 지능형 IoE 장치의 순차적인 상호 작용을 통해, 제안된 이중 단계 제어 접근법은 스펙트럼 할당프로세스를 최적화하기 위해 시너지 효과를 탐색할 수 있다. 마지막으로, 시뮬레이션 결과는 공동 설계된 제어 방법이 시스템 효율성에 유익한협력 전략을 개별 장치가 선택하도록 효과적으로 안내하며, 서비스 지연, 네트워크 처리량 및 장치 공정성 측면에서 기존 프로토콜보다 우수하다는것을 보여준다.

다국어 초록 (Multilingual Abstract)

This study proposes a novel wireless spectrum allocation method aimed at ensuring smooth sharing of limited spectrum resources,minimizing data latency, and enabling efficient data transmission. The Nash Bargaining Solution (NBS) is a mathematical approach thatfairly distributes limited resources while maximizing the benefits for all negotiating parties. Additionally, reinforcement learning providesa method to efficiently allocate spectrum by learning network conditions and demand variations in dynamic environments, therebyminimizing resource waste and optimizing network performance. To address this issue, the proposed method employs a two-stage controlmechanism that leverages the concepts of the Nash Bargaining Solution and the Double Deep Q-Network (DDQN) reinforcement learningalgorithm. In the first stage, spectrum pricing is dynamically determined, and spectrum allocation is performed based on the NashBargaining Solution. In the second stage, individual IoE devices select their spectrum requests through deep reinforcement learning. Through sequential interactions among intelligent IoE devices, the proposed two-stage control approach explores synergies to optimizethe spectrum allocation process. Finally, simulation results demonstrate that the jointly designed control method effectively guides individualdevices to select cooperative strategies beneficial to overall system efficiency. The method outperforms existing protocols in terms ofservice delay, network throughput, and fairness among devices.