SOLAR: IoT-NTN 환경에서 적응형 랜덤 액세스를 위한 머신러닝 기반 위성 탑재 학습 프레임워크

국문 초록 (Abstract)

지상망(Terrestrial Network, TN) 기반 통신의 한계를 극복하고자, B5G/6G 환경에서는 LEO(Low Earth Orbit) 위성을 활용한 비지상망(Non-Terrestrial Network, NTN) 네트워크와 대규모 IoT(Internet of Things) 수용을 위한 IoT-NTN 구조가 주목받고 있다. 그러나 LEO 위성은 고속 이동성으로 인한 큰 도플러 편이, 짧은 가시 시간, 정지위성 대비 상대적으로 작은 빔 커버리지로 인한 빈번한 핸드오버 등 여러 제약을 가진다. 이러한 환경 하에서는 지상의 IoT와 위성 간의 초기 연결 절차의 안정적 수행이 매우 중요하다. 그러나 기존 TN 환경에서 사용되던 기존 업링크 랜덤 액세스(Random Access, RA) 절차는 LEO 위성의 빠르게 변화하는 링크 품질을 반영하지 못해 충돌률 증가와 접속 지연 문제를 초래한다. 특히, IoT의 경우, 지구 전체의 지역별 분포 밀도 및 요구되는 전송 특성들이 매우 다양하고 가변적이므로, 고정 파라미터 기반 RA는 지구 전체에 대한 최적화가 필요한 IoT-NTN에 있어서 명확한 한계를 가진다. 본 논문에서는 이러한 한계를 극복하기 위해, LEO 위성 기반 IoT-NTN 환경에서 업링크 RA 효율을 향상하는 위성 탑재형 강화학습(Reinforcement Learning, RL) 기반 RA 제어 프레임워크 SOLAR (Satellite Onboard Learning for Adaptive Random access)를 제안한다. SOLAR는 LEO 위성이 관측 가능한 RA 통계만을 활용해 최적의 송신 전력 증가 스텝과 백오프 지시자를 IoT 카테고리에 따라 실시간으로 결정하고, 결정된 파라미터를 지상의 IoT들에게 브로드캐스트한다. RL 에이전트는 massive IoT와 critical IoT 두 카테고리의 상충된 QoS(Quality of Service) 요구를 모두 반영하는 QoS 가중합 기반 보상 구조를 통해 학습함으로써, 운영자가 설정한 기준에 따라 두 서비스 간 트레이드오프를 자율적으로 조정하는 정책을 도출한다. 또한 SOLAR는 지상의 구역별로 온보드 에이전트를 배치하고, LEO 군집에서 동일한 궤도 상의 위성들이 ISL(Inter-Satellite Link)를 통해 정책을 인계하는 구조를 도입함으로써, 위성이 이동하더라도 동일 구역에 대해 일관된 RA 정책을 유지하도록 설계된다. 다양한 트래픽 구성과 IoT 밀도에 대해 RA 시뮬레이션으로 성능을 평가한 결과, SOLAR는 고정 파라미터 기반 기존 방식(baseline) 대비 접속 성공률, 에너지 효율, 지연 측면에서 우수한 평균 성능을 가졌다. 특히, massive IoT만 존재하는 시나리오에서 SOLAR는 baseline 대비 RA 성공률을 최대 7%p 향상시켰고, 에너지 효율 측면에서도 baseline은 성공 IoT당 누적 송신전력 합 지표가 81-300으로 크게 변동하는 반면, SOLAR는 82 수준으로 안정적으로 유지되어 에너지 소모의 변동성을 크게 줄였다. critical IoT만 존재하는 시나리오에서는 baseline에서 지연이 최대 6,530 ms까지 증가하는 반면, SOLAR는 4,895 ms로 억제하였다. 혼재 시나리오에서도 massive IoT와 critical IoT의 QoS를 동시에 개선하는 것을 확인하였다. 학습된 정책은 약 0.89 MB 규모의 경량 모델로 구현되어 실제 LEO 위성의 온보드 컴퓨팅 자원 내에서 운용 가능함을 확인하였다. 이러한 결과들은 제안한 SOLAR가 IoT-NTN 환경에서 RA 제어를 수행하는 데 실질적으로 활용될 수 있음을 보여준다.

다국어 초록 (Multilingual Abstract)

To overcome the limitations of terrestrial network (TN)–based communication, B5G/6G
systems are increasingly embracing non-terrestrial networks (NTN) supported by low Earth
orbit (LEO) satellites, along with IoT-NTN architectures designed to accommodate massive
IoT. However, LEO satellites face several constraints, including large Doppler shifts caused
by high mobility, short visibility windows, and frequent handovers due to their relatively
small beam coverage compared to geostationary satellites. Under such conditions, ensuring
a reliable initial access procedure between ground IoT devices and satellites becomes
particularly critical. The conventional uplink random access (RA) procedure used in TNs,
however, fails to track rapidly varying LEO link conditions, resulting in higher collision
rates and access delays. This limitation is amplified in IoT scenarios, where device density
and traffic characteristics vary significantly across global regions, making fixed-parameter
RA schemes unsuitable for globally optimized TN–NTN operations. To address this, we
propose SOLAR (Satellite Onboard Learning for Adaptive Random access), an onboard
reinforcement learning (RL)–based RA control framework that enhances uplink RA
performance in LEO-based IoT-NTN environments. SOLAR enables the LEO satellite to
determine, in real time, the optimal transmission power ramping step and backoff indicator
for each IoT category by using only the RA statistics observable onboard, and broadcasts
these parameters to ground IoT devices. The RL agent is trained using a QoS-weighted
reward structure that jointly captures the conflicting quality-of-service (QoS) requirements
of massive IoT and critical IoT, allowing it to autonomously balance trade-offs between the
two services according to operator-defined priorities. Furthermore, SOLAR places onboard
RL agents for each geographic region and introduces a policy handover mechanism among
satellites in the same orbital plane via inter-satellite links (ISLs), allowing RA policies to
remain consistent for a given region despite satellite mobility. Extensive RA simulations
under diverse traffic patterns and IoT densities show that SOLAR achieves superior average
performance—reducing access success probability, energy efficiency, and latency—while
reducing performance variability. In massive-iot-only scenarios, SOLAR improved the RA
success rate by up to 7 percentage points over the baseline. The baseline’s per-successfulIoT cumulative transmit energy metric varied widely (81-300), whereas SOLAR stayed
around 82, greatly reducing energy-consumption variability. In critical-IoT-only scenarios,
the baseline delay rose to 6,530 ms, while SOLAR limited it to 4,895 ms. Also, in mixed
scenarios, SOLAR improved the QoS of both massive IoT and critical IoT simultaneously.
The learned policy is implemented as a lightweight model of approximately 0.89 MB,
demonstrating its practical feasibility for deployment on actual LEO satellite onboard
computing platforms. These results confirm that SOLAR is a viable solution for adaptive
RA control in IoT-NTN environments.

목차 (Table of Contents)

• 그림목차 ⅲ
• 표목차 ⅳ
• 국문초록 ⅴ
• 제 1 장 서론
• 제 1 절 연구 배경 1
• 가. LEO 기반 IoT-NTN 개요 1
• 나. LEO 환경의 RA 한계 3
• 다. 선행 연구 및 연구 동기 5
• 제 2 장 본론
• 제 1 절 시스템 모델 10
• 제 2 절 제안하는 프레임워크 15
• 제 3 장 실험 결과
• 제 1 절 실험 환경 24
• 가. 링크 레벨 시뮬레이션 24
• 나. 시스템 레벨 시뮬레이션 27
• 제 2 절 성능 평가 29
• 제 4 장 결론
• 제 1 절 요약 및 결론 41
• 제 2 절 향후 계획 42
• 참고문헌 43
• Abstract 46