강화학습을 활용한 도심내 소규모 배송거점 네트워크 구축 방안에 관한 연구 = A Study on Strategies for Building Urban Micro-Depot Networks Using Reinforcement Learning

국문 초록 (Abstract)

도심 라스트마일의 복잡성이 높아지고 서비스 수준에 대한 기대가 커지면서, 소형 배송거점을 활용한 네트워크의 입지선정과 경로도출을 함께 고려하는 통합 설계의 필요성이 부각되고 있다. 본 연구는 실제 운영 데이터를 바탕으로, 먼저 정수선형계획법을 적용해 네트워크의 서비스 반경과 수요 분포를 반영한 후보 거점의 수와 위치를 단계적으로 도출하고, 이어서 이륜차 기반의 경로 최적화를 수행하여 네트워크 성능을 평가하였다. 경로 탐색은 휴리스틱과 강화학습, 강화학습 결과를 초기해로 활용하는 하이브리드 알고리즘의 세 접근을 병행해 비교하였으며, 이를 김천시의 실제 주문 데이터에 적용하여 단일 경로의 최대 거리와 처리 건수 제약을 반영한 상태에서 총 이동거리, 평균 이동거리, 투입 차량 수, 차량당 작업량, 부하 편차 등의 지표를 산출했다. 분석 결과, 거점 수 확대는 저밀도 권역까지 범위를 넓히는 동시에 이동거리를 줄이고 차량 간 작업을 보다 고르게 배분하는 효과를 보였다. 특히 하이브리드 알고리즘의 경우 강화학습의 전역 탐색력과 휴리스틱의 국소 개선 능력이 맞물리며 경로 품질과 수렴 안정성에서 일관된 우수성을 확인시켰다. 이러한 결과는 소형 거점의 도입과 확장 단계에서 입지와 라우팅의 상호 의존성을 반영한 의사결정에 실증적 근거를 제공하며, 운영 효율과 네트워크 균형성 간의 균형점을 탐색하는 데 실질적 가이드를 제시한다.

다국어 초록 (Multilingual Abstract)

As urban last-mile delivery grows more complex and service expectations rise, the need for an integrated design that jointly considers facility location and route planning using micro-depots has become salient. Using real operational data, this study first applies integer linear programming to iteratively determine the number and placement of candidate depots by reflecting service radius and demand distribution, and then evaluates network performance through two-wheeler– based route optimization. Three routing approaches are in parallel: a heuristic method, a reinforcement learning method, and a hybrid algorithm that uses reinforcement learning outputs as initial solutions for the heuristic. The framework is applied to order data from Gimcheon, incorporating single-route constraints on maximum distance and stop count, and producing key indicators such as total travel distance, average travel distance, fleet size, workload per vehicle, and load imbalance. The results show that increasing the number of depots expands coverage into low-density areas while reducing travel distance and distributing work more evenly across vehicles. The hybrid algorithm consistently excels in route quality and convergence stability by combining the global search capability of reinforcement learning with the local refinement strength of the heuristic. These findings provide empirical foundations for decision-making that accounts for the interdependence between location and routing when introducing or expanding micro-depots, and they offer practical guidance for balancing operational efficiency with network equity.