과포화 제어를 위한 AI 기반 강화학습 신호제어 시스템의 현장 적용 연구

다국어 초록 (Multilingual Abstract)

Recently, as traffic congestion in urban areas has increased, there are many studies on reinforcement learning for traffic signal control that enable efficient traffic control in a complex environment that is difficult for humans to control. However, most existing reinforcement learning for traffic signal control studies are implemented based on simulation, and there are few cases where they are applied to the real world. In addition, existing reinforcement learning for traffic signal control methods use a step method that controls the signal every short step. However, a step method is inefficient in oversaturated traffic conditions with large differences between movements because the signal cannot be controlled based on the overall situation of the movements.
Therefore, this study focuses on transferring simulation-based reinforcement learning for traffic signal control to reality and develops an reinforcement learning for traffic signal control method that can respond to oversaturated traffic conditions. The action space is designed so that the agent derives an optimal signal set for every cycle length by understanding the traffic situation of all movements. During each cycle length performing signal optimization, the proposed model finds the optimal signal in the iterative strategy search process. We developed a kinematic wave-based mesoscopic model for a fast and accurate strategy search process. Based on the collected traffic information, the kinematic wave-based meso model estimates the traffic information of the entire link and obtains the status and reward.
The proposed reinforcement learning for traffic signal control method has been verified for field applicability through demonstration in the real world at a congested intersection in Seoul, Korea. As a result, the average queue length at intersection was improved by up to 11.4%.

국문 초록 (Abstract)

최근 도시 지역의 교통 체증이 증가함에 따라 인간이 제어하기 어려운 복잡한 환경에서 효율적인 교통 제어를 가능하게 하는 AI 강화학습 기반의 신호제어에 대한 연구가 많이 이루어지고 있다.
그러나 대부분의 기존 강화학습 신호제어 연구는 시뮬레이션을 기반으로 구현되어 실제 현장에 적용된 사례는 거의 없다. 기존 강화학습 신호제어 연구에서는 짧은 시간 단위마다 신호를 제어하는 ​​스텝 방식을 사용한다. 그러나 이는 전반적인 교통 상황에 따라 신호를 제어할 수 없어 이동류 간 교통량 차이가 큰 과포화 교통 상황에서 비효율적이다.
이에 본 연구에서는 시뮬레이션 기반의 강화학습 신호제어를 현실에 적용하는 데 초점을 맞추어 과포화 교통 상황에 대응할 수 있는 강화학습 신호제어 알고리즘을 개발하였다. AI 에이전트가 모든 움직임의 교통 상황을 파악하여 신호 주기 단위로 최적 신호를 도출할 수 있도록 행동 공간을 설계하였다. 또한 신호 최적화 주기 동안 모델은 전략 탐색 과정에서 최적의 신호를 도출한다. 현장 적용성을 고려하기 위해 가상 환경을 설정하여 빠르고 정확한 전략 탐색 과정을 도입하였다.
본 연구의 강화학습 신호제어 시스템은 전략 탐색 과정을 통해 신호 주기 단위의 안정적인 최적 신호를 도출함으로써 이동류 간 편차가 큰 과포화 상황에 대응할 수 있을 것으로 기대된다. 또한 서울의 혼잡한 교차로 대상의 실증 테스트를 통해 교차로 평균 대기행렬 길이가 최대 11.4% 감소함으로써 현장 적용성을 검증하였다.

목차 (Table of Contents)

• 제1장. 서론 1
• 제1절 연구의 배경 및 목적 1
• 제2절 연구의 내용 및 범위 3
• 제2장. 이론적 배경 및 기존 문헌 고찰 5
• 제1절 강화학습 모델 5
• 제2절 교통 신호 운영 방식 8
• 제3절 강화학습 신호제어 관련 연구 9
• 제3장. 모델 설계 12
• 제1절 강화학습을 위한 가상 환경 설계 12
• 제2절 강화학습 모델 설계 16
• 제4장. 모델 학습 25
• 제1절 프로토타입 교차로 기반 사전 학습 시나리오 설정 25
• 제2절 사전 학습 수행 결과 29
• 제3절 학습 검증을 위한 테스트 수행 30
• 제5장. 모델 효과분석 32
• 제1절 가상 환경에 따른 강화학습 신호제어 분석 32
• 제2절 강화학습 신호제어의 현장 테스트 수행 39
• 제3절 강화학습 신호제어의 다중 교차로 확장성 검증 43
• 제6장. 결 론 53
• 제1절 결론 53
• 참 고 문 헌 55
• Abstract 62