심층 강화학습을 통한 대형 화물 운송의 스윕 경로 분석 자동화에 관한 연구

다국어 초록 (Multilingual Abstract)

Swept path analysis is an analysis method that calculates the movements and paths of each part of the vehicle when the vehicle moves. Swept path analysis calculates the path that each wheel passes and the space that the vehicle can pass during the turn.

Oversized cargo has various considerations in land transportation. In particular, because the cargo is very large, it is important to identify transportation interferences due to the shape of the road, such as width and curvature of the road. If the width of the road is shorter than the width of the module or the length of the module is too long to cross the curve, the cargo must be transported by another route.

Existing swept path analysis software enables path analysis for oversized cargo transportations. However, although path analysis for vehicles such as trucks and trailers is possible, there is no analysis platform for SPMT, which is an omnidirectional vehicle commonly used for oversized cargo transportation. In addition, the current process of swept path analysis is very passive. Analyze the trajectories by drawing roads and manually placing the vehicle. In order to identify the feasibility of oversized cargo transportation on a specific curved road, it is necessary to manually check the trajectory by changing the layout of the vehicle.

Deep reinforcement learning is an area of machine learning. This is a way to utilize deep neural network structure in existing reinforcement learning algorithm. The agent recognizes the current state from the environment and selects the next action to maximize the reward by the deep neural network. Deep reinforcement learning is useful when states are expressed in higher dimensions. This method is also used in the field of simulation-based optimization. However, no deep reinforcement learning has been applied to swept path analysis.

In this study, we design a system that can analyze SPMT, an omnidirectional vehicle as well as a vehicle provided by the existing swept path analysis software. The system is also used to automate swept path analysis for oversized cargo transportation on an deep reinforcement learning basis. Ultimately, we develop an artificial intelligence system that directly identifies whether the vehicle can pass through the road. To verify the developed system, we compare the trajectories of the same vehicle with the existing swept path analysis software. Additionally, the ground truth is the result of identifying the feasibility of transportation through manual operation. Through this ground truth data, we verify the performance of the artificial intelligence system that identifies the feasibility of oversized cargo transportation. The purpose of this paper is to increase the efficiency of the process for identifying the feasibility of oversized cargo transportation.

국문 초록 (Abstract)

Swept Path Analysis는 차체가 선회 동작을 할 때 차체 각 파트들의 움직임과 경로를 계산하고 분석하는 해석방법이다. Swept Path Analysis를 통해 회전 중에 각 바퀴가 지나가는 경로를 계산하고 회전 중에 차체가 지나갈 수 있는 공간이 계산된다.

대형 화물은 육상 운송 시에 다양한 고려사항이 발생한다. 특히 화물이 매우 크기 때문에 도로의 폭과 커브의 곡률 등 도로 형상에 의한 운송 간섭요소 파악이 중요하다. 도로의 폭이 화물을 포함한 모듈의 폭보다 짧거나 모듈 길이가 길어서 커브 길을 지나가지 못하는 경우에는 다른 경로로 화물을 운송해야 한다.

기존의 Swept Path Analysis 소프트웨어을 통해 대형 화물 운송에 대한 경로 해석이 가능하다. 그러나 트럭과 트레일러 등의 차체에 대한 경로 해석은 가능할지라도 대형 화물 운송에 범용적으로 쓰이는 Omnidirectional 차체인 SPMT에 대해서는 해석 플랫폼이 존재하지 않는다. SPMT는 홀로노믹(홀로노믹)한 모션을 취하기 때문에 다른 차체들과 궤적 해석 과정이 다를 것이다. 또한, 현재의 Swept Path Analysis의 프로세스는 매우 수동적이다. 도로를 도면에 그리고 차체를 수동으로 배치하여 궤적을 해석한다. 특정 곡선 도로에 대한 대형 화물의 운송 가능성을 파악하기 위해서는 수동적으로 차체의 배치를 바꾸면서 궤적을 확인해야 한다.
심층 강화학습은 기계학습의 한 영역이다. 이것은 기존의 강화학습 알고리즘에 심층 신경망 구조를 활용하는 방법이다. 에이전트가 환경으로부터 현재의 상태를 인식하여 심층 신경망에 의해 다음 행동 중 보상을 최대화 하는 행동을 선택한다. 상태가 고차원으로 표현될 때 심층 강화학습은 유용하다. 이 방법은 시뮬레이션 기반 최적화 분야에서도 활용된다. 그러나 Swept Path Analysis에 심층 강화학습을 적용한 사례는 없다.

본 연구에서는 기존의 Swept Path Analysis 소프트웨어에서도 제공하는 차체 뿐 아니라 Omnidirectional 차체인 SPMT에 대한 해석도 가능한 시스템을 설계한다. 또한 해당 시스템을 사용하여 심층 강화학습 기반으로 대형 화물 운송에 대한 Swept Path Analysis를 자동화한다. 궁극적으로, 도로 형상 이미지에 대해서 해당 도로를 차체가 지나갈 수 있는지 곧바로 판별하는 인공지능 시스템을 개발한다. 개발한 시스템을 검증하기 위해 기존의 Swept Path Analysis 소프트웨어와 동일 차체에 대한 궤적을 비교한다. 또한 수동 조작을 통한 운송 가능성 파악 결과를 Ground Truth로 한다. 이를 통해 본 연구를 통해 자동화된 운송 가능성 판별 성능을 검증한다. 본 시스템을 통해서 대형 화물의 운송 가능성을 파악하는 프로세스가 효율적으로 개선되는 것을 목표로 한다.