Road Roughness Assessment Using Synthetic Images based on Deep Convolutional Neural Network

다국어 초록 (Multilingual Abstract)

Evaluating road pavement condition is one of the significant factors in managing road structures. In particular, the pavement roughness impacts the safety of the driver, energy efficiency, and public safety as well as the degradation of the road. The International Roughness Index (IRI) indicates the extent of pavement roughness and has been adopted World widely. Laser-sensor-based equipment such as road-profiler is used to measure the IRI in field experiments, but its surveying frequency is low due to requirement of unique equipment. With advance the computer techniques, various methods have been suggested for evaluating the IRI: For example, dynamic responses of a vehicle or other road condition information are incorporated with machine learning model for predicting IRIs. Also, the computer vision technologies are used in the road management while most of those applications are for determining the existence of cracks. To dates quantitative evaluation, such as IRI estimation, has been understudied. Thus, in this study, two Convolutional Neural Network (CNN) models are developed for road grade classification and IRI prediction, by using the photo realistic images. The image dataset that trains CNN models are developed in the follow procedures: (i) 3-dimensional road profiles are generated using the measured IRI from an in-service road; (ii) the profile, which contains a single IRI within the unit road segment are rendered using a 3Ds max with V-Ray; and (iii) the photo realistic images were then captured using a physical camera considering its orientation and the sunlight direction variation. In total 9,600 synthetic image are constructed. Two CNN models were developed, which yield accurate model performance when compared with models with different layer sizes and numbers. As a result, the proposed model achieved 99% accuracy for road grade classification and R-squared over 0.99 for IRI prediction. Then to further examine the efficacy of the proposed model, images collected from in-service road are used in the model. Note that because various light directions are considered in the data base, the model is less susceptible to the driving directions. As a results, the proposed framework that utilizes the photo realistic images has shown potentials for facilitating the automated and flexible evaluation of pavement condition.

국문 초록 (Abstract)

도로포장상태 평가는 도로 구조물 관리에 있어 중요한 요소 중 하나이다. 특히, 도로포장 거칠기는 도로의 상태 악화 뿐만 아니라 운전자의 안전성, 에너지 효율성, 공공 안전성에도 영향을 미친다. 도로포장 거칠기의 정도를 나타내는 국제 거칠기 지수 (IRI)는 세계적으로 널리 사용되는 인자이다. 종래의 IRI는 도로 프로파일러와 같은 레이저 센서 기반 장비를 통해 측정되었지만 비싼 장비 비용으로 인해 조사 빈도가 낮고 한정적이었다. 컴퓨터 기술이 발전함에 따라 IRI를 평가하기 위한 다양한 방법이 제안되었다. 예를 들어, 차량의 동적 반응 또는 도로 상태에 대한 정보를 사용하여 IRI를 예측하는 기계 학습 모델이 대표적이다. 또한, 컴퓨터 비전 기술이 도로 구조물 관리에 적극 사용되고 있다. 하지만 대부분의 컴퓨터 비전 기술의 적용은 도로 위 균열 유무를 판단하는 데 주로 사용되고 있고, IRI 추정과 같은 정량적 평가는 충분히 연구되지 않고 있다. 따라서 본 연구에서는 합성 이미지를 사용하여 도로 등급 분류 및 IRI 예측을 위한 두 가지 컨볼루션 신경망 (CNN) 모델을 개발한다. CNN 모델을 훈련시키는 합성 이미지 데이터셋은 다음과 같은 절차로 개발되었다. (i) 실제 도로에서 측정된 IRI를 사용하여 3차원 도로 프로파일을 생성한다. (ii) 단위 도로 세그먼트 내에 단일 IRI를 가지는 도로 프로파일 모델은 3Ds max와 V-Ray를 사용하여 렌더링 되며, (iii) 프로그램 내 물리 카메라를 통해 이미지 데이터셋이 구축된다. 이때 만들어진 이미지 데이터셋은 3D 프로그램 내에 광원 효과를 통해 햇빛 각도에 따른 도로의 시각적 특성 변화를 반영하였다. 최종적으로 만들어진 이미지 데이터셋은 총 9,600개의 합성 이미지로 구성되었다. 두 CNN 모델의 성능 검증 결과, 제안된 모델들은 완전히 독립된 테스트셋에 대하여 도로 등급 분류 모델의 경우 99%의 분류 정확도를 확인할 수 있었고, IRI 예측 모델의 경우 0.99 이상의 R-제곱값을 통해 라벨링된 값과 예측된 값 간 높은 상관 관계를 확인할 수 있었다. 이후 실제 도로에서 수집된 이미지를 통해 학습된 모델의 실제 도로에서의 성능을 검증하였다. 결과적으로, 제안된 연구는 합성 이미지를 통한 이미지 기반 도로포장 상태 평가 기술을 통해 보다 자동화되고 유연한 도로 상태 평가에 대한 가능성을 보여주었다.

목차 (Table of Contents)

• Abstract iii
• CHAPTER 1 Introduction 1
• CHAPTER 2 Literature Review 4
• 2.1. Conventional Methods 4
• 2.2. Vehicle Pavement Interaction-based Methods 5
• 2.3. Machine Learning-based Methods 6
• 2.4. Synthetic Environment CV-DL 8
• 2.5. Summary 9
• CHAPTER 3 Overall Framework using Synthetic image 11
• 3.1. Framework 11
• 3.2. Synthetic Image Generation 12
• CHAPTER 4 Data Preparation 15
• 4.1. Road Profile Reconstruction 15
• 4.2. Training Image Generation 22
• 4.3. Summary 26
• CHAPTER 5 Deep Learning Model Development 27
• 5.1. Data Allocation 27
• 5.2. Model Development 28
• 5.3. Summary 31
• CHAPTER 6 Model Validation 33
• 6.1. Model Validation from Synthetic Images 33
• 6.2. Model Validation from Photographed In-service Road Images 39
• 6.3. Summary 45
• Chapter 7 Conclusion and Future Studies 46
• 7.1. Conclusion 46
• 7.2. Future Studies 47
• List of References 49
• 국문 요지 52