SCC 시스템의 레이더 센서 고장 안전 대책에 관한 연구

임재환 국민대학교 자동차공학전문대학원 친인간지능형자동차전공 2018 국내석사

최근 들어 유럽, 미국, 일본 등의 자동차 선진국을 중심으로 2020년까지 SAE 차량 자동화 레벨 3에 준하는 제한적 자율주행 차량의 양산화 계획이 잇달아 발표되고 있다. 미국의 경우 2017년부터 10년간 ADAS 및 자율주행자동차 관련 40억 달러의 투자 계획을 발표하였으며, 영국의 경우 자율주행자동차 연구센터를 설립하여 2,000만 파운드를 투입할 예정이다. 또한 일본은 2020년대 후반 완전 자율주행을 위한 제도를 마련 중에 있으며, 국내의 경우 국토교통부를 중심으로 ADAS 시스템의 평가 기준을 고도화 하고 자율주행자동차의 조기 상용화를 위한 정책을 활발히 추진하고 있다. 자율주행자동차는 운전자가 직접적으로 운전을 하지 않는 상태에서 고장이 발생하면 ADAS 시스템보다 큰 위험에 노출될 가능성이 높고, 아직 본격적인 양산이 시작되지 않아 고장 안전성에 대해 평가와 대책이 매우 미미한 실정이다. 하지만 전 세계의 주요 자동차업체들이 자율주행자동차의 본격적인 양산 시점으로 제시하고 있는 2020년을 몇 년 밖에 앞두지 않은 현 시점에서, 고장 안전성에 대한 평가와 대책 연구는 매우 시급히 다루어져야 할 필요가 있다. 고장 안전성 평가와 대책을 위해서는 H/W 또는 S/W에 인위적으로 결함을 주입해야 하는데, 이를 실차에서 수행하게 되며 자칫 큰 사고로 이어질 수 있기 때문에, 실차보다는 안전이 확보된 HiLS(Hardware-in-the-Loop Simulation)와 같은 환경에서 시스템의 H/W 일부를 대상으로 검증 시험을 수행하는 것이 일반적이다. 하지만 HiLS의 경우 부피가 크고 비용이 고가여서 일반적으로 사용하기가 어려우며, 특히 자율주행자동차와 같이 현재 양산되고 있지 않은 경우에는 고장안전성 평가와 대책을 위한 대상 H/W가 아직 없을 수 있다는 단점을 가지고 있다. 따라서 본 논문에서는 이러한 문제점을 극복하기 위하여 MiLS(Model-in-the-Loop Simulation) 환경에서 종방향 자율주행지원시스템인 SCC 시스템의 레이더 센서에 대한 결함 주입이 가능한 환경을 구성하고 고장안전 대책으로써 카메라 센서기반 하드웨어 중복구조와 관측기를 사용한 해석적 중복구조를 동시에 이용하여 결함 허용 설계를 수행하였다. MiLS는 시스템의 개발 초기부터 고장 안전성을 검증할 수 있는 프로세스를 제공할 수 있으며, 정확도에 따라 HiLS에서 수행 가능한 고장 안전성 시험의 일부분을 MiLS로 대체 할 수 있는 장점을 가진다. 본 논문에서는 고장 주입 시뮬레이션 및 고장안전 대책을 ADAS 시스템에 적용하여 연구를 수행하였지만, 시스템 및 내부 알고리즘의 경우 변경이 가능하므로 추후에 개발될 자율주행자동차에 적용이 가능할 것으로 예상된다. Recently, plans to mass-produce limited autonomous vehicles based on SAE automation level 3 have been announced until 2020, centering on developed countries such as Europe, the United States, and Japan. In the United States, it has announced a $ 4 billion investment plan for ADAS and autonomous driving vehicles for 10 years from 2017, and will set up an autonomous vehicle research center in the UK to invest £ 20 million. In addition, Japan is in the process of establishing a system for fully autonomous driving in the late 2020s, and in the case of Korea, the Ministry of Land, Transport and Maritime Affairs is actively promoting the evaluation standard of the ADAS system and promoting early commercialization of autonomous vehicles. Autonomous driving vehicles are more likely to be exposed to greater risk than ADAS systems if the driver fails to operate directly, and the mass production of the autonomous driving vehicle is not yet started. Therefore, evaluation and countermeasures for failure safety are very limited. however, only a few years after 2020, which major automakers around the world are presenting as full-scale production of autonomous vehicles, the evaluation of failure safety and the study of countermeasures need to be urgently addressed. For fault safety evaluation and measures, defects must be artificially infused into the H/W or S/W. If this is done in a real vehicle, this can lead to serious accidents. It is common to conduct verification tests on H/W parts of the system in environments such as HiLS (Hardware-in-the-Loop) where safety is secured rather than actual vehicles. However, in the case of HiLS, since it is bulky and expensive, it is generally difficult to use. Especially, when the vehicle is not mass-produced like an autonomous vehicle, there is a disadvantage that the target H/W for failure safety evaluation and countermeasures may not yet exist have. In order to overcome these problems, this paper proposes a fault tolerant environment for the radar sensor of the SCC system, which is a longitudinal autonomous driving support system in MiLS (Model-in-the-Loop Simulation). The fault tolerant design was performed by using camera sensor based hardware redundancy and analytical redundancy structure using observer. MiLS can provide a process for verifying fault safety from the early stage of system development, and has the advantage of replacing part of the failure safety test that can be performed in HiLS with MiLS according to accuracy. In this paper, fault injection simulation and fault safety measures are applied to ADAS system. However, it is expected that it can be applied to autonomous vehicles that will be developed later because system and internal algorithms can be changed.

자율주행자동차에서 사용되는 병렬처리 시스템 기반의 경로계획 알고리즘 경량화에 대한 연구

양현철 국민대학교 자동차공학전문대학원 친인간지능형자동차전공 2018 국내석사

자율주행자동차 제어시스템 기술의 고도화로 안전한 주행을 위한 차량 내/외부의 제어 Module이 증가하고 있으며, 주행 중 각 Module에서 수집되는 노면환경, 차량상태, 경로데이터 등을 실시간으로 제어하기 위해 많은 연구가 진행되고 있다. 특히 경로계획 및 위급 상황에서의 회피 경로계획을 빠르게 대처하기 위한 연구가 여러방면에서 진행되고 있다. 경로계획을 실시하기 위한 선행 연구로 Dijsktra, A*, D* 등의 알고리즘에 직렬처리 방식을 이용하여 경로계획을 실시하였다. 그러나 주행 가능한 Map의 범위가 커지고, 도로환경의 복잡함으로 인한 알고리즘 연산량 문제는 결국 전체 System 성능저하로 연결되었다. 이러한 성능저하는 결국 전체 System의 불안정과 함께 Safety Mechanism의 오동작을 일으켜, 자율주행자동차의 최대속도제한이 발생하는 등 다양한 문제들이 추가적으로 나타나고 있다. 이에 본 연구에서는 병렬처리 시스템이 내장된 자율주행자동차에서 기존 시스템 대비 빠른 시간 내에 경로계획을 생성하는데 주된 목적을 가지고 있다. 연구를 위해 Google 또는 네이버에서 제공하는 지도 또는 항공사진을 활용 분석하였으며, 실험에 사용된 지역은 국민대학교, 인제스피디움, 교통안전공단으로 설정하였다. 경로탐색을 위해 자율주행 자동차에서 많이 활용되는 A*알고리즘을 활용하였으며, 병렬처리 시스템(OpenMP, CUDA)을 통해 Heuristic값을 효율적으로 계산함으로 써 기존 시스템의 단점을 보완하고자 하였다. 이를 통해 자율주행자동차에서 병렬처리 시스템을 활용하여 데이터 처리를 실시한 결과 기존 대비 성능개선이 나타났다. 따라서 성능저하로 인한 Safety Mechanism의 오동작 등 다양한 문제점들이 개선될 것으로 기대된다. A Study about Path Planning Algorithm Light-Weighting for Autonomous-vehicles with a built-in Parallel System by Hyunchul Yang Graduate School of Automotive Engineering Kookmin University, Seoul, Korea Control modules of internal and external cars are in the increase with advanced control system techniques of self driving cars. Many studies have been done to control the road environment, vehicle condition and data path that collected in each module while driving in real time. In particular, studies from various fields have been carried out to plan routes and deal with emergency situations quickly. I conducted the path planning using the serial method based on the algorithm of the preceding research Dijsktra, A*, D*. As the range of driving map is getting bigger and road environment is complicated, it caused a problem about the amount of algorithm calculation. Eventually, it lead to the performance degradation in the overall system. This performance degradation caused the unstability of overall system and malfunctions of safety mechanism. Thus problems that autonomous-vehichles are limited by the maximum speed have additionally appeared. Consequently, this research has a main purpose to create the path planning of the autonomous-vehicles with a built-in parallel processing system in a shorter time range than existing systems. I used and analyzed aerial photographs and map provided on the Naver and Google for this study and I set the experiment area as Kookmin University, Inje Speedium, and Korea Transportation Safety Authority. I utilized A* algorithm that autonomous-vehicles use mostly to search the path and compensated the defects of existing system by calculating heuristic data effectively through the parallel processing system((OpenMP, CUDA). After the data processing using parallel processing system, this has the effect of improving performance. Therefore, it is expected to improve various problems about malfunctions of Safety Mechanism caused by the performance degradation.

LiDAR를 이용한 차선 및 횡단보도 지도 기반 자율주행 자동차 위치 추종 기법 연구

강동완 국민대학교 자동차공학전문대학원 친인간지능형자동차전공 2018 국내석사

본 연구는 자율주행자동차의 정확한 위치 추정을 위해 차선 및 횡단 보도 지도 기반 위치추정 기법에 관한 내용이다. 자율주행자동차는 출발점으로부터 목적지까지 계산된 경로를 따라 안전하게 주행하는 자동차로 이를 위해서는 정확한 차량의 위치인식이 필수적이다. 본 연구에서는 자율주행자동차의 위치추정을 위해 구축한 도로정보 특징지도 구축방법을 설명하고 LiDAR와 GNSS, 관성항법장 치를 기반으로 ICP(Interactive closest Point)와 UKF(Unscented Kalman Filter) 알고리즘을 사용하여 차선과 횡단보도 지도를 이용한 자율주행자동차의 위치추정 방법을 제시한다. 지도를 구축함에 있어 위치추정에 필요한 특징만을 사용하기 위해 RBNN(Radius Based Nearest Neighbor) 객체 분할 방식과 ANN(Artificial Neural Network) 분류 기법을 이용하여 도로의 특징 을 추출하고 이를 기반으로 포인트로 이루어진 지도를 구축하였다. 자 율주행자동차의 위치추정은 기본적으로 GNSS를 통해 쉽게 위치 추정 을 할 수 있다. 하지만 GNSS를 이용한 위치 추정에는 음영지역과 위 성의 분포, 무선신호의 잡음에 의해 정확한 위치를 추정할 수 없는 경 우가 있다. 또 관성항법장치를 이용한 추측항법 알고리즘인 UKF는 Kalman Filter의 특징인 누적오차로 인해 대부분 짧은 거리의 경우에 만 정확한 위치추정이 가능하다. 점대점 매칭을 이용해 위치를 추정하 는 ICP 알고리즘의 경우 시스템의 과부하를 불러 실시간성이 부족해 진다는 단점이 있다. 이러한 자율주행자동차의 위치추정 방법들의 단 점들을 보안하고자 3가지 방법의 상호보완적 관계를 이용하여 자율주 행 자동차의 정확한 위치를 추정하고자 하였다. 제안된 위치인식 알고리즘을 기반으로 GNSS 단락 시 차량에 장착 된 센서를 사용하여 차선과 횡단보도 정보를 이용하여 위치를 추정하 는 것을 확인하였고 차량 정보만을 이용한 위치 추종기법 보다 정확한 위치 추종 거리가 증가하였고 GNSS 센서 측정 시에는 GNSS 센서만 을 이용한 위치 추종기법보다 안정적인 위치 추종기법이라는 결론을 도출하였다. This study is about lane and pedestrian guidance based location estimation technique for accurate position estimation of autonomous vehicle. Autonomous vehicles are driving safely along the path calculated from the starting point to the destination. Accurate vehicle position recognition is essential for this. In this study, we describe the method of road map construction for the estimation of autonomous vehicle location and LiDAR, GNSS, and Inertial Navigation System, ICP (Interactive closest Point) and UKF (Unscented Kalman Filter) algorithms are used to estimate autonomous vehicles using road information feature maps. Using RBNN (Radius Based Neighbor) and ANN (Artificial Neighbor) based object segmentation techniques to build out the map using only the features needed to estimate its location. Estimates of the location of autonomous vehicles can be easily estimated using GNSS. Location estimation using GNSS, however, is not always possible to estimate the exact location due to the distribution of shadow regions and satellites, and the noise of radio signals. Furthermore, the UKF, a conjectural navigation algorithm using inertial navigation, is able to estimate the exact location only for most short distances due to cumulative error, a feature of Kalman Filter. The disadvantage of the ICP algorithms that estimate the position using dot matching is that the system overloads, resulting in a lack of real time. In order to ensure the security of the positioning of these autonomous vehicles, the exact location of the autonomous vehicles was to be estimated using a complementary relationship of three methods. Based on the proposed positioning algorithm, we used sensors installed on the vehicle in the event of a GNSS short circuit and determined that the position of the GNSS sensor was more accurately followed than that of the vehicle.

자율주행 자동차를 위한 딥러닝 기반 실시간 장면 이해에 관한 연구

정택훈 국민대학교 자동차공학전문대학원 친인간지능형자동차전공 2018 국내석사

자율주행 자동차의 필수적인 요구 조건 중 하나는 고속도로 혹은 도심지와 같은 복잡한 교통 환경으로부터 다양한 인지 센서를 통해 그 환경에 대해 의미를 완벽히 분석하고 유용한 정보를 추출하는 것이다. 컴퓨터 비전 관점에서 의미 추론에 관한 대부분의 접근 방법은 정확성을 높이는 성능 향상에 중점을 두고 있지만, 자율주행 자동차의 관점에서는 보다 빠른 성능 구현을 통해 실시간성을 확보하는 것이 매우 중요하다. 본 논문은 자율주행 자동차를 위한 딥러닝 기반 실시간 장면 이해에 관한 연구이다. 카메라에서 획득되는 영상을 통해 영상 분류, 객체 검출, 시맨틱 세그멘테이션과 관련된 각각 세 가지 문제를 동시에 효율적으로 처리하고 실시간성을 확보하는 통합 네트워크를 제안한다. 통합 네트워크는 크게 네 개의 시스템으로 하나의 엔코더와 세 개의 서로 다른 디코더로 구성되며, 세 개의 디코더는 그 역할과 목적에 따라 분류된다. 세 개의 디코더는 classfication 디코더, detection 디코더, segmentation 디코더로 구분되며 각각의 디코더들은 엔코딩 된 특징을 서로 공유하여 수행한다. 학습 데이터의 구성은 KITTI 벤치마크와 Cityscapes 벤치마크에서 제공하는 실제 도로 환경 영상을 이용하였으며, 제공 받은 데이터 중 일부를 테스트 데이터로 구성하였다. 본 논문에서 제안하는 통합 네트워크는 벤치마크에서 제공된 학습 데이터를 이용하여 End-to-End 방식으로 학습할 수 있으며, 테스트 데이터를 이용한 실험 결과를 통해 제안하는 통합 네트워크의 성능과 실시간성 확보를 검증하여 실제 주행 환경에서의 적용 가능성을 확인하였다. One of the essential requirements for autonomous vehicles is to thoroughly analyze meaning and extract useful information from complex traffic environments such as expressways or urban areas through various perceptive sensors. From the viewpoint of computer vision, most approaches to semantic reasoning focus on improving performance to improve accuracy, but it is important to ensure real time performance through faster performance in terms of autonomous vehicles. This paper is a study on real time scene understanding based on deep learning for autonomous vehicles. In this paper, We propose united Network, which is an integrated single network that efficiently handles each of three problems related to image classification, object detection, and semantic segmentation at the same time and secures real time through image obtained from camera. United Network consists of four systems, one encoder and three different decoders. The three decoders are classified according to their roles and purposes. The three decoders are divided into a classfication decoder, a detection decoder, and a segmentation decoder, and each decoder shares encoded features with each other. The construction of the learning data was made using the actual road environment image provided by the KITTI benchmark and the Cityscapes benchmark, and some of the supplied data was composed of the test dataset. The united Network proposed in this paper can be trained End-to-End learning using the training data provided in the benchmark, and verified the performance and real time performance of united Network through test results using test data, and confirmed the applicability in actual driving environment.

차량용 라이다 센서를 이용한 머신러닝 기반 이동물체 분류 및 추적 기법 개발

김태완 국민대학교 자동차공학전문대학원 친인간지능형자동차전공 2018 국내석사

자율주행자동차 기술에 대한 관심이 증가하면서 이에 발맞추어 Advanced Driver Assistance Systems(ADAS) 기술 연구에 박차를 가하고 있다. 자율주행자동차는 운전자 없이 원하는 목적지까지 최적의 경로를 탐색하여 안전하게 이동할 수 있는 자동차를 의미한다. 이에 안전한 경로 생성을 위해서는 지속적으로 센서 데이터를 처리할 수 있는 기술이 있어야 한다. 현재 자율주행을 위한 ADAS 기술에 사용되는 핵심 센서는 레이더, 라이다, 카메라, 적외선센서 등이 있으며, 각 센서의 특성에 맞게 ADAS 기술들이 개발되고 있다. 센서의 신뢰성이 높아짐에 따라 자율주행 자동차 개발이 현실화되고 있고, 이를 위해서는 센서 기술 개발이 필수적이다. 최근에는 하드웨어적인 기술 개발뿐만 아니라 단순히 주변 환경 인지로 사용되었던 센서 기술들이 머신러닝 기법이 각광받으면서 새롭게 진화하고 있다. 본 논문은 차량용 라이다 센서를 이용하여 이동물체를 추적 및 머신러닝 기반 차량 및 보행자 분류에 관한 연구이다. 현재 라이다 센서는 높은 가격이라는 단점을 가지고 있지만, 상용화를 위한 소형화 및 중저가화 시키는 기술이 개발 중이며 uanergy와 같은 회사의 경우 Google에서 사용 중인 Velodyne에 비해 1/3 저렴한 가격으로 생산되고 있다. 라이다 센서는 레이저를 이용하여 거리를 측정하는 기술로, 다른 센서들에 비해 감지 범위가 넓고, 높은 거리 분해능과 각도 분해능을 가지고 있다. 그렇기에 종∙횡 방향의 정확한 거리 측정이 가능하고 윤곽 추정이 가능하다는 장점을 가지고 있다. 하지만 라이다 센서 특성상 폐색현상이 발생하는 단점을 가지고 있다. 이를 해결하기 위해 본 논문에서는 Density-Based Spatial Clustering of Applications with Noise(DBSCAN) 방식과 Adaptive Breakpoint Detection(ABD) 기법을 혼합하여 가변 거리 조건을 사용하여 객체화하였다. 추출한 객체 데이터는 데이터 마이닝을 통해 12개의 특징점들을 추출해 내고, 이를 머신러닝 기법 중 하나인 Linear Discriminant Analysis(LDA) 기법과 Support Vector Machine(SVM) 기법과 같은 분류 알고리즘을 적용하여 차량과 보행자를 분류한다. 분류 된 차량과 보행자는 칼만필터 기반의 추적 기법을 적용하였고, 트랙관리기를 통해 타깃을 관리하여 상태 추정의 신뢰성을 높였다. 본 논문에서는 주변 환경 인지 기술 향상을 위해 차량용 라이다 센서에 머신러닝 기법을 적용하여 5개의 시나리오에서의 Off-line 시뮬레이 션을 수행하였고 알고리즘 성능을 검증하였다. This paper is a study on classification of vehicles and pedestrians based on tracking and machine learning of moving objects using LiDAR sensor for vehicles. Currently, the LiDAR sensor has a disadvantage of high price, but the technology to make it smaller and less expensive for commercialization is being developed, and companies such as Quanergy are produced at a price 1/3 lower than the Velodyne used in Google. The LiDAR sensor is a technology for measuring the distance using a laser. It has a wider detection range, higher range resolution and angular resolution than other sensors. Therefore, it is possible to accurately measure the longitudinal and lateral directions, and it is possible to estimate the contour. However, it has a disadvantage that occlusion phenomenon occurs due to the characteristics of LiDAR sensor. In order to solve this problem, Density-Based Spatial Clustering of Applications with Noise(DBSCAN) and Adaptive Breakpoint Detector(ABD) are mixed and objectified using variable distance condition. The extracted object data extracts 12 features through data mining and classifies vehicles and pedestrians by applying classification algorithms such as Linear Discriminant Analysis(LDA) technique and Support Vector Machine(SVM) technique which are one of the machine learning techniques. Classified vehicles and pedestrians applied the Kalman filter based tracking method and managed the target through the track manager to improve the reliability of the state estimation. In this paper, in order to improve the perception technology of the surroundings, off-line simulation is performed in five scenarios by applying the machine learning method to the vehicle LiDAR sensor and the algorithm performance is verified.

차량주행정보 및 주행환경정보를 활용한 자율주행자동차의 디지털 지역 지도 작성 및 자차위치인식 기법 개발

오재석 國民大學校 2016 국내박사

본 논문에서는 자율주행자동차 및 지능형자동차의 지역지도 작성 기법을 제시하였다. 그리고 작성 된 지역지도와 차량의 주행정보를 활용한 자차위치 인식 기법을 개발하였다. 위와 같은 기법 개발의 목적은 최근 첨단 자동차 및 고 안전 자동차의 개발과 궁극적인 자율주행자동차의 필요성이 요구됨에 따라, 자율주행에 필요한 차량의 위치 인식 및 자율주행에 필요한 도로 인프라 정보와 주행 환경 정보를 포함한 고 정밀 디지털 지도의 필요성이 증가하였다. 기존의 디지털 지도의 작성 기법은 운전자의 편의 및 제한 속도와 같은 도로상의 간접적 주행 정보를 포함하는 위주의 위상 지도 기반 작성 기법이 개발 되었다. 또한 지능형 시스템의 자율주행을 위하여 주로 RDDF(Route Data Definition File)와 MDF(Mission definition File) 같은 형식의 주행 경로 위치 정보와 주행 명령을 포함한 문자 기반의 지도를 작정하는 기법이 주로 활용되었다. 하지만 자율주행자동차가 실제 도로를 주행하기 위해서는 고 정밀의 자차 위치 정보가 필요하며, 주행 중인 도로 환경의 주행 제한 속도 및 차선의 위치 정보, 그리고 횡단보도와 같은 인프라의 높은 정밀도를 포함한 다양한 정보가 필요하다. 따라서 기존의 디지털 지도보다 정밀하고 주행에 필요한 다양한 정보를 포함한 지도를 작성하기 위하여, 3DOF LiDAR 센서를 활용하였다. 그리고 수집된 정보를 분석하여 주행 도로와 도로 환경에 포함된 다양한 인프라 정보 및 자율주행차량이 주행하기 위한 경로 정보를 지도에 포함하기 위한 기법을 개발하였다. 그리고 제안한 지형 분류 기법과 디지털 지도 작성 기법을 통하여 실시간으로 생성되는 LDM(Local Dynamic Map)과 차량에 장착된 거동 센서에서 획득되는 주행 정보를 융합한 형태의 자차위치인식 시스템을 제안 하였다. 제안한 기법은 자차위치인식의 정확성을 높이기 위하여 주행중인 차량의 거동정보 및 3DOF LiDAR센서에서 획득한 주행 환경 정보를 활용하여 EKF(Extended Kalman Filter)를 설계하고, 차량의 위치 정보를 추정 함으로써 자율주행자동차 자차위치인식 성능을 높이는 기법을 개발하였다. 주제어 자율주행자동차, 동적지역지도, 자차위치인식, 지형분류 In the paper, a method of local dynamic map building and localization for autonomous vehicles and intelligent vehicles is presented. The purpose of these techniques depends on the needs of recent advanced cars, and the development of highly safe vehicles and ultimate autonomous vehicles are required. By recognizing the positioning required for autonomous vehicles and the need for high-accuracy digital maps, including environmental information and the roadway infrastructure, the information required for autonomous driving has increased. The purpose of established digital maps and topological-map-based preparation techniques that contain indirect travel information-oriented on the same road as the speed limits and convenient of the driver have been developed. However, high-accuracy vehicle-position information is required in order to drive an autonomous vehicle operating on an actual road, such as the position within the traffic lane and the speed limit. Further, a range of information about infrastructures such as crosswalks is required. Therefore, 3DOF LiDAR sensors were utilized in order to create a map that is more precise than existing digital maps and contains various information necessary for driving. After analyzing the measured information containing various infrastructures such as the road being traveled and the road environment, we developed a technique for storing the route information to the autonomous vehicle running. This information is generated in real time by the proposed classification method and a digital terrain mapping technique called LDM (Local Dynamic Map), and a deviation positioning system that combines the traveling information obtained from the motion sensor mounted to a vehicle is proposed. The proposed method utilizes the running environment information, the motion information of the sensor, and 3DOF LiDAR while driving to increase the accuracy of the positioning deviation design using an EKF (Extended Kaman Filter). Further, estimation of the position information of the autonomous vehicle and deviation positioning techniques were developed to improve the performance. Key Words Autonomous Vehicle, LDM, Localization, Terrain Classification

자동차 전용 도로 환경에서의 차선 검출과 Pure Pursuit 알고리즘을 이용한 차선 유지 시스템

허승회 국민대학교 자동차공학전문대학원 친인간지능형자동차전공 2018 국내석사

본 연구는 자동차 전용 도로에서 차선 검출 방법과 검출된 차선 정보를 이용하여 경로를 추종(차선 유지)하는 방법에 대해 제시하였다. 우선 카메라의 입력영상을 그레이 이미지로 변환하였다. 이후 역투영 변환을 사용하여 영상의 원근감을 제거하고 LDA(Line Difference Accumulation) 방법을 사용하여 일정한 두께를 가진 차선의 정보를 강화하였다. 다음으로, 좌우 차선의 위치를 확인하기 위해 허프변환(Hough Transform) 군집화(Clustering)를 하여 좌우 차선의 위치를 확인하였다. 또한, 차선 포인트 검출을 위해 템플릿 매칭 후에 분류된 차선 포인트를 RANSAC(Random Sample Consensus) 알고리즘을 사용하여 근사화(Line fitting)하였다. 상기 과정을 바탕으로, 차량의 속도에 따라서 목표점의 위치를 찾고 경로 추종에 사용하기 위해 좌표변환을 하였으며, 최종적으로 변환된 목표점을 이용하여 Pure Pursuit 방법에 적용 후 최종 조향각(Steering Angle)을 얻었다. 얻어진 조향각을 바탕으로 차선 유지 실험을 하였으며, 차량 OBDⅡ 에서 얻어진 조향각과 차선의 중심과 차량 중심과의 차이값(횡방향 거리 오차)을 측정하여 제시하였다. 그 결과, 기존의 차선 유지 및 경보 시스템이 차량 앞바퀴 혹은 차량 자체가 차선에 닿을 경우 경고와 함께 불연속적인 횡 방향 제어를 하는 방식과 달리, 제안하는 시스템은 차로 중앙 부근을 지속적이며, 안정적으로 유지할 수 있도록 해주고 자율주행 차량에서도 적용 가능함을 확인하였다. This study demonstrates how to detect lanes on automobile road and to track (keep the lanes) the lane using detected lane information. First, I converted the input image of the camera into a gray image. Then, by using the Inverse Perspective Mapping, the perspective of the image was removed and the information of the lane with the constant thickness was strengthened by using the LDA (Line Difference Accumulation) method. Next, the position of the left and right lanes was confirmed by hough transformation clustering to identify the position of the left and right lane. In addition, to detect lane points, the lane points classified after template matching were approximated using the RANSAC(Random Sample Consensus) algorithm. Based on the above procedure, coordinate transformation was performed to find the position of the target point according to the speed of the vehicle and to use it for tracking the path. Finally, the final steering angle was obtained by applying the Pursuit method using the converted target point. The lane keeping test was performed based on the obtained steering angle, and the steering angle obtained from the vehicle OBD II and the difference (lateral distance error) between the center of the lane and the center of the vehicle was measured and presented. As a result, unlike the existing lane keeping and warning system, where the front wheel of the vehicle or the vehicle itself touches the lane, the proposed system enables to keep the center of lane continuously and stably, and it is confirmed that it is applicable to autonomous vehicles.

도심지 자율주행을 위한 전방 이동객체 인지 알고리즘

라주혁 국민대학교 자동차공학전문대학원 친인간지능형자동차전공 2018 국내석사

최근 자동차와 IT의 융합으로 인한 스마트 카의 발전이 가속화되고 있으며, 이는 자율주행 자동차의 기술 발전으로 이어지고 있다. 자율주행 자동차는 기존의 운전자가 수행하던 인지, 판단, 제어의 3단계 프로세스를 자동차 스스로 수행해야 되기 때문에 각 부분별 융합 알고리즘의 필요성이 증대되었다. 특히, 사람의 눈을 대신할 센서 인지 기술 개발의 발전은 자율주행 자동차의 상용화를 위해 가장 선행되어야할 연구 주제라고 할 수 있다. 2016년 5월에 발생한 테슬라 모델 S의 운전자 사망 사고는 단일 센서의 인지 실패가 발생했을 때, 치명적인 사고로 이어질 수 있다는 점을 인식시켰고, 이를 위한 강인한 센서 융합 알고리즘이 필요하다. 따라서 본 논문에서는 단일 2D라이다와 모노카메라를 통해 취득한 인지 정보를 기반으로 차량 전방의 이동 객체를 인지하는 알고리즘을 구성하였다. 단일 2D라이다를 이용한 알고리즘에서는 전방의 객체를 깊이 기반으로 군집화 하는 방식으로 각 객체를 분류하였으며, 모노카메라를 이용한 알고리즘에서는 객체 인지의 정확도를 높이고 실시간성을 높이기 위해 딥러닝 모델을 활용하여 객체인지를 수행하였다. 이를 통해 도심지 자율주행에서 정확하고 실시간으로 객체의 분류를 수행하며, 판단 및 제어를 위한 정보를 제공하는 방법을 제공한다. 하지만, 카메라는 날씨에 민감하다는 단점이 존재하며, 2D 라이다는 객체를 형태학적으로 분류하기 어렵다는 단점을 가지고 있다. 이러한 단점을 보완하기 위해 각 좌표계를 월드 좌표계 기반으로 통합하는 과정에 대해 설명한다.또한, 통합된 좌표계를 기반으로 각 센서의 인지 결과를 융합하는 방법으로 오인지를 줄이고 객체 정보의 융합을 수행하는 인지 시스템에 대해 설명한다. 위와 같은 자율주행 자동차의 인지 알고리즘은 실차환경에서 취득한 로깅데이터를 기반으로 검증하였으며, 도로 상황에서 나타날 수 있는 이동객체 중 보행자와 차량에 대해 알고리즘의 검증을 수행하였다. Recently, the development of smart cars due to the convergence of car and IT is accelerating, leading to technological development of autonomous vehicles. The autonomous driving car needs to carry out the three step process of recognition, judgment, and control that the existing driver carries out by itself, so the need for convergence algorithm of each part has increased. Especially, the development of sensor technology development that can replace human eyes is the most prior research topic for commercialization of autonomous vehicles. The driver deaths of Tesla Model S, which occurred in May 2016, recognized that a single sensor could lead to catastrophic failure in the event of a cognitive failure, and a robust sensor fusion algorithm is needed for this. Therefore, in this paper, we constructed an algorithm to recognize moving objects in front of the vehicle based on cognitive information obtained through a single 2D LiDAR and a mono camera. In the algorithm using a single 2D LiDAR, each object is classified by the method of clustering the objects in front of the depth, and in the algorithm using the mono camera, the depth learning model is used to increase the accuracy of the object recognition and enhance the real- Respectively. It provides accurate and real-time classification of objects in autonomous urban driving, and provides information for judgment and control. However, there is a disadvantage that the camera is sensitive to the weather, and the 2D LiDAR has a disadvantage that it is difficult to classify the object morphologically. To overcome these shortcomings, we describe the process of integrating each coordinate system based on the world coordinate system. In addition, based on the integrated coordinate system, the recognition result of each sensor is fused to improve the reliability of the front object and the recognition system that compensates the shortcomings of each sensor is explained. The recognition algorithm of the above autonomous vehicle is verified based on the logging data obtained in the real vehicle environment, and the algorithm for recognizing the vehicle and pedestrian is verified.

지능형 차량에서의 운전 모드 혼동에 관한 연구

안대룡 國民大學敎 自動車工學專門大學院 2014 국내석사

첨단 전자 제어 시스템의 발달로 높은 자동화 시스템이 운전자를 지원하기 위해 차량에 탑재되고 있다. 자동차는 단순히 이동수단이라는 의미가 퇴색되고 운전자에게 편의와 안전을 제공하는 친인간 지능형 자동차로 진화하였다. 하지만 높은 자동화 시스템의 알고리즘, 모드 등을 운전자가 모두 이해하기 어렵기 때문에 운전자에게 시스템의 모드를 혼동 없이 직관적이고 쉽게 이해할 수 있는 운전자 전용 인터페이스의 개발이 필수적이다. 본 연구에서는 대표적인 운전자 지원 시스템인 적응 순항 제어(ACC)장치와 차선보조유지(LKA)장치를 갖춘 자동 운전 시스템의 사용자 인터페이스를 설계하고 정형 분석(formal analysis)기법을 이용하여 시스템을 분석하고 인터페이스와 그 정보 내용이 정확하고 간결한지 검증하였다. 또한 운전 시뮬레이터 상에 ACC와 LKA기능 및 운전자 인터페이스를 구현하고 가상의 도로 환경에서 피실험자가 가상의 차량을 운전하면서 보드 혼동 발생에 대한 실험적인 검증을 실시하였다. 초기 설계안은 현대 자동차의 인터페이스를 모방하여 실험 결과 정형 분석 기법을 통한 인터페이스 검증에서는 정확하고 간결한 인터페이스 모델이라는 판정이 나왔지만 인터페이스 구현상에 명확하지 않은 디자인을 적용함으로써 실험에서 피실험자가 모드에 혼동을 느낀 것을 확인하였다. 혼란을 준 인터페이스 디자인을 보다 명확하게 변경함으로써 모드 혼동을 제거하도록 하였다. 본 연구를 통하여 사용자모델의 정확성과 간결성 외에 인터페이스 디자인시 시스템 모드를 정확히 표현해줄 수 있는 단어나 그림의 선택이 모드 혼동에 크게 영향을 끼친다는 사실을 확인하였다.

교차로 사각지대의 안전자율주행 확보를 위한 V2I 기반의 충돌 방지 강화 알고리즘 연구

SANGYONG HAN 국민대학교 자동차공학전문대학원 2023 국내박사

본 연구는 교차로 사각지대의 자율주행 중 발생하는 사고를 방지하고 자동차와 운전자 그리고 주변 보행자의 안전성 확보를 목표로 진행하였다. 카메라와 LiDAR 를 이용한 2 종류의 Sensor Fusion 으로 자동차 운행 시 필요로 하는 객체들을 안정적으로 정확하게 검출하고, 주행 중 운전자 및 주행 자동차의 센서가 주행 경로 상 주변의 객체를 인지하지 못하는 구간 등의 사각지대에서 충돌상황을 예측하여 Infrastructure 와 V2I 기반의 차량 정지 또는 위험 신호 송수신을 통해 connected car 를 구현하여 사고를 미연에 방지하는 시스템으로 이를 실시간 으로 보장할 수 있는 Reinforced Anti-Collision Safety Algorithm (RACSA)을 제안하고 이를 검증하기 위해 자율주행 자동차 및 비 자율주행 자동차의 실차 실험을 통한 사고방지 신호 생성 시스템을 개발하는 연구를 진행하였다. 본 연구에서는 자율주행 자동차가 주행중에 장애물을 인지하지 못하여 사고가 발생할 수 있는 사각지대에의 Infrastructure 에 LiDAR 와 단안 카메라를 설치하여 돌발상황을 사전에 인지하여 RACSA 를 통해 획득된 주행 관련 신호를 주변의 자동차에 송신 하여 미연에 사고를 예방하는 V2I 기반의 충돌 방지 시스템을 구현하였다. 자동차의 주행 중, 주변의 검출하고자 하는 목적 객체는 자동차, 이륜차 및 보행자로 선정하였다. RACSA 에서 Multiple Object Detection & Tracking 과정은 카메라를 이용한 객체 검출 및 분류 알고리즘으로 딥러닝 기반의 Multiple Object Detector 인 YOLOv4 와 검출된 목적 객체의 진행 거동을 추적하기 위해 LiDAR 를 이용한 Object Tracker 인 IMM-UKF-JPDAF 를 사용하였다. 교차로에 진입하는 물체를 단안카메라가 인식하고 LiDAR 센서와의 Sensor Fusion 을 통해 목적 객체의 고유 특성 파라메터를 고려하여 위험도를 분류하여 사고유발 가능 우선순위를 부여한 후 충돌 예상 시간과 제동 거리에 대한 위험 상황 별 예상 제동 거리 및 제동 시간을 구하고, 경고 또는 정지 신호를 생성한 후 대상 자동차에게 해당 신호를 송신하여 각 신호에 일치하는 제어를 통해 사고를 방지한다. 본 논문에서는 교차로 자율주행 중 인지 범위 밖의 사각지대 에서 발생하는 교통사고를 방지하고자 V2I 기반의 Reinforced Anti-Collision Safety Algorithm 를 제안하고, 자율주행 자동차뿐만 아니라 非자율주행 자동차에서도 본 알고리즘을 적용하여 안전 주행 확보가 가능한 시나리오 별 사각지대에서 실차 주행실험을 통해 검증하였다. This study was aimed at preventing accidents occurring in the blind spots of intersections while driving autonomously and securing the safety of vehicles, passengers, and nearby pedestrians. To reliably and accurately detect the surrounding objects while driving a vehicle, two types of sensor fusion using a camera and a laser scanner were used. The scenarios where the driver and sensors installed on the driving vehicle do not recognize objects on the path while driving were considered. A reinforced anti-collision safety algorithm (RACSA) that can prevent accidents in advance through infrastructure and I2V-based signal transmission and reception in blind spots in real time was proposed. The RACSA was verified through actual vehicle experiments. Existing advanced driver-assistance system and autonomous vehicles detect nearby obstacles encountered while driving using a fusion of different types of sensors or sensor fusion algorithm. This algorithm combines cameras, radar, and light detection and ranging (LiDAR) as object recognition sensors. However, in the unexpected environment encountered while driving or in situations in which obstacles appear unexpectedly, accidents may occur while autonomously driving. To improve that, in this study, LiDAR and monocular camera were installed in the infrastructure of the vehicle-driving environment prone to many unexpected situations. The driving-related signals were acquired through the RACSA by recognizing the accident in advance. An I2V-based collision avoidance system was implemented to prevent accidents in advance by issuing the signals to nearby vehicles. While driving, the target objects to be detected around were selected as vehicles (passenger cars, trucks, and buses), two-wheeled vehicles, and pedestrians. In the RACSA, the Multiple Object Detection & Tracking process is implemented as follows. First, YOLOv4, a deep learning- based multiple object detector, is used to detect and classify objects in the camera image. Once the objects are detected, the IMM-UKF-JPDAF, an object tracker using LiDAR, is used to track their trajectories. A camera detects objects entering an intersection. A camera is used to detect objects entering an intersection. The severity of the object is then classified by considering its unique characteristic parameters through sensor fusion with a LiDAR sensor. This classification is used to assign a priority for potential collision. The expected braking distance and braking time are then calculated for each dangerous situation based on the predicted collision time and braking distance. A warning or stop signal is then generated and transmitted to the target vehicle. The vehicle is controlled in accordance with the signal to prevent the accident. This paper proposes an I2V-based RACSA to prevent traffic accidents that occur in blind spots outside the cognitive range in autonomous driving. For verification, RACSA was applied to autonomous and non-autonomous vehicles through actual vehicle driving experiments in blind spots for each scenario to secure safe driving.