Object Detection by Matching Data Representation of LiDAR and Camera

강동완 국민대학교 자동차공학전문대학원 2022 국내박사

This study proposes a method of achieving object detection and classification performance stability of the recognition system of autonomous vehicles through a DNN, deep learning, and sensor fusion. The recognition system in autonomous driving consists of environment RADAR, Camera, LiDAR, and an ultrasonic sensor. Sensor fusion can overcome the limitations of the sensors while reducing uncertainty. Fusion between the same types of sensors is generally used to secure data by expanding the measurement area of the sensor. Convergence between the same types is possible because the characteristics of the data are the same. Sensor fusion between different types requires the fusion of data of different characteristics to determine the connection point between them. For a camera and LiDAR, the three-dimensional data of LiDAR are fused to the two-dimensional camera data. Because sensor data are of different dimensions, ambiguity and errors in the fusion results are generated. Research is required to solve this problem of fusion that occurs due to dimension reduction in the fusion between different types of sensors. This study constructed a system with an independent late fusion method with sensor detection results to solve the above-mentioned problem. A method of object fusion through dimension matching using semantic segmentation information of a camera and LiDAR was developed. The camera system consists of two networks. A network for estimating depth was used for Pseudo-LiDAR. This study used the stereo method. Pseudo-LiDAR was implemented using the estimated depth and extrinsic parameters, which can be determined through the correlation of LiDAR with respect to a camera. Object classification of a camera can be distinguished into object detection and semantic segmentation. In this study, objects were classified using DeepLabV3+, which is a semantic segmentation network. Three-dimensional object detection and classification information are provided through the two networks. A system based on LiDAR uses a single network for object detection and classification. A DeepLabV3+ network from a previous study was modified to be appropriate for LiDAR data to be used in this study. The system provides object detection and classification data for LiDAR data. From the inference results of semantic segmentation of LiDAR and depth from images obtained using a camera, instance segmentation was inferred to access instances of objects for which a method to demarcate objects’boundaries is proposed. The sensor fusion method uses a late fusion method that fuses independent results of each system. The sensors are fused by comparing the area of the detected object through a Bird's Eye view representation. This paper proposes a method of integrating data collected from sensors with different dimensions, and the system was verified using the KITTI dataset, which is an open dataset. 본 논문에서는 DNN, Deep Learning과 센서 융합을 통한 자율주행 자동차의 인지 시스템의 객체 검출 및 분류 성능 안정성 확보를 위한 방법을 제안한다. 자율주행에서 인지 시스템은 Radio RADAR, Camera, LiDAR, UltraSonic 같은 환경인지 센서로 구성된다. 센서 융합은 각 센서들의 한계를 극복하고 센서의 불확실성을 줄일 수 있다. 센서의 융합은 동종 간의 융합과 이종 간의 융합으로 볼 수 있다. 동종간의 센서 융합은 일반적으로 센서의 측정 영역을 확대하여 데이터를 확보하기 위해 사용된다. 같은 종류간의 융합은 데이터의 특성이 같음으로 직관적인 융합이 가능하다. 다른 종류간의 센서 융합은 다른 특성의 데이터의 융합으로 센서간의 연결점을 찾아야 한다. 일반적인 다른 종류간의 센서 융합은 좌표계 통일을 통해 데이터를 융합한다. Camera와 LiDAR의 경우 LiDAR의 3차원의 데이터를 2차원의 Camera 데이터로 차원을 낮추어 융합한다. 차원이 다른 센서 데이터로 인해 융합 결과에 대한 모호성과 오차를 발생시킨다. 다른 종류간의 센서 융합에서 차원의 축소로 발생하는 융합의 문제점을 해결하기 위한 연구가 필요로 하다. 본 논문의 시스템은 위 언급한 문제점을 해결하기 위해서 센서의 검출 결과가 독립적인 Late Fusion 방법으로 시스템을 구성하고 Camera와 LiDAR의 Semantic Segmentation 정보를 사용한 차원 일치를 통한 객체 융합 방법을 제안한다. 논문은 세부적으로 Camera를 통한 Pseudo LiDAR 와 객체 검출 및 분류 시스템 , LiDAR를 통한 객체 검출 및 분류 시스템, 데이터 융합시스템으로 구성되어 있다. Camera를 이용한 시스템의 경우 두 개의 Network로 구성되어 있다. Pseudo LiDAR를 위해 Depth를 추종하는 Network를 이용하였다. 논문에서는 Stereo 방식을 사용하였다. 추종한 Depth와 Extrinsic Parameters를 이용하여 Pseudo LiDAR를 구현하였다. Extrinsic Parameters는 Camera를 기준으로 LiDAR의 상관관계를 통해 알 수 있다. Camera의 객체 분류는 Object Detection과 Semantic Segmentation으로 나눌 수 있다. 논문에서는 Semantic Segmentation Network인 DeepLabV3+를 사용하여 객체를 분류하였다. 두 Network를 통해 3차원의 객체 검출 및 분류 정보를 시스템에 제공한다. LiDAR를 이용한 시스템의 경우 단일 Network를 이용한 객체를 검출 및 분류를 진행한다. 사용된 Network는 이전 연구인 DeepLabV3+를 LiDAR 데이터에 맞춰 수정한 Network를 사용하였다. 시스템은 LiDAR 데이터의 객체 검출 및 분류 데이터를 시스템에 제공한다. 센서를 융합하는 방법은 각 시스템의 독립적인 결과를 융합하는 Late Fusion 방식을 사용한다. Bird’s Eye view 표현을 통해 검출된 객체의 영역을 비교하여 센서를 융합한다. 높은 수준의 환경이해를 위해 LiDAR와 Camera의 Depth 정보와 Semantic Segmentation 정보를 활용하여 객체의 경계를 구별하고 Instance Segmentation을 추론하는 방법을 제안하였다. 본 논문에서는 차원이 다른 센서를 같은 차원에서 데이터를 융합하는 방법을 제안하고 OpenDataSet인 KittiDataSet을 이용하여 시스템을 검증한다.

3D 라이다 센서 기반 자율주행 자동차 환경 인식을 위한 딥러닝 시맨틱 분할 성능 개선 연구

서동채 국민대학교 자동차공학전문대학원 2022 국내석사

This paper is a 3D line This is a study on the improvement of point cloud semantic segmentation performance for environmental recognition of sensor-based autonomous vehicles. Environmental awareness is the most important thing for self-driving cars to drive safely on the road. This is because self-driving cars are used as a measure to know the areas where they can avoid obstacles and those that do not. There are three typical sensors used for environmental recognition: a camera, a lidar, and a radar. I'm the liar among them all Sensors have low resolution, which is the standard for the ability to distinguish objects, but their strength is the ability to estimate the distance of objects accurately. It is also an advantage that it is not greatly affected by bad weather. Based on this, research on object classification and tracking is being actively conducted. Rule-based object classification algorithms require a long computational time even if they do not accurately recognize an object or succeed in recognition. Recently, however, neural network models with accurate object classification performance and short computational time have been studied in several ways using deep learning. Accordingly, it is a 3D line with high distance accuracy and recognition performance for effective environmental recognition and fast and accurate information delivery to the control stage It is intended to verify the contents of performance improvement by implementing a sensor-based point cloud semantic segmentation technique and proposing a new data augmentation technique. Neural networks for deep learning have been first developed with an Artificial Neural Network (ANN), modeled after neurons that exist inside the body to transmit signals, and have raised the possibility of learning models through neural network theory. ANN alone was not able to effectively learn data that existed in various forms of the world, and then Convolutional Neural Network (CNN) was developed, which was advantageous for image learning, and Recurrent Neural Network (RNN) which had advantages in time series data learning. Using this, deep learning-based neural network model learning methods have been steadily studied, developing into various models. In particular, it has contributed greatly to improving sensor data processing performance for autonomous vehicles. Among the various methods performed for environmental recognition of autonomous vehicles, semantic segmentation mainly classifies which class each pixel value of the image corresponds to. In the early days of the study, there were many contents to classify classes on 2D images, but recently, research on classifying classes for each point on the 3D lidar point cloud is actively underway. Deep learning based 3D lidar Semantic segmentation using sensor measurements performs object classification and recognition using neural network models that show excellent performance in processing lidar sensor data such as PointNet and RangeNet++. To this end, the design of the underlying neural network model is important, but the composition and quantity of datasets for learning the model are also important. The larger the amount of datasets, the more can contribute to the increase in learning accuracy, and quality-labeled datasets are an essential element of model learning for good results. Typical datasets used for learning include KITTI datasets, Waymo and NuScenes. The mentioned datasets have advantages of multiple classes and rich data labeling in common. Model construction uses a Cylinder3D neural network model based on CNN, which has strengths in image recognition. Different from the existing content, CNN for image recognition has been used for 2D data recognition, but the LIDAR sensor data is three-dimensional data, so neural network models are constructed using 3D CNNs to learn it. In this paper, we try to describe the aforementioned research on implementation of deep learning-based 3D lidar sensor data semantic segmentation neural network model and performance improvement. As a way to improve performance, it was intended to increase performance through data augmentation of input data. Through this, it is intended to verify how much the performance has improved compared to the results derived from the existing model. 본 논문은 3D 라이다 센서 기반 자율주행 자동차의 환경인식을 위한 포인트 클라우드 시맨틱 분할 성능 개선에 관한 연구이다. 자율주행 자동차가 도로 위에서 안전하게 주행하기 위해서는 환경 인식이 가장 중요하다. 자율주행 자동차가 장애물을 피해 진행할 수 있는 영역과 그렇지 않은 영역을 알 수 있는 척도로 사용되기 때문이다. 환경 인식에 사용되는 센서는 대표적으로 3가지가 있는데 카메라와 라이다, 레이더가 있다. 이 중 라이다 센서는 물체를 구분할 수 있는 능력의 기준이 되는 해상도가 낮지만 정확한 물체의 거리 추정능력이 강점이다. 또한 궂은 날씨에도 큰 영향을 받지 않는 것도 장점이다. 이를 바탕으로 물체 구분과 추적에 관한 연구가 활발히 이루어지고 있다. 규칙 기반 물체 분류 알고리즘들은 물체를 정확히 인식하지 못하는 경우가 생기거나 인식에 성공하여도 오랜 연산시간이 필요하다. 그러나 최근 딥러닝을 활용한 여러 방법으로 정확한 물체 분류 성능과 짧은 연산시간을 갖는 신경망 모델들이 연구되고 있다. 이에 효과적인 환경 인식과 제어단에 빠르고 정확한 정보 전달을 위해 높은 거리 정확도와 인식 성능을 가지는 3D 라이다 센서 기반 포인트 클라우드 시맨틱 분할 기법 구현과 새로운 데이터 증강 기법을 제안해 성능개선에 대한 내용을 검증하고자 한다. 딥러닝 학습을 위한 신경망에는 인간이 신체 내부에서 신호를 전달하기 위해 존재하는 뉴런을 본따 만든 Artificial Neural Network(ANN)가 최초로 개발되었으며 신경망 이론을 통해 모델을 학습할 수 있는 가능성을 키워왔다. ANN만으로는 세상의 여러 형태로 존재하는 데이터들을 효과적으로 학습시킬 수 없었고 이후 이미지 학습에 유리한 Convolutional Neural Network(CNN)와 시계열 데이터 학습에 장점을 갖는 Recurrent Neural Network(RNN)가 개발되었다. 이를 활용하여 딥러닝 기반 신경망 모델 학습 방법들은 여러가지 모델들로 발전되어가며 꾸준히 연구되어 왔다. 특히 자율주행 자동차를 위한 센서 데이터 처리 성능 개선에 큰 기여를 했다. 자율주행 자동차의 환경인식을 위해 수행하는 여러 방법 중 시맨틱 분할은 이미지의 각 픽셀 값이 어느 클래스에 해당하는지 분류하는 작업을 주로 한다. 연구 초기에는 주로 2D 이미지 상에서 클래스를 분류하는 내용이 많았으나 최근 3D 라이다 포인트 클라우드 상에서 각 포인트마다 클래스를 분류하는 연구가 활발히 진행중이다. 딥러닝 기반 3D 라이다 센서 측정치를 이용한 시맨틱 분할에서는 PointNet, RangeNet++과 같은 라이다 센서 데이터 처리에 뛰어난 성능을 보이는 신경망 모델을 이용하여 물체 분류와 인식을 수행한다. 이를 위해선 기반 신경망 모델 설계도 중요하지만, 모델을 학습하기 위한 데이터셋의 구성과 양도 중요하다. 데이터셋의 양은 많으면 많을수록 학습 정확도 상승에 기여할 수 있으며 양질의 라벨링이 된 데이터셋은 좋은 결과를 내기 위한 모델 학습의 필수요소이다. 학습에 사용되는 데이터셋은 대표적으로 KITTI 데이터셋과 Waymo, NuScenes 등이 있다. 언급된 데이터셋들은 공통적으로 여러 클래스와 풍부한 데이터 라벨링이 장점이다. 모델 구성에는 이미지 인식에 강점을 갖는 CNN을 기반으로 하는 Cylinder3D 신경망 모델을 사용하였다. 기존 내용과 다른 부분은 이미지 인식을 위한 CNN은 2D 데이터 인식에 이용되어 왔지만 라이다 센서 데이터는 3차원 데이터이므로 이를 학습하기 위한 3D CNN를 이용하여 신경망 모델이 구성되어있다. 본 논문에서는 앞서 언급된 딥러닝 기반 3D 라이다 센서 데이터 시맨틱 분할 신경망 모델 구현과 성능 개선에 관한 연구 내용을 기술하려 한다. 성능 개선을 위한 방안으로는 입력 데이터의 데이터 증강 통해 성능을 높이고자 하였다. 이를 통해 기존의 모델에서 도출됐던 결과와 비교하여 성능이 어느정도 개선되었는지에 대해 검증하고자 한다.

SOTIF 관점의 기능안전 활동 분석 및 전방 충돌방지 보조 시스템 기능적 개선에 관한 연구

강태완 국민대학교 자동차공학전문대학원 2019 국내박사

Recently, the plans which are a production of automotive vehicles have been announced that develop around the year 2020. Accordingly, the number and complexity of elements such as a sensor for recognizing the self-position and the surrounding environment, a controller for determining the path according to the situation, an actuator for performing acceleration/ deceleration and steering, are increasing. Therefore, the safety of the vehicle cannot be guaranteed at the existing evaluation level, so that there is a great increase in interest and demand for Functional Safety. In order to solve these problems, "ISO 26262 - Road Vehicle - Functional Safety" legislated in 2011, and the automotive industry is developing products by applying its process. ISO 26262 standard is a concept that must be applied to autonomous driving by preventing failures due to system and element faults. The objective of the ISO 26262 standard is to conduct a safety analysis and then to improve the functional safety and reliability by using the fault-tolerant design. However, as the autonomous driving level gradually increases, there are opinions that the development of autonomous level 3 or more is becoming a reality, and that the control responsibilities of system are all dealt with the vehicles even dangerous situations. For example, when the camera sensor performance limitations because of light, the radar sensor may help the autonomous system to work properly. In addition, there is a shortage of the driver's adaptation of autonomous system, which causes the driver to distrust of the system and operate erroneously. As a result, this is a big challenge for the automotive industry. To solve this problem, automotive manufacturers and suppliers have proposed a new Functional Safety standard called "ISO / PAS 21448 - SOTIF - Safety of the Intended Functionality" which is currently discussing details. Therefore, it is necessary to study the safety mechanisms to prevent the system's hazardous behavior that may occur due to limitations in the system. Therefore, this paper will discuss SOTIF Functional Safety standards that address the functional safety uncertainty problems caused by performance limitations, operator mis-operation, and mistakes. First, we analyze the content of the SOTIF Functional Safety standard, and establish processes that are not yet clearly defined. Based on the process defined above, a study is conducted to derive the safety outputs of process for Forward Collision Avoidance Assist (FCA) system. Second, based on these outputs, we developed a Functional Modification technology to overcome and improve the performance limitation of FCA system from SOTIF point of view and analyze it in virtual simulation evaluation environment. 최근 자동차 선진국을 중심으로 2020년을 전후로 자율주행자동차 양산화 계획을 발표하면서 이와 함께 자율주행 기술이 적용된 전기/전자 시스템이 활발히 개발되어지고 있다. 이에 따라 자기위치 및 주변 환경을 인지하기 위한 센서, 상황 별 주행 판단을 수행할 제어기, 실제 가/감속 및 조향을 수행하기 위한 액추에이터와 같은 엘리먼트의 개수 그리고 복잡도가 증가하고 있다. 때문에 기존 신뢰성 평가 수준으로는 차량의 안전을 보장할 수 없어 기능안전에 대한 관심과 요구가 매우 증가하였다. 이러한 당면과제를 해결하기 위하여 2011년 “ISO 26262 - Road Vehicle - Functional Safety”가 등장하였고, 현재 자동차 업계에서는 이를 적용하여 제품을 개발하고 있다. ISO 26262 표준은 시스템 및 엘리먼트의 결함으로 인하여 발생하는 차량 및 시스템의 기능 안전성을 보장할 수 없게 되는 상황을 막기 위함으로써 자율주행 시대로 나아가는 데에 반드시 적용되어야하는 개념이다. 우선 대상 시스템을 선정하고 기능안전 관점의 개념 분석을 수행한 뒤 이를 토대로 결함 허용 설계 기법을 활용하여 기능 안전성 및 신뢰성을 향상시키는 것이 ISO 26262 표준의 목적이다. 그런데 자율주행 단계가 점차 높아짐에 따라 단계3 이상의 자율주행 차량 개발이 현실화돼가고 있는 현 시점에서 자동차의 제어 권한이 모두 자동차에 있는 상태에 발생하는 한계 상황들을 대응해야한다는 목소리가 등장하였다. 예를 들어 카메라 센서에 결함은 발생하지 않았으나 갑작스런 조도 변화 상황에서 인지 기능을 잃어버린다거나 무결한 레이더 센서에서 발생하는 클러터(Clutter) 현상 때문에 시스템에서 의도치 않은 가/감속을 수행한다던가 하는 엘리먼트 및 시스템의 성능 한계 시 대처에 대한 관심이 급격히 증가하였다. 또한 자율주행 시스템의 급격한 적용으로 운전자의 적응기가 부족하여 시스템에 대한 불신이 발생하고, 이로 인하여 운전자의 오조작이 발생하게 되는데, 이로 인한 시스템의 의도치 않은 위험 동작 또한 자율주행 단계가 높아짐에 따라 자동차 업계의 당면과제이다. 이를 해결하기 위하여 자동차 제조사 및 부품 공급사가 모여 “ISO/PAS 21448 – SOTIF - Safety Of The Intended Functionality”이라는 새로운 기능안전 표준을 제안하였고 현재 세부사항에 대한 논의를 진행하고 있다. 이렇듯 시스템 내 결함 및 고장 외 성능의 한계, 특히 인지 단계에서의 한계로 인하여 발생할 수 있는 시스템 오작동을 방지할 수 있는 안전 대책 연구가 필수적이라 할 수 있다. 따라서 본 논문에서는 최근 등장한 성능 한계와 운전자 오조작, 실수로 인하여 발생하는 기능안전성 미확보 문제를 다루는 SOTIF 기능안전 표준에 대해서 다룰 예정이다. 우선 생소한 개념인 SOTIF 기능안전 표준의 내용을 분석하고 아직 명확하게 정의되지 않은 프로세스를 분석, 정립하는 과정을 수행한다. 이렇게 정의한 프로세스를 토대로 전방 충돌방지 보조 시스템(FCA, Forward Collision Avoidance Assist)을 대상으로 하여 각 단계 별 안전 산출물을 도출하는 연구를 수행한다. 이러한 산출물을 토대로 SOTIF 관점에서 현재 전방 충돌방지 보조 시스템이 가지고 있는 성능 한계를 극복하고 개선하기 위한 기능 변경(Functional Modification) 기술을 개발하고, 이를 가상 시뮬레이션 평가 환경에서 평가함으로써 SOTIF 관점의 분석과 설계, 평가 등 일련의 과정을 다뤄보는 것이 본 연구의 핵심이다.

CNN 모델 기반 코스트 맵 구성을 통한 자율주행 충돌 회피 경로 계획 알고리즘 설계

서다연 국민대학교 자동차공학전문대학원 2022 국내석사

This paper is a study on the design and analysis of a collision avoidance-based path planning algorithm for an autonomous vehicle by obtaining a cost map over time using a CNN model. Autonomous driving technology can be largely divided into stages of Perception/Decision-Making/Control. In order for a car to drive itself, it must first identify and perceive the surrounding environment, such as structures and objects, through sensors. Then, after making a decision based on the information received from the sensor, the next route is planned, and this action is transmitted to the actual drive system and steering system to control the vehicle. Self-driving cars have a purpose as a role that allows drivers to move safely and conveniently, and accordingly, they must have the potential to reduce human errors. Therefore, self-driving cars must be able to safely and efficiently drive from a set starting point to a destination by referring to other factors such as environmental variables. Path planning is an algorithm that seeks to find the optimal path by evaluating possible paths and making decisions by appropriately integrating sensor information obtained in the recognition phase to achieve this goal. A path planning method using a neural network not only eliminates the need for a global path by extracting features of the surrounding environment, but also can respond robustly to dynamic obstacles. In addition, there is an advantage that the system parameters can be automatically adjusted and performance improved through learning from the configured model, and through this, the system can be made more robust. In the design of the neural network model, it is necessary to consider which dataset to select for model learning, and the nuScenes dataset consisting of city-based driving data was used. For the construction of the neural network model, the Pytorch framework and a CNN model useful for image analysis and finding patterns were used. means However, since the cost map does not have a true value as a result of learning, it is difficult to determine whether the corresponding cost map is reasonable. To this end, a grid map containing object and free space information for a specific scene was created and added as an additional penalty value to the result value after learning. Accordingly, it was possible to create a cost map considering objects and spatial information around the vehicle. The total cost of each candidate trajectory is calculated through the cost map, and the trajectory with the lowest total cost is selected as the final candidate trajectory, that is, the design trajectory. The selected candidate trajectory goes through comparison with the true value and whether or not it collides with an object. If there is no possibility of collision, it is used as the local reference path of the host vehicle, and a path 3 seconds later is planned based on one sample. In this paper, we constructed three deep learning models that extract cost maps using LiDAR sensor information identified in the recognition stage of autonomous vehicles. The first neural network model is a vanilla model that learns using only the Euclidean distance as a margin value that compares the true value trajectory and the candidate trajectory. The second is an Object-Guided model in which the object's bounding box data among the environment information is additionally added to the vanilla model, and the third is the Freespace-Guided model in which the free space information among the environment information is additionally added to the vanilla model. When the neural network learning was completed after model construction, a cost map was output, and through this, the design trajectory of the future 7 frames according to each model was obtained. To analyze the results, the results of each model were analyzed and compared through two evaluation indices, euclidean distance and collision rate. Among these three models, the difference between the euclidean distance between the planned trajectory and the ground-truth trajectory of the vanilla model was the smallest, but the collision rate was the highest among the three models. The Object-Guided model including the object’s bounding box information reduced the collision rate by about 40.8$\%$ compared to the Vanilla model, and the collision rate of the Freespace-Guided model including the free space information decreased by about 43.1$\%$ compared to the Vanilla model. 본 논문은 CNN 모델을 활용하여 시간에 따른 코스트 맵을 구하고, 이를 활용해 자율주행 자동차의 충돌 회피 기반 경로 계획 알고리즘 설계 및 분석에 관한 연구이다. 자율주행 기술은 크게 인지/판단/제어의 단계로 나눌 수 있다. 자동차가 스스로 운행하기 위해서는 우선 센서를 통해 구조물, 객체 등의 주변 환경을 파악하고 인지해야 한다. 그 후 센서로부터 받아들인 정보를 바탕으로 판단을 내린 후 다음 경로를 계획하게 되며, 이 행동을 실제 구동계와 조향계에게 명령을 전달해 차량을 제어하게 된다. 자율주행 자동차는 운전자를 안전하고 편리하게 이동하게 해주는 역할로서의 목적을 가지고 있으며, 이에 따라 휴먼 에러(human error)을 줄일 수 있는 잠재력을 가지고 있어야 한다. 그러므로 자율주행 자동차는 환경 변수 등과 같은 기타 요인을 참고하여 설정된 출발지에서부터 목적지까지 안전하고 효율적으로 주행할 수 있어야 한다. 경로 계획은 이러한 목적을 달성하기 위해 인지 단계에서 얻은 센서 정보를 적절히 통합하여 가능한 경로를 평가하고 결정을 내려 최적의 경로를 찾아내고자 하는 알고리즘이다. 신경망을 이용한 경로 계획 방식은 주변 환경에 대해 특징을 추출함으로서 전역 경로의 필요성이 없어질 뿐만 아니라 동적인 장애물에도 강인하게 반응할 수 있다. 또한 구성한 모델에서의 학습을 통해 시스템의 매개 변수를 자동으로 조절하며 성능을 향상시키고, 이를 통해 시스템을 더욱 견고하게 만들 수 있다는 장점이 존재한다. 신경망 모델의 설계에 있어서 모델의 학습을 위해 어떤 데이터셋을 선정할지 고려하는 과정이 필요하며, 도심지 기반 주행 데이터로 이루어진 nuScenes 데이터셋을 사용했다. 신경망 모델 구성을 위해 Pytorch 프레임워크와 이미지 분석 및 패턴을 찾는 데 유용한 CNN 모델을 사용했으며 구성된 모델을 통해 학습 결과로 나오는 코스트 맵은 자율주행 자동차가 미래에 해당 위치에 존재할지에 대한 비용(cost)를 의미한다. 다만, 코스트 맵은 학습의 결과물로서 참값이 존재하지 않아 해당 코스트 맵이 합리적인지 판단하기는 어렵다는 문제가 존재한다. 이를 위해 특정 장면에 대해 객체 및 자유 공간 정보가 담긴 격자 지도를 제작해 학습 후 결과 값에 추가적인 페널티 값으로 넣어주었다. 이에 따라 자차 주변의 객체와 공간 정보를 고려한 코스트 맵을 제작할 수 있었다. 코스트 맵을 통해 각 후보 궤적들에 대한 총 비용이 계산되며, 이 중 총 비용이 가장 낮은 궤적이 최종 후보 궤적, 즉 설계 궤적으로 선정된다. 선정된 후보 궤적은 참값과의 비교 및 객체와의 충돌 여부를 거치게 되고, 충돌 가능성이 없다면 자차의 로컬 기준 경로로 사용되어 하나의 샘플을 기준으로 3초 뒤의 경로를 계획하게 된다. 본 논문에서는 자율주행 자동차의 인지 단계에서 확인한 LiDAR 센서 정보를 이용해 코스트 맵을 추출하는 3가지 딥러닝 모델을 구성하였다. 첫 번째 신경망 모델은 참값 궤적과 후보 궤적을 비교하는 유클리드 거리 만을 마진 값으로 이용하여 학습을 하는 Vanilla 모델이다. 두 번째는 환경 정보 중 객체의 바운딩 박스 데이터를 Vanilla 모델에 추가적으로 넣어준 Object-Guided 모델이며, 세 번째는 환경 정보 중 자유공간 정보를 Vanilla 모델에 추가적으로 넣어준 Freespace-Guided 모델이다. 모델 구성 후 신경망 학습이 완료되면 코스트 맵이 출력되어 이를 통해 각 모델에 따른 미래 7프레임의 설계 궤적을 구했다. 결과 분석을 위해 유클리드 거리와 충돌률이라는 두 가지 평가지표를 통해 각 모델의 결과를 분석 및 비교하였다. 3가지 모델 중 Vanilla 모델의 설계 궤적과 실제 궤적의 유클리드 거리 차이는 가장 작았으나 세 모델 중 충돌률이 가장 높았다. 객체의 바운딩 박스 정보를 포함한 Object-Guided 모델은 Vanilla 모델과 비교하여 충돌률이 약 40.8$\%$ 감소했으며, 자유공간 정보를 포함한 Freespace-Guided 모델의 충돌률은 약 43.1$\%$ 감소하는 결과를 보였다.

V2X 통신을 이용한 트럭 군집주행 횡방향 지원 시스템 개발 : 트럭 군집주행 공용도로 실증

이용기 국민대학교 자동차공학전문대학원 2021 국내박사

최근 물류 시장의 성장이 가속화되어 대형 화물트럭의 운행 규모가 증가할 것으로 예측됨에 따라, 대형 화물트럭 군집주행 기술이 물류 운송 분야에 혁신을 이끌어 다양한 경제적/사회적 기여를 할 수 있을 것으로 전망되고 있다. 이러한 군집주행 기술은 화물 트럭에 자율주행기술 및 V2V (차량간 통신), V2I (차량과 인프라 간 통신) 기술을 접목하여 다수 차량의 군집화된 주행을 가능하게 함으로써 주행 안전성 및 운행 효율성, 운전자 편의성을 향상시킬 수 있을 뿐만 아니라 교통 흐름 및 효율 향상, 연비 개선과 배출가스 저감 효과 등의 이점을 가지고 있다. 유럽의 상용차 제조사들의 경우 상용차 군집주행 관련 기술개발을 독자적으로 진행함과 동시에 2018년 Multi-brand 군집주행을 위한 ENSEMBLE 프로젝트를 진행하는 등 다양한 기관의 협력구조를 통한 연구개발을 활발히 진행하고 있다. 미국의 경우 군집주행에 필요한 법안을 적극적으로 마련하며 빠른 시일내에 실제 상업적 사용을 목적으로 활발하게 연구개발을 진행하고 있다. 한국은 2018년부터 TROOP(Truck platooning project in korea)라는 프로젝트를 통해 군집주행 운영 / 제어 기술 및 C-ITS 서비스를 개발하여, 시험도로와 공용도로에서 단계적으로 시연을 계획하고 있다. 트럭 군집주행은 다수의 트럭이 근접 차간 거리를 유지하며 주행하는 형태를 의미한다. 선두 차량(LV, Leading Vehicle)은 전문 운전자에 의해 수동 또는 자율 주행 모드(Optional)로 주행하며, 추종 차량(FV, Following Vehicle)은 자율주행 모드로 선행 차량을 추종한다. 이러한 군집주행 제어 기술은 기존 ACC/LKAS의 통합 종/횡방향 제어기술의 확장된 형태로써, 특히 V2V 정보를 이용한 가/감속 제어를 수행함으로써 90 kph의 속도에서 0.5s 이내의 time-gap을 유지하며 차량 간 근접주행이 가능하다. 하지만, 제한된 전방 시야로 인해 차선 인식을 위한 충분한 ROI 확보가 어렵기 때문에, 차선 기반의 횡방향 제어 시 안정으로 대열을 유지할 수 없는 문제가 있다. 따라서, V2V 통신을 이용해 선행 차량의 주행 정보를 수신하여 선제적으로 횡방향 제어를 수행할 필요가 있다. 또한, 트랙터와 트레일러가 연결된 대형 트럭은 복잡한 다이나믹스 특징을 가지고 있고, 도로 경사 등에 외란에 차량이 민감하게 반응하기 때문에 보다 고도화된 제어 기술이 요구된다. 트럭 군집주행은 제어의 어려움으로 인해 제한된 ODD에서만 가능하다. 만약 전방 도로에 사고로 인해 도로가 막혀 있어 차선 변경이 필요하거나 짙은 안개로 인해 근접 차간 거리 제어가 불가해지면 군집을 해제해야 한다. 따라서, 군집주행 시 인프라로부터 교통 상황, 날씨 등의 정보를 받아 최적의 대열 운영을 통해 ODD가 유지될 수 있도록 함으로써 보다 안전한 군집주행을 지원하기 위한 C-ITS 연계 트럭 군집주행 기술을 개발할 필요가 있다. 따라서, 본 연구에서는 V2X 통신을 이용한 군집주행 횡방향 제어 시스템을 개발하였다. 횡방향 제어는 크게 경로 생성 및 경로 추종 제어 기술로 나뉠 수 있다. 먼저, 경로 생성을 위해 차선 유지 및 선행 차량 추종 동시 목표 달성을 위한 컨셉을 도출하였다. 특히, V2V 통신 정보를 통해 인지 거리 제한에 따른 횡방향 대열 안정성이 악화되는 문제를 해결하고, 대형 Semi-trailer 트럭의 Off-tracking에 의한 영향을 효과적으로 해결하기 위한 새로운 경로 생성 방법을 개발하였다. 또한, cut-in 등 이벤트 및 공사장, 안개 등 인프라 서비스 정보 기반으로 다양한 상황에 대처하기 위해 경로 생성 방법을 다각화하였다. 다음으로 경로 추종 제어를 위해 대형 트럭의 동적 특성을 고려한 경로 추종 로직을 개발하여 선제적 제어에 따른 횡방향 대열 안정성을 확보하였다. 개발한 V2X 기반 트럭 군집주행 횡방향 제어 시스템을 시뮬레이션 및 실제 도로에서의 실차 시험을 통해 검증하였다. 시뮬레이션에서는 저속/고속에서 off-tracking 변화에 따라 추종 차량이 선행차량의 실제 주행 경로를 정확하게 추정할 수 있었다. 또한, 선행 차량의 경로와 차선 정보를 융합하여 선행 차량 추종 및 차선 유지 기능을 동시에 확보하기 위한 경로 생성 알고리즘을 개발 및 검증하였다. 개발한 로직을 통한 조향 제어 시 군집주행의 횡방향 string stability를 확보할 수 있었다. 또한, Hyundai Xcient 트럭을 이용한 실차 시험을 통해 대열 유지, 차선 변경 및 cut-in 등 실제 군집 차량에 발생 가능한 다양한 use-case에서 개발한 알고리즘의 성능을 검증하였다. 마지막으로, 개발한 V2X 기반 트럭 군집주행 횡방향 제어 시스템은 한국에서 최초 진행된 자율협력주행 기반 군집주행 기술 시연에 적용되었으며, 시연을 성공적으로 마쳤다. 본 학위논문은 “Novel Path Planning Algorithm for Truck Platooning Using V2V Communication, Sensors”을 기반으로 하고 있다. As the scale of logistics transportation is expected to expand in the future, it is expected that the technology for truck platooning will lead to innovation in the logistics and transportation field and make various economic and social contributions. By enabling truck platooning, it not only solves problems such as driving safety, driver shortage and congestion, but also has advantages such as improved traffic flow, improved fuel economy, emission reduction and driver convenience. Many researches are being conducted worldwide on truck platooning. In Europe, truck manufacturers have been establishing consortiums for collaborative research on truck platooning. In 2016, they hosted the European Truck Platooning Challenge, and in 2018, they launched a large-scale inter-country project ENSEMBLE for multi-brand truck platooning. In the US, the legislation necessary for platooning is actively being prepared to spur truck platooning to practical use in the near future. In Korea, a first government project on truck platooning-TROOP (TRuck platOOning Project)-was launched in 2018. With the final goal of developing the most advanced truck platooning system covering not just the control technologies but also the operational and management technologies based on the C-ITS services that the government has already established. Truck platooning refers to a form in which several trucks run as a fleet with short inter-vehicle distance using V2X communication. The leading vehicle (LV) is driven manually by an experienced driver, and the following vehicles (FVs) run by autonomous driving. This platooning control technology is an extended form of the existing ACC / LKAS-based integrated longitudinal / lateral control technology. It maintains a time-gap within 0.5s at a speed of 90 kph by performing acceleration/deceleration control using V2V communication. Thus, there is a problem in that stability of lateral control is inevitably deteriorated. It is necessary to perform lateral control by receiving driving information from a preceding vehicle using V2V communication. In addition, a semi-trailer truck connected to a tractor and a trailer has complex dynamics characteristics, and the vehicle reacts sensitively to disturbances such as road slopes. Therefore, in truck platooning, a higher level of control technology is required than the lateral control method used in general autonomous driving. Platooning is only possible under limited ODD (Operational Design Domain). If the current driving conditions are outside the ODD of truck platooning, platooning must be canceled. However, if the driving situation can satisfy the ODD condition through maneuver control such as gap-change, the infrastructure can guide the LV driver to take a safety response through the infra-service via I2V communication. Therefore, it is necessary to develop C-ITS-based truck platooning technology to support the platooning by receiving infra-service message such as traffic conditions and weather from the infrastructure and maintaining ODD through optimal fleet operation during platooning. Therefore, a lateral control system for truck platooning using V2X communication was designed. The lateral control system can be divided into path planning and path tracking control technology. First, a concept of path planning for securing lane keeping and following vehicle tracking performance at the same time was derived. Through V2V communication, a novel path planning method was developed to solve the problem of deteriorating the lateral string stability due to the limit of front-view distance, and to effectively solve the effect of off-tracking of large semi-trailer trucks. Also, the path planning method has been diversified to cope with various situations based on information on infrastructure services such as cut-in events and construction zone and fog. Next, the path tracking controller was designed to have robust control performance in consideration of the dynamic behavior of the semi-trailer truck caused by the influence of disturbance such as bank road or unintended steering input. The algorithm of this thesis was validated by simulations on severe driving scenarios and by tests on an actual road. In the simulation, the following vehicle was able to accurately estimate the actual driving path of the preceding vehicle according to the off-tracking change at low/high speed. In addition, a path planning algorithm was developed and verified to simultaneously secure the vehicle-following and lane keeping functions by fusion of the trajectory of the preceding vehicle and lane marking information. The results demonstrated that the algorithm can provide lateral string stability and robustness in truck platooning. Also, through actual vehicle tests using Hyundai Xcient trucks, the performance of algorithms developed in various use-cases that can occur in platooning such as gap-change, lane change and cut-in was verified. Finally, the developed V2X-based truck platooning lateral control system was applied to the demonstration of autonomous cooperative driving-based platooning technology, which was first conducted in Korea, and the demonstration was successfully completed. This Thesis was written based on the paper of “Novel Path Planning Algorithm for Truck Platooning Using V2V Communication” , Sensors, 2020 [1], in part of this Thesis.

자동차 차체 부품의 조립 품질 향상을 위한 볼팅 체결 해석 연구

김희선 국민대학교 자동차공학전문대학원 2023 국내석사

전 세계적으로 자동차산업 시장이 발달하면서 경쟁력 확보를 위해 경량화 및  가스 저감기술 등에 대한 주제가 주목이 집중되고 있다. 빠르게 변화 되는 자동차산업으로 인해 고안전 자동차 차체 및 제조기술의 개발을 중시한 다. 위와 같은 변화들로 인해 자동차 차체에 대한 다양한 소재를 사용되고 있 으며 이에 따른 고전적인 조립 방식이 아닌 용접 및 체결에 대한 체계적인 기 술 개발이 요구되고 있다. 자동차 제조공정의 프로세스 중 자동차 차체 조립 공정에서 사용하는 볼트 체결 기술로 인해 자동차 차체 조립 후에 변형이 발 생하고 있다. 이를 통해 자동차 차체 조립 공정에서 진행되는 볼트 체결 후에 발생하는 변형의 문제점을 최소화하기 위한 프로세스를 제시하고자 한다. 본 연구에서는 자동차 차체 조립 공정 환경과 유사한 볼트 체결 시뮬레이션 환경을 구축하고 신뢰성 검증을 통해 자동차 차체 부품 체결 품질확인 방향성 을 제시한다. 실제 차량 시스템의 일부에 대한 볼트 체결 환경구축을 하였다. 국제 표준 규격(ISO)을 기반으로 볼트 체결 모델링을 진행하여 볼트 체결 해 석 결과를 통해 신뢰성 검증하였다. 3D 유한요소 모델에서 볼트 체결 시뮬레 이션 환경구축에 대한 신뢰성 검증을 진행하였다. 구축된 볼트 체결 3D 유한 요소 모델로 해석을 진행하여 해석시간이 많이 소요된다. 이러한 문제점을 보 완하기 위해서 나사 역학 이론을 기반을 볼트 체결 등가 모델 구축 방법론을 제시 및 신뢰성 검증하였다. 실제 차량 시스템과 fender 부품의 볼트 체결 환 경과 유사한 조건으로 볼트 체결 등가 모델 방법론을 기반으로 실제 차량 모 델에 볼팅 체결 변형 예측 시뮬레이션 모델링을 적용하여 해석을 진행하였다. 실제 차량 시스템 실험 결과 데이터와 해석 결과에 대한 데이터를 분석하여 볼팅 체결 변형 예측 시뮬레이션 신뢰성 검증하였다. 최적 볼트 순서를 도출 하기 위해 설계 변수에 대한 해석을 진행 후 설계 변수와 성능지수를 선정하 여 실험계획표를 작성하였다. 실험계획법 기반 영향도 및 민감도 분석을 통해 최적 볼트 체결 순서를 도출하였다. Given the global development of the automotive industry, there is a growing focus on ensuring competitiveness through topics such as lightweight and emissions-reduction technologies. Rapid changes in the automotive industry emphasize the importance of prioritizing the development of advanced safety features and manufacturing technologies. These changes have led to the use of various materials for automotive bodies, and systematic technological developments in welding and fastening, rather than conventional assembly methods, are now in demand. In the assembly process of automobile bodies, issues arise due to deformation occurring after the bolt fastening process. This study aims to propose a process to minimize the problems associated with deformation that occurs after bolt fastening in the assembly process of automobile bodies. In this research, a simulation environment similar to the conditions in the automobile body assembly process was created for bolt fastening. The reliability of the proposed process for quality assurance of automobile body parts fastening was verified through simulation. A bolt fastening environment for a part of the actual vehicle system was constructed, and bolt fastening modeling was conducted based on international standards (ISO). Reliability verification of the bolt fastening simulation environment was performed using a 3D finite element model. However, the analysis time for the constructed bolt fastening 3D finite element model was extensive. To address this issue, a bolt fastening equivalent model construction methodology based on screw mechanics theory was proposed and verified for reliability. The bolt fastening equivalent model methodology, based on screw mechanics theory, was applied to predict deformation in the bolt fastening of an actual vehicle model under conditions similar to those in the automobile body assembly process. The simulation results were compared and verified against experimental data from the actual vehicle system. To derive the optimal bolt sequence, an analysis of design variables was conducted. The analysis of design variables and selection of performance indices led to the development of an experimental plan. Through experimental design-based sensitivity and sensitivity analysis, the optimal bolt fastening sequence was derived.

자율주행자동차의 안정성 및 경로 추종 성능 향상을 위한 후륜 조향 제어

안태원 국민대학교 자동차공학전문대학원 2021 국내박사

Recent studies on autonomous vehicles have focused on enhancing driver convenience, alleviating traffic congestion, and increasing vehicle stability. Path tracking methods help ensure that a vehicle follows a given path. It is necessary to control the vehicle steering to ensure accurate and smooth travel. Generally, autonomous vehicles control only the front-wheel steer to follow a given path. However, the vehicle stability and path tracking performance may deteriorate decrease in situations such as emergency lane changing and driving along highly curved roads. In particular, considerable overshoot and oscillation may occur, and the autonomous vehicles may threaten their neighboring vehicles. To increase the vehicle stability, researchers have attempted to control other actuators in addition to the front-wheel steer such as through rear-wheel steering (RWS), electronic stability control (ESC), and torque vectoring (TV). However, these chassis control systems consider only the current yaw rate and side-slip angle. Therefore, when applied to autonomous vehicles, although these methods can increase the vehicle stability, it is difficult to enhance the path tracking performance. Notably, this paper proposes a method in which RWS and front-wheel steer are incorporated to enhance the stability and path tracking performance of autonomous vehicles. Longitudinal and lateral control were implemented through model predictive control (MPC). RWS was controlled by estimating the future lateral position error through the MPC and current yaw rate error. In general, although the lateral position error and yaw rate error can be decreased by controlling the rear-wheel steer, the roll angle may be large. To prevent this phenomenon, when the RWS was controlled by increasing the left/right weight distribution, the degree of the RWS was adjusted through the load transfer ratio. To verify the performance of the proposed controller, CarMaker and MATLAB/Simulink based evaluations were performed considering scenarios involving straight and curved roads and highways. 최근 운전자의 편의성 확보, 교통 혼잡도 감소, 차량 안전성 향상 등 다양한 목표에 따라 자율주행자동차에 대한 연구가 활발히 진행되고 있다. 특히, path tracking은 자율주행자동차가 경로를 따라 주행하기위해 필요한 기술이며, 주어진 경로를 정확하고 부드럽게 주행할 수 있도록 차량을 제어하는 것이 중요하다. 자율주행자동차는 주어진 경로를 따라 주행하기 위해 일반적으로 전륜 조향 제어를 수행한다. 그러나, 전륜 조향 제어만을 수행할 경우 급격한 차선 변경이나 곡률이 큰 곡선 도로를 주행할 때 경로 추종 성능 또는 차량의 안정성이 저하될 수 있다. 특히, 급격한 차선 변경과 같은 상황에서는 overshoot과 oscillation이 크게 발생할 수 있으며, 주변 차량에게 위협을 가할 수 있다. 차량의 안정성을 향상시키기 위해 rear wheel steering(RWS), electronic stability control(ESC) 및 torque vectoring(TV) 등과 같은 전륜 조향 이외의 액추에이터를 함께 제어하는 연구가 진행되어왔다. 그러나, 이러한 chassis 제어 방법들은 yaw rate, side-slip angle과 같은 자 차량의 현재 상태 정보만을 이용하여 제어하기 때문에 자율주행자동차에 그대로 적용할 경우, 차량의 안정성은 향상될 수 있지만, 경로 추종 성능을 효과적으로 향상시키기 어렵다. 특히, 본 논문에서는 자율주행상황에서 전륜뿐 아니라 후륜 조향 제어를 추가적으로 수행함으로써 경로 추종에 대한 성능과 차량의 안정성을 향상시켰다. 자율주행자동차의 종/횡 방향 제어는 model predictive control(MPC)를 기반으로 수행하였다. 경로 추종 시, MPC를 통해 예측된 lateral position error와 현재 차량의 yaw rate error를 통해 H-infinity 제어를 기반으로 후륜 조향 제어를 수행하였다. 이때, 후륜 조향 제어를 통해 lateral position error 또는 yaw rate error는 저감 될 수 있지만, 갑작스러운 차선 변경으로 인해 롤 각이 순간적으로 크게 나타날 수 있다. 이를 방지하기 위해 좌/우측 무게 배분이 증가하는 방향으로 후륜 제어가 수행될 경우 load transfer ratio(LTR)을 통해 후륜 조향 제어 값의 크기를 조절하였다. 본 논문에서 제안한 제어기의 성능을 검증하기 위해 CarMaker와 MATLAB&Simulink를 이용하여, 직선과 곡선 도로 그리고 고속도로 주행상황을 묘사한 시나리오에 대해 평가를 수행하였다.

자율협력주행 시스템의 기능안전 대응을 위한 V2V 통신 안전메커니즘 연구

김세환 국민대학교 자동차공학전문대학원 2021 국내석사

Recently, due to the development of ICT and wireless communication technology, V2X-based autonomous cooperative driving technology that combines V2X communication and autonomous driving system is attracting attention. Since information from surrounding objects such as infrastructure and vehicles can be utilized through various V2X communication, it can be a solution to the limitations of environmental sensors such as radar and cameras of existing autonomous driving systems. In order to realize SAE Level 4 level fully autonomous driving in urban areas where numerous objects exist, the need for autonomous cooperative driving technology that forms a rank through V2V technology, which is communication between vehicles, is increasing. Autonomous cooperative driving technology based on V2V communication not only supports comfortable driving by receiving information from other vehicles, forming a rank in urban areas where the distance between vehicles is very narrow, which the existing ACC system could not do, but also transitions to joining/leaving the ranks. It makes it possible to drive by forming a stable rank in any situation. However, if the autonomous cooperative driving system using V2V communication information receives incorrect information due to a defect in V2V communication, it may affect the vehicle behavior of the autonomous cooperative driving vehicle and lead to a serious accident. Therefore, when a defect occurs in the V2V communication of the V2V-based autonomous cooperative driving system, it is necessary to develop an appropriate safety mechanism to secure functional safety. Therefore, in this paper, we developed a longitudinal control system that utilizes V2V information according to ISO 26262 Part 3 Concept Phase for V2V-based autonomous cooperative driving vehicles conforming to the SAE Level 4 level. In addition, in order to improve the reliability of the developed V2V-based autonomous cooperative driving system, it is intended to develop a safety mechanism to secure functional safety when a fault occurs in V2V communication. Prior to developing the safety mechanism for V2V communication, item definition, risk source analysis and risk assessment, ASIL (Automotive Safety Integrity Level), safety goal (SG), functional safety requirements according to ISO 26262 Part 3 Concept Phase Work products such as Functional Safety Requirement (FSR) were derived. Based on the work products derived in this way, a safety mechanism for V2V communication required at the vehicle level was developed. Through the developed safety mechanism, the functional safety architecture of V2V communication is derived and an algorithm capable of detecting and judging defects is proposed. In addition, the safety mechanism for the V2V communication module of the autonomous cooperative driving system developed earlier was verified by performing FIT (Fault Injection Test) simulation in the functional safety evaluation scenario. The algorithm proposed in this paper was developed using Matlab&Simulink and CarMaker, verified in a virtual simulation environment (MILS, Model In the Loop Simulation), and ISO 26262 Part 3 Concept Phase was performed. 최근 ICT 기술과 무선통신 기술의 발전으로 인해 V2X 통신과 자율주행 시스템을 융합한 V2X 기반의 자율협력주행 기술이 주목받고 있다. 다양한 V2X 통신에 의해 인프라, 차량 등의 주변 객체들의 정보를 활용할 수 있기 때문에 기존의 자율주행 시스템이 갖는 레이더, 카메라와 같은 환경 센서의 한계에 대한 해결책이 될 수 있다. 수많은 객체가 존재하는 도심 지역에서 SAE Level 4 수준의 완전자율주행을 실현하기 위해서 차량 간 통신인 V2V 기술을 통해 대열을 형성하여 주행(Convoy driving)하는 자율협력주행 기술에 대한 필요성이 증가하고 있다. V2V 통신 기반의 자율협력주행 기술은 다른 차량으로부터 정보를 수신함으로써 기존의 ACC 시스템이 할 수 없었던 차간 간격이 매우 좁은 도심 지역에서 대열을 형성하여 쾌적한 주행을 지원할 뿐만 아니라, 대열에 합류/이탈하는 과도 상황에서도 안정적으로 대열을 형성하여 주행할 수 있도록 한다. 하지만 V2V 통신 정보를 활용한 자율협력주행 시스템이 V2V 통신의 결함으로 인해 잘못된 정보를 수신한다면, 자율협력주행 자동차의 차량 거동에 영향을 미쳐 큰 사고로 이어질 수 있다. 이에 V2V 기반 자율협력주행 시스템의 V2V 통신에 대한 결함 발생 시, 기능안전성 확보를 위해 적절한 안전메커니즘 개발이 필요하다. 따라서 본 논문에서는 SAE Level 4 수준에 준하는 V2V 기반 자율협력주행 자동차를 대상으로 ISO 26262 Part 3 Concept Phase에 따라 V2V 정보를 활용하는 종방향 제어 시스템을 개발하였다. 또한, 개발한 V2V 기반 자율협력주행 시스템에 대한 신뢰성 향상을 위해 V2V 통신에 대한 결함 발생 시, 기능안전성 확보를 위한 안전메커니즘을 개발하고자 한다. V2V 통신에 대한 안전메커니즘을 개발하기에 앞서, ISO 26262 Part 3 Concept Phase에 따라 아이템 정의, 위험원 분석 및 리스크평가, ASIL(Automotive Safety Integrity Level), 안전 목표(Safety Goal, SG), 기능안전 요구사항(Functional Safety Requirement, FSR) 등의 작업 산출물을 도출하였다. 이와 같이 도출한 작업 산출물들을 토대로 차량 수준에서 요구하는 V2V 통신에 대한 안전메커니즘을 개발하였다. 개발한 안전메커니즘을 통해서 V2V 통신의 기능안전 아키텍처를 도출하고 결함을 검출 및 판단할 수 있는 알고리즘을 제안하고자 한다. 또한, 앞서 개발한 자율협력주행 시스템의 V2V 통신 모듈에 대한 안전메커니즘은 기능안전 평가시나리오 상에서 FIT(Fault Injection Test) 시뮬레이션을 수행하여 검증하였다. 본 논문에서 제안한 알고리즘은 Matlab&Simulink와 CarMaker를 활용하여 개발하고, 이를 가상 시뮬레이션 환경(MILS, Model In the Loop Simulation)에서 검증을 수행하고 ISO 26262 Part 3 Concept Phase를 수행하였다.

자기 교정 필터와 차량 기동 모델을 이용한 GNSS 음영 구간에서의 강건한 차량 항법 시스템

이준행 국민대학교 자동차모빌리티대학원 2025 국내석사

도심 내에서 차량 위치 추정은 GNSS 신호 단절 및 VIO의 누적 오차와 같이. 각 센서 추정기에서 근본적으로 내포하는 문제가 있다. 본 연구는 이러한 불확실성에 강건하게 대응하기 위해, 상호작용 다중 모델(Interacting Multiple Model, IMM) 필터를 기반으로 한 새로운 확률적 융합 프레임워크를 제안한다. 제안하는 프레임워크는 각 추정기 (GNSS/INS, VIO)가 실시간으로 산출하는 동적 공분산 (Dynamic Measurement Covariance)을 핵심 신뢰도 지표로 활용하며, IMM 필터 내에서 공분산의 비율에 따라 각 추정기 값의 가중치를 동적으로 조절하여 시 가변적으로 변하는 환경에서도 강건하게 차량 위치를 추정한다. 이때 각 추정기의 장점을 극대화하고 단점을 상호 보완하는 시스템을 구현하기 위해, IMM 필터 내부 보정 단계에서 각 동적 공분산 기반을 둔 추정값을 순차적으로 보정하여 VIO의 차량 자세 및 형태 보정을 주도하고 그 뒤, GNSS의 절대 궤적 좌표계를 통해 누적오차를 업데이트해주는 기준이 되는 절대 위치 앵커(Absolute Anchor)로 가용하여 차량 궤적의 형태와 위치를 강건하고 정확하게 예측해주는 프레임워크로 구현한다. 결과적으로, 본 구조는 GNSS의 음영 구역 및 불안정한 도심지역에서도 확률적 IMM 필터의 능력에 따라 자연스럽게 VIO의 연속 상대 궤적과 융합을 통해 신호 단절(dropout) 현상이나 일시적 이상치 (outlier)를 효과적으로 억제하고, 궤적 변화 시, 궤적 변화에 대한 변화 (점프 현상)에서도 연속적인 궤적을 산출하게 된다. 본 프레임워크는 실제 복잡한 도심 환경에서 수집한 자체 데이터셋 및 복잡한 도심지역의 자율주행 오픈 데이터셋(KAIST Urban Dataset)을 기반으로 한 실험을 통해, 제안한 프레임워크가 기존 단일 추정기대비 위치 추정의 정확도와 안정성 측면에서 우수함을 검증하였다. Reliable vehicle localization in dense urban areas is challenging due to frequent GNSS outages and multipath, as well as drift accumulated in vision-based odometry. To cope with these intrinsic limitations of individual sensors, this paper proposes a new probabilistic fusion framework based on an Interacting Multiple Model (IMM) filter for robust navigation in GNSS shadowed environments. The proposed system treats the dynamic measurement covariance provided by each estimator (GNSS/INS and VIO) as a real-time reliability indicator and uses it to adapt the fusion weights inside the IMM–EKF. To fully exploit the complementary characteristics of the sensors, a role-sharing observation design is adopted: the VIO module contributes only motion information (velocity and short-term trajectory shape), while the GNSS/INS module acts as the unique absolute position anchor that gradually removes accumulated drift. Within each IMM mode, VIO-based motion correction is performed first and GNSS-based position correction is then applied sequentially, after which the residuals from both stages are used to update the mode probabilities of the underlying vehicle motion models. This structure enables smooth probabilistic blending between continuous VIO trajectories and sporadic GNSS updates, effectively suppressing jumps at GNSS reacquisition and mitigating transient outliers or dropouts. The effectiveness of the proposed framework is validated using both an in-house urban driving dataset and the public KAIST Urban Dataset, demonstrating improved positioning accuracy and trajectory continuity compared to individual estimators.

능동소음제어를 이용한 자동차 실내 고주파수 소음 저감

한승연 국민대학교 자동차공학전문대학원 2023 국내석사