딥러닝과 OBD-II를 이용한 단안카메라 기반 전방충돌경고 시스템

다국어 초록 (Multilingual Abstract)

Forward Collision Warning (FCW) system is crucial not only for the implementation of autonomous vehicles but also for reducing traffic accidents. According to the statistics of the United States and Germany, the number of rear-end collisions during the entire accident was close to 29.5% in the United States and 28% in Germany. Also, according to the Korea Transport Institute (KOTI) statistics, 98.6% of road traffic fatalities involve human factors, and according to the World Road Association (PIARC) data, it is investigated that 93% of traffic accidents are related to human factors. According to a study by Daimler-Benz, if the driver responds in advance of 0.5 seconds, it can prevent 60% accident, and if it responded in advance of 1 second, it would prevent 90% of accidents.
However, an additional option for advanced driver assistance systems with equipment such as camera, rider sensor and radar sensor should be added at a high additional cost to use the forward collision warning system on most of the finished vehicles. In this paper, I propose FCW system based a single camera using deep running and OBD-II without the use of radar sensors or stereo cameras generally used for distance measurement. The proposed method increases object detection rate using YOLO (You Only Look Once) deep learning network and is consist of steps of object detection, distance measurement, TTC (Time to Contact) calculation and forward collision warning. In the object detection step, an object with potential collision during driving is detected through the YOLO network and the vehicle in front of the driving vehicle is tracked. In the distance measurement step, the distance to object with possible collision is calculated through the proportional expression between the camera and the real object. In the TTC calculation step, TTC is calculated through the difference between video frames. At this time, information of OBD-II is used as an auxiliary index. In the forward collision warning step, a collision warning is sounded when the TTC calculated in the previous step falls below the threshold value.
Scale Invariant Feature Transform (SIFT) and Histogram of Oriented Gradient (HOG), which are based on existing vision processing, generate errors of about 30% because of calculating the vehicle width by detecting object corners. On the other hand, when the object detection is performed by YOLO network, the error of the detected object width is reduced to about 10% by detecting the bus, truck, and passenger car separately. Thus, it is possible to estimate the TTC based on the distance calculated using the characteristic of the camera. The collision test result based on the actual calculated TTC shows that the forward collision warning system operates only when there is a possibility of actual collision by tracking the object in front of driving direction of the own vehicle. Also, in accelerating and constant-speed collision experiment, the forward collision warning is sounded 2.5 seconds before the actual collision, helping the driver to brake before the collision.

국문 초록 (Abstract)

전방 충돌 경고 시스템은 자율주행 자동차의 구현뿐만 아니라 교통사고를 줄이기 위해서도 매우 중요하다. 미국과 독일의 통계자료에 따르면 전체 사고 중 후방 충돌 사고는 미국의 경우 29.5%, 독일의 경우 28%에 육박하는 것으로 조사되었다. 또한, 한국교통연구원 통계에 따르면 도로교통 사망사고 중 98.6%가 인적요인이 관여하는 경우이고 세계도로협회 자료에 따르면 교통사고의 93%가 인적요인이 관여하는 경우인 것으로 조사 되었다. Daimler-Benz의 연구결과에 따르면 운전자가 0.5초만 사전에 대응하였다면 60%, 1초만 사전에 대응하였다면 90%의 사고를 방지할 수 있는 것으로 나타났다.
하지만 대부분의 완성차에서 전방 충돌 경고 시스템을 사용하기 위해서는 차량 구매시 추가적으로 큰 비용을 지불하여 카메라, 라이더(Lidar)센서, 레이더(Radar)센서 등의 장비를 탑재한 첨단 운전자 지원 시스템 옵션을 추가해야 한다. 본 논문에서는 일반적으로 거리 측정에 쓰이는 레이더 센서나 스테레오 카메라의 사용 없이 딥러닝과 OBD-II를 이용한 단안 카메라 기반의 전방층돌경고 시스템을 제안한다. 제안하는 기법은 YOLO(You Only Look Once) 딥러닝 네트워크를 이용하여 물체 검출률을 높였으며 물체 검출, 거리 측정, TTC(Time to Contact)계산, 전방 충돌 경고의 단계로 이루어져 있다. 물체 검출 단계에서는 YOLO 네트워크를 통해 주행 중 충돌 가능성이 있는 물체를 검출하며 주행 차량의 전방에 있는 차량을 추적한다. 거리 측정단계에서는 카메라와 실제 물체 사이의 비례식을 통해 충돌 가능성이 있는 물체의 거리를 계산한다. TTC 계산 단계에서는 영상 프레임 간의 차이를 통해 TTC를 계산한다. 이때, OBD-II의 정보를 보조 지표로 사용한다. 전방 충돌 경고 단계에서는 앞 단계에서 계산한 TTC가 임계값 이하로 떨어지면 충돌 경고를 울린다.
기존의 비전 프로세싱 기반의 SIFT(Scale Invariant Feature Transform), HOG(Histogram of Oriented Gradient) 기법은 물체 모서리를 검출하여 차량 폭을 계산하기 때문에 오차가 30% 내외로 발생한다. 반면에, YOLO 네트워크로 물체 검출을 수행하면 버스, 트럭, 승용차를 구분하여 검출하므로 검출 물체 폭의 오차가 10% 내외로 줄어든다. 따라서, 카메라의 특성을 이용하여 계산한 거리를 기반으로 TTC 추정이 가능해진다. 실제 계산한 TTC를 기반으로 충돌 테스트를 진행 해본 결과 차선의 주행 방향 앞에 있는 물체를 추적하여 실제 충돌 가능성이 있는 경우에만 전방 충돌 경고 시스템이 동작하는 것을 확인하였다. 또한, 가속, 정속 주행 충돌 실험에서 실제 충돌 2.5초 전에 전방 충돌 경고를 울려 운전자가 충돌 전에 제동을 할 수 있도록 도움을 주었다.

목차 (Table of Contents)

• Ⅰ. 서론 1
• Ⅱ. 선행연구 4
• 1. 자율주행 자동차 4
• 2. 첨단 운전자 지원 시스템 6
• 3. 카메라 기반 딥러닝 7
• 1) CNN(Convolution Neural Network) 8
• 2) FCN(Fully Convolution Network) 9
• 3) YOLO(You Only Look Once) 11
• 4. OBD-II(On-board diagnostics-II) 13
• Ⅲ. 딥러닝과 OBD-II를 이용한 전방 충돌 경고 시스템 14
• Ⅳ. 구현 17
• 1. 물체 검출 17
• 2. 거리 측정 21
• 3. TTC(Time to Contact) 계산 23
• 4. 전방충돌경고 24
• Ⅴ. 평가 26
• Ⅵ. 결론 29
• 참고문헌 30
• 영문요약 34