레이더 센서와 비전 센서를 활용한 다중 센서 융합 기반 움직임 검지에 관한 연구

김세진,변기훈,원인수,권장우 한국ITS학회 2017 한국ITS학회논문지 Vol.16 No.2

본 논문은 레이더 센서, 비전 센서를 활용한 다중 센서 융합 기반 움직임 검지에 관한 연구를 다룬다. 레이더 센서는 다량의 물체를 검지함에 있어 센서 자체의 움직임이 발생할 경우 주변건물이나 주변 가로수와 같은 사물 혹은 물체를 차량으로 오인하는 경우가 생긴다. 비전 센서의 경우 저렴하고 가장 많이 쓰는 형태이지만 빛, 흔들림, 날씨, 조도 등 외부환경에 취약하다는 문제점이 있다. 각 센서 간의 문제점을 보완하고자 센서 융합을 통한 움직임검지를 제안하게 되었고 실험환경 내에서 매우 우수한 검지율을 보이게 되었다 센서 간 융합에서 좌표 통일문제와 실시간 전송문제 등을 해결하였으며, 각 센서 간 필터링을 통한 비가공데이터(raw data)의 신뢰성을 높였다. 특히 영상에서는 가우시안 혼합모델(GMM, Gaussian Mixture Model)을 사용하여 레이더 센서의 단점을 극복하고자 했다. This Paper is for A study of sensor fusion using Radar sensor and Vision sensor in moving object detection. Radar sensor has some problems to detect object. When the sensor moves by wind or that kind of thing, it can happen to detect wrong object like building or tress. And vision sensor is very useful for all area. And it is also used so much. but there are some weakness that is influenced easily by the light of the area, shaking of the sensor device, and weather and so on. So in this paper I want to suggest to fuse these sensor to detect object. Each sensor can fill the other’s weakness, so this kind of sensor fusion makes object detection much powerful.

u-DSLT : 센서 네트워크 기반의 위험상황 인식과 레이더 도플러 센서를 이용한 무 태그 위치추적 시스템

문승진(Seungjin Moon),김홍규(Hongkyu Kim) 한국정보과학회 2011 정보과학회논문지 : 정보통신 Vol.38 No.5

음성정보를 기반으로 위험상황을 인지하고 위치추적을 수행할 경우, 기존의 대표적인 화자 위치추정 알고리즘인 CPSP(Cross Power Spectrum Phase)를 이용한 TDOA(Time Difference Of Arrival)은 화자의 지속적인 음성 정보를 수신해야 실시간 위치추정이 가능하다. 이는 화자의 음성정보가 없을 경우 TDOA기법을 이용하여 지속적인 위치추적이 불가능한 단점이 있다. 이에 본 논문에서는 화자의 음성정보를 기반으로 위험상황을 인지하고, 위치추적은 레이더 도플러 센서를 이용하여 화자의 음성이 끊길 경우에도 신뢰도 있는 TDOA추정을 가능하게 하는 시스템(u-DSLT)을 제안하였다. u-DSLT는 센서네트워크 기반의 시스템으로, 마이크로폰 어레이를 통해 수신된 화자의 음성 샘플링 주파수의 특정신호를 이용하여 추출된 위험요소 인지를 통해 화자의 위험상황을 인식하고, 위험상황에 처한 화자의 위치를 레이더 도플러 센서를 이용하여 무 태그 상황에서 실시간 위치추적을 수행한다. 특히, u-DSLT는 기존의 위치 추정의 단점으로 지적된 장애물에 대한 신호왜곡이 없으며, 또한 추적 대상체 몸에 부착되는 태그가 불필요한 레이더 도플러 센서를 활용하여, 무 태그 상황에서 실시간 위치 추적을 가능케 한다. 제안한 시스템의 유효성 검증을 위해 음성인식 분석을 위한 위험상황 인식센서, 레이더 도플러 센서를 단일 센서네트워크 환경으로 통합하고 이를 적용한 시스템을 실제 환경에서 비교 실험을 수행한 결과 제안된 시스템은 무 태그 대상체의 위험상황에서 지속인 위치추적이 가능하였음을 확인 하였다. In case of location tracking and recognition of dangerous situations based on voice information, TDOA (Time Difference of Arrival) technique, using CPSP (Cross Power Spectrum Phase) which is a typical established algorithms about the location tracking of speaker’s, is only practicable to estimate real-time locations when it receives voice information continuously. But where there is no continuous voice information available, TDOA technique to track a moving object becomes useless because there exist no coordinates. In this paper, we proposed a system (u-DSLT), which recognizes dangerous situations based on voice information first, then is able to track the moving object reliably using TODA technique with doppler radar sensors even if voice information is no longer available. u-DSLT, which is a system based on the sensor networks, tracks on the location of a human object who is in a dangerous situation. It can perform its real-time tracking of the object with no tag attached by adopting the doppler radar sensors. u-DSLT makes it possible to track a object which does not carry a tag by using doppler radar sensors which overcomes the distortion of signal due to obstacles. In order to validate the effectiveness of the proposed system, we integrate speech recognition and doppler radar sensors into a single sensor network system and carry out simulation works. And the result shows the proposed system is capable of tracking the objects continuously in the absence of tag.

다중센서 오차특성을 고려한 융합 알고리즘

현대환(Daehwan Hyun),윤희병(Heebyung Yoon) 한국정보과학회 2009 정보과학회논문지 : 시스템 및 이론 Vol.36 No.4

기동물체 추적을 위해서 GPS, INS, 레이더 및 광학장비 등의 다양한 위치추적 센서가 이용되고 있으며, 기동물체의 강인한 추적성능을 유지하기 위해 이기종 센서의 효과적인 융합방법이 필요하다. 이기종 다중센서를 이용한 추적성능 향상을 위해 센서의 서로 다른 오차특성을 고려하여 각 센서의 측정치를 상이한 모델로 간주하여 융합하는 연구가 수행되었지만, 한 센서의 오차가 급격히 증가하는 구간에서 다른 센서의 추정치에 대한 오차가 증가하고 각 센서의 측정값이 참 값일 확률인 Sensor Probability 값에 대해 센서 측정치 변화를 실시간으로 반영하지 못하였다. 본 논문에서는 각 센서 칼만필터의 갱신추정치와 측정치 간의 차이에 대한 RMSE(Root Mean Square Error)를 비교하여 Sensor Probability를 구하고, 결합추정치를 다시 각 센서 칼만필터 입력값으로 대입하는 과정을 제외하여 센서 측정치에 대한 실시간적인 반영과 센서 성능이 급격히 저하되는 구간에서의 추적성능을 개선한다. 제안하는 알고리즘은 각 센서의 오차특성을 조건부 확률값으로 추가하여 각 센서의 Sensor Probability에 따라 가장 양호한 성능을 보이는 센서 위주로 트랙융합을 함으로써 강인성을 보장한다. 실험을 통해 UAV의 기동 경로를 생성하고 제안 알고리즘을 적용하여 다른 융합 알고리즘과 성능분석을 실시한다. Various location tracking sensors; such as GPS, INS, radar, and optical equipment; are used for tracking moving targets. In order to effectively track moving targets, it is necessary to develop an effective fusion method for these heterogeneous devices. There have been studies in which the estimated values of each sensors were regarded as different models and fused together, considering the different error characteristics of the sensors for the improvement of tracking performance using heterogeneous multi-sensor. However, the rate of errors for the estimated values of other sensors has increased, in that there has been a sharp increase in sensor errors and the attempts to change the estimated sensor values for the Sensor Probability could not be applied in real time. In this study, the Sensor Probability is obtained by comparing the RMSE (Root Mean Square Error) for the difference between the updated and measured values of the Kalman filter for each sensor. The process of substituting the new combined values for the Kalman filter input values for each sensor is excluded. There are improvements in both the real-time application of estimated sensor values, and the tracking performance for the areas in which the sensor performance has rapidly decreased. The proposed algorithm adds the error characteristic of each sensor as a conditional probability value, and ensures greater accuracy by performing the track fusion with the sensors with the most reliable performance. The trajectory of a UAV is generated in an experiment and a performance analysis is conducted with other fusion algorithms.

차량용 첨단센서 기술 : 레이더 및 라이더

김건정,이종훈,박용완,김상동,허수정 에스케이텔레콤 (주) 2015 Telecommunications Review Vol.25 No.3

자율주행자동차 및 일반 지능형 안전 자동차 기술이 ICT기술과 접목되면서 주변 차량과의 안정성 확보까지 범위가 확장되고 있다. 차량 주변 상황을 인지하여 무인 주행이 가능한 핵심 기술인 첨단센서기술이 한창 연구 중에 있다. 본 논문에서는 차량용 인지기술의 핵심 센서인 레이더(Radar)와 라이더(Lidar) 기술을 분석하고 차량용 첨단센서로 레이더와 라이더를 연구하고 있는 본 연구팀의 연구결과를 분석하고, 차량용 레이더기술에서 차량용 레이더를 위한 I/Q 부정합신호와 DC 오프셋을 보정한 고정확도 주파수 추정방식에 대해 제안한다. 라이더 기술에서는 3차원 영상 구현이 가능한 기술이며 현재 차량용으로 적용되고 있으나 좁은 공간에서 2개 이상 라이더를 동시에 사용하는 경우 이미징 라이더의 밀집도가 높아져서 상호 간섭 문제점이 발생하고 이러한 문제점을 해결하기 위한 연구를 소개한다. 레이더와 라이더 시스템의 성능향상은 차량용 첨단센서의 상용화를 위해서는 반드시 필요하며, 운전자의 특성과 무인자율주행자동차의 차세대 주행시스템개발에 필요한 핵심센서이다.

상용트럭 AEBS용 레이더 및 비전센서 평가기술 개발

송인성(Insung Song),유시복(Sibok Yu),김문식(Moonsik Kim),김병수(Byungsu Kim) 한국자동차공학회 2012 한국자동차공학회 학술대회 및 전시회 Vol.2012 No.11

HKMC, KATECH, SNU and KATRI has been developing the AEBS for trucks and buses from 2010. The role of KATECH is to develop driving simulator connected HILS for investigating AEBS control parameters, to develop the T-car based test-bed and test method for evaluating the sensor systems used for HKMC AEBS. These test results are used for designing the AEBS. The AEBS uses both 77GHz microwave radar developed for ACC and FVCMS and vision sensor together. The AEBS is basically developed for very heavy trucks such as 25 ton truck named TRAGO. KATECH used a SUV vehicle named SantaFe as a test platform. A mount is designed to meet the installation height of the sensors, and sensor signal was taken from the mounted sensors. Originally, two types of radar was tested, but this paper contains the result of only on type. After installation of sensors, the sensors are calibrated according to the sensor installation directions. The data under consideration was relative distance between subject vehicle and target vehicle, relative speed, detecting angles, detecting range, and etc. The test results show the measuring error of radar and vision sensor for different distances, measuring angles, relative speed, and etc. The test was processed for stationary conditions and driving conditions with 40 km/h and 60 km/h.

충돌안전시스템 HILS를 위한 Radar/Lidar 센서노이즈 분석 및 에뮬레이터 개발

김선희,김덕환,김원욱,박기홍,허승진 제어로봇시스템학회 2009 제어로봇시스템학회 국내학술대회 논문집 Vol.2009 No.9

The automotive safety systems can be classified as the active safety system that prevents accidents just before collision and the passive safety system that minimizes human injury or physical damages after collision. Recently the pre-crash safety system has been actively studied as an active safety system. The performance evaluation of the safety system by the vehicle test is very limited and often too dangerous and therefore HILS(Hardware-In-the-Loop Simulation) method is widely adopted instead. In this research, Radar/Lidar emulators have been developed for use in real-time application. They take the position information about obstacles in the virtual environment and send out electrical sensor signals via CAN communication. The radar sensor signal noise, which is commonly present in real vehicle application, has been analyzed, and its characteristics was included in the radar sensor emulator of this study.

레이더 센서 장착 자동차의 전방충돌경고·보호 장치 오작동 시험 분석 연구

박지양(Jiyang Park),권영문(yeongmun Gwon),정재환(Jaehwan Jeong),나대영(Daeyoung Ra),박상협(Sanghyeop Park),이효열(Hyoyeol Lee),최수광(Sookwang choi) 한국자동차공학회 2021 한국자동차공학회 부문종합 학술대회 Vol.2021 No.6

Advanced device-equipped Vehicles are actively developed and legislation is underway around the world. As a result, Automobile manufacturers and others aim to continue research on high-tech devices and develop high-performance devices. These state-of-the-art vehicles are the most basic devices of autonomous vehicles. The automobile industry is progressing very quickly, but the number of malfunctions in high-tech devices is also increasing. In particular, in the case of Autonomous Emergency Braking(AEB), it is essential to lead to an Accident when a malfunction occurs. Typical high-tech devices include camera sensors and radar sensors. Both sensors are connected and operated, but radar sensors are mainly longitudinal and camera sensors are mainly lateral. Accordingly, this study analyzes AEB devices that can cause accidents when malfunctioning, it deliberately malfunctions the highly relevant radar sensor to determine to what extent the radar sensor’s performance persists. We want to analyze the risk of malfunction and the limitations of radar sensors through comparative analysis with existing automobile manufacturing standards and CAN data.

충돌 예방 시스템의 HILS를 위한 레이더 센서 에뮬레이터 개발

김원욱(Wonwook Kim),김선희(Sunhee Kim),김태욱(Taewook Kim),박기홍(Kihong Park),허승진(Seongjin Heo),황윤형(Yunhyoung Hwng),양인범(Inbeom Yang) 한국자동차공학회 2010 한국자동차공학회 학술대회 및 전시회 Vol.2010 No.11

The pre-crash safety systems are being actively studied in the automotive industries. The performance evaluation of the system on the test road is very limited due to danger, and so the hardware-in-the-loop simulation (HILS) method is widely adopted instead. In this research, a radar sensor emulator has been developed for use in real-time application. In this paper, a radar sensor emulator has been developed for use in real-time application. They take the position information about obstacles in the virtual environment and send out electrical sensor signals via CAN communication. Radar sensor emulator collects data on the CAN bus and transfer data to ACC ECU. These emulators were made as stand-alone modules on their own microcontroller. Their performance was evaluated on the pre-crash safety HILS system that was built in this study.

정지위성 방위각 정보를 활용한 전자 컴퍼스 편차 자동보정기법 연구

이재원(Jae Won Lee),이건호(Geon Ho Lee) 한국항해항만학회 2017 한국항해항만학회지 Vol.41 No.4

이동형해상감시레이더는 해안을 따라 이동하며, 해역을 감시하는 기능을 수행한다. 초기 레이더의 방향은 차량의 선수방향으로 정렬되어 있기 때문에 전개지 이동 후 신속하게 표적의 방위각을 획득하기 위해서는 변경된 차량의 선수방향을 아는 것이 중요하다. 차량의 선수방위각은 자이로 컴퍼스, GPS 컴퍼스 혹은 전자 컴퍼스로 획득할 수 있다. 그 중에서 전자 컴퍼스는 가격이 저렴할 뿐만 아니라, 부피가 작고, 안정화 시간이 짧아서 빠른 기동성을 요구하는 이동형해상감시레이더에 적합하다. 하지만, 지자계 센서를 사용하다보니 주변 자장의 영향으로 오차가 발생될 수 있으며, 발생된 오차는 초기 위성의 자동추적을 어렵게 하고, 레이더의 탐지정확도를 떨어뜨린다. 따라서 본 논문에서는 이동형해상감시레이더 및 정지 위성간의 두 위치좌표로부터 측지학적 역 문제 해석을 통해 기준 방위각을 산출하고 이를 위성 안테나가 실제 지향한 방위각과 비교 산출하여 얻어진 보정값을 레이더에 반영하는 자동보정절차를 제안하고 제안된 방법을 실제 운용 중인 이동형해 상감시레이더에 적용함으로써 운용가능성 및 편리성을 검증하였다. The Moving Search Radar System (MSRS) monitors sea areas by moving along the coast. Since the radar is initially aligned to the front of the vehicle, it is important to know the changes in the heading azimuth of the vehicle to quickly acquire the target azimuth from the radar after the MSRS has moved. The heading azimuth can be obtained using the gyro compass, the GPS compass or the electronic compass. The electronic compass is suitable for MSRS requiring fast maneuverability due to its small volume, short stabilization time and low price. However, using a geomagnetic sensor may result in an error due to the surrounding magnetic field. Errors can make early automatic tracking of the satellites difficult and can reduce the radar detection accuracy. Therefore, this paper proposes a method to automatically compensate for the error reflecting the correction value on the radar obtained by comparing the reference azimuth calculated by solving the geodesic inverse problem using two coordinates between the radar and the geostationary satellite with the actually-directed azimuth angle of the satellite antenna. The feasibility and convenience of the proposed method were verified by applying it to the MSRS in the field.

레이더 에고 모션 추정 신뢰성 향상을 위한 도플러 속도 기반 동적 물체 추적 및 제거

박영상,민경욱,최정단 한국ITS학회 2022 한국ITS학회논문지 Vol.21 No.5

차량의 물체 인식에 사용되던 센서인 레이더 센서를 위치 추정에 사용하기 위한 연구들이 진행되고 있다. 특히 레이더 센서에서 출력되는 도플러 속도를 이용하여 동적 물체와 정적 물 체를 분류하고, 정적 물체만을 이용하여 에고 모션을 계산하는 방법이 연구되었다. 기존의 동 적 물체 분류에서는 RANSAC을 사용한 방법이 제시되었는데, 단 한 번의 알고리즘 실패가 큰 영향을 미치는 위치 추정의 특성상 더 높은 성능을 가진 분류 방법이 필요하다. 본 논문에서는 동적 물체의 추적 및 필터링을 통해 기존 방법보다 분류 성능을 높이는 방법에 대해 제안한다. 추가적으로 GMPHD 필터를 사용하여 추적 성능을 최대로 향상시킨다. 제안된 방법은 기존의 방법과 비교하여 분류 정확도에서 더 높은 성능을 보였으며, 특히 알고리즘의 실패를 방지할 수 있다는 것을 보인다. Researches are underway to use a radar sensor, a sensor used for object recognition in vehicles, for position estimation. In particular, a method of classifying dynamic and static objects using the Doppler velocity, the output from the radar sensor, and calculating ego-motion using only static objects has been researched recently. Also, for the existing dynamic object classification, several methods using RANSAC or robust filtering has been proposed. Still, a classification method with higher performance is needed due to the nature of the position estimation, in which even a single failure causes large effects. Hence, in this paper, we propose a method to improve the classification performance compared to existing methods through tracking and filtering of dynamic objects. Additionally, the method used a GMPHD filter to maximize tracking performance. In effect, the method showed higher performance in terms of classification accuracy compared to existing methods, and especially shows that the failure of the RANSAC could be prevented.