3차원 공간 스캔을 위한 ToF-Stereo 융합 센서 시스템 설계

이윤주(Yun Ju Lee),유선국(Sun Kook Yoo) 한국스마트미디어학회 2023 스마트미디어저널 Vol.12 No.9

본 논문에서는 3차원 객체의 인식률을 높이고 객체 검출 품질이 보장되며, 환경에 강건한 3차원 공간 스캔용 ToF-Stereo 융합 센서 시스템을 제안한다. ToF-Stereo 센서 융합 시스템은 ToF 센서와 Stereo RGB 센서의 센싱 값을 융합하는 방식을 사용하며, 하나의 센서가 동작하지 않더라도 다른 하나의 센서를 이용하여 계속해서 객체를 검출해 나갈 수 있다. ToF 센서와 Stereo RGB 센서의 센싱 거리, 센싱 해상도, 빛 반사도 및 조도 등에 따른 품질이 달라지므로, 신뢰도 추정에 기반하여 센서의 기능을 조절할 수 있는 모듈을 두었다. ToF-Stereo 센서 융합 시스템은 ToF 센서와 Stereo RGB 센서의 센싱 값을 결합하고, 신뢰도를 추정한 후 신뢰도에 따라 센서의 기능을 조절하여 두 센싱 값을 융합하므로 3차원 공간 스캔의 품질을 향상할 수 있다. In this paper, we propose a ToF-Stereo fusion sensor system for 3D space scanning that increases the recognition rate of 3D objects, guarantees object detection quality, and is robust to the environment. The ToF-Stereo sensor fusion system uses a method of fusing the sensing values of the ToF sensor and the Stereo RGB sensor, and even if one sensor does not operate, the other sensor can be used to continuously detect an object. Since the quality of the ToF sensor and the Stereo RGB sensor varies depending on the sensing distance, sensing resolution, light reflectivity, and illuminance, a module that can adjust the function of the sensor based on reliability estimation is placed. The ToF-Stereo sensor fusion system combines the sensing values of the ToF sensor and the Stereo RGB sensor, estimates the reliability, and adjusts the function of the sensor according to the reliability to fuse the two sensing values, thereby improving the quality of the 3D space scan.

확장형 칼만 필터를 이용한 AGV의 센서융합

정경훈(Kyunghoon Jung),김정민(Jungmin Kim),도주철(Joocheol Do),김성신(Sungshin Kim) 한국지능시스템학회 2010 한국지능시스템학회 학술발표 논문집 Vol.20 No.2

본 논문은 AGV(autonomous guided vehicle)의 위치측정에 사용되는 센서융합을 확장형 칼만 필터(extended kalman filter)를 통하여 정밀도를 향상 시키는 방법에 관한 연구이다. 기존의 AGV에 사용된 센서융합은 비교적 응답 속도가 느린 전역 위치측정 센서의 공백을 응답속도가 빠른 지역 위치측정 센서를 이용하여 보완하는 방법이다. 하지만 이러한 방법은 비교적 오차가 큰 지역 위치측정 센서의 위치측정 데이터를 그대로 사용하기 때문에 높은 정밀도를 요구하는 AGV의 작업에는 적합하지 않다. 따라서 본 논문에서는 센서융합 시에 나타나는 위치측정 오차와 주행 도중 발생되는 전역 위치측정 센서의 오차를 최소화 하기위해 확장형 칼만 필터를 이용한 센서융합 방법을 제안한다. 본 논문에서 제안한 센서융합의 성능평가 실험을 위해 각각의 회전 반경으로 10회 반복 주행한 결과 센서융합을 통한 위치측정 정밀도가 향상됨을 확인할 수 있었다.

다중센서 오차특성을 고려한 융합 알고리즘

현대환(Daehwan Hyun),윤희병(Heebyung Yoon) 한국정보과학회 2009 정보과학회논문지 : 시스템 및 이론 Vol.36 No.4

기동물체 추적을 위해서 GPS, INS, 레이더 및 광학장비 등의 다양한 위치추적 센서가 이용되고 있으며, 기동물체의 강인한 추적성능을 유지하기 위해 이기종 센서의 효과적인 융합방법이 필요하다. 이기종 다중센서를 이용한 추적성능 향상을 위해 센서의 서로 다른 오차특성을 고려하여 각 센서의 측정치를 상이한 모델로 간주하여 융합하는 연구가 수행되었지만, 한 센서의 오차가 급격히 증가하는 구간에서 다른 센서의 추정치에 대한 오차가 증가하고 각 센서의 측정값이 참 값일 확률인 Sensor Probability 값에 대해 센서 측정치 변화를 실시간으로 반영하지 못하였다. 본 논문에서는 각 센서 칼만필터의 갱신추정치와 측정치 간의 차이에 대한 RMSE(Root Mean Square Error)를 비교하여 Sensor Probability를 구하고, 결합추정치를 다시 각 센서 칼만필터 입력값으로 대입하는 과정을 제외하여 센서 측정치에 대한 실시간적인 반영과 센서 성능이 급격히 저하되는 구간에서의 추적성능을 개선한다. 제안하는 알고리즘은 각 센서의 오차특성을 조건부 확률값으로 추가하여 각 센서의 Sensor Probability에 따라 가장 양호한 성능을 보이는 센서 위주로 트랙융합을 함으로써 강인성을 보장한다. 실험을 통해 UAV의 기동 경로를 생성하고 제안 알고리즘을 적용하여 다른 융합 알고리즘과 성능분석을 실시한다. Various location tracking sensors; such as GPS, INS, radar, and optical equipment; are used for tracking moving targets. In order to effectively track moving targets, it is necessary to develop an effective fusion method for these heterogeneous devices. There have been studies in which the estimated values of each sensors were regarded as different models and fused together, considering the different error characteristics of the sensors for the improvement of tracking performance using heterogeneous multi-sensor. However, the rate of errors for the estimated values of other sensors has increased, in that there has been a sharp increase in sensor errors and the attempts to change the estimated sensor values for the Sensor Probability could not be applied in real time. In this study, the Sensor Probability is obtained by comparing the RMSE (Root Mean Square Error) for the difference between the updated and measured values of the Kalman filter for each sensor. The process of substituting the new combined values for the Kalman filter input values for each sensor is excluded. There are improvements in both the real-time application of estimated sensor values, and the tracking performance for the areas in which the sensor performance has rapidly decreased. The proposed algorithm adds the error characteristic of each sensor as a conditional probability value, and ensures greater accuracy by performing the track fusion with the sensors with the most reliable performance. The trajectory of a UAV is generated in an experiment and a performance analysis is conducted with other fusion algorithms.

장애인의 실내 생활안정을 위한 무선센서 네트워크 다중센서 데이터융합에서 가중치 부여

서동혁,윤신숙 한국보조공학회 2011 보조공학저널 Vol.5 No.1

무선센서네트워크 시스템은 실세계의 상황정보를 추론하여 장애인들을 위한 지능적 안전보장 지원을 가능하게 할 수 있다. 이질적인 다중센서로 네트워크는 상황인식에 대한 수준을 향상시킬 수 있다. 무선센서네트워크 환경에서 다중센서 데이터융합은 상황추론에 도움이 되지만, 기존의 연구는 각종 센서들에 대하여 동일한 가중치를 부여함으로써 실상황에 대한 추론과 인식에서 불 합리성을 노출하였다. 본 논문에서는 장애인의 생활안전 보장을 위하여 Dempster-Shafer의 증거 이론에 기초한 무선센서 네트워크에서의 다중센서 데이터 융합할 때 센서별로 가중치를 부여하고 상황추론 성능 향상여부를 비교하였다. 다중센서 데이터융합기법을 통한 장애인 생활안전 방안을 강구할 때에 융합대상 정보들에 대한 가중치를 부여했을 때 향상된 상황정보를 추론할 수 있었 다.

첨단 NIT센서와 FRP 융합 스마트보강재를 활용한 건축물 구조성능 개선 및 안전모니터링시스템

하기주,이동렬,하영주,강현욱 대한건축학회지회연합회 2016 대한건축학회연합논문집 Vol.18 No.6

연구에서는 기존의 탄소섬유쉬트, 탄소섬유판과 재료역학적 성질은 동등하면서도 부착성능 및 내구성, 시공성, 경제성, 구조성능 등이 우수하고 현장 품질관리가 용이한 고성능 탄소섬유 보강재 즉, 매입형 FRP봉을 개발하고, 이와 첨단NIT센서를 융합하여 건축물의 안전성 확보와 효율적인 유지관리를 위하여 안전모니터링 시스템을 구축하고자 하는 연구이다. In addition, as the study on the improvement of structural performance of building and construction of safety monitoring system through the utilization of the smart reinforcing materials fused with NIT sensors and FRP, this study was performed by applying those materials to the reinforced concrete beam-column joint in order to verify the structural performance and improvement performance of the smart reinforcing materials. By comparing with the basis of the result obtained through the test, the level of improvement of structural performance was evaluated, and safety monitoring of structure was performed through the reinforcing materials and fused sensors. According to the test, the structural performance of reinforced concrete beam and beam-column joint applied with smart reinforcing materials was improved, and according to the safety monitoring of structure, stable sensor measuring information could be obtained. Based on the test results, it was confirmed that Advanced NIT Sensor and FRP Composition Smart Reinforcement improved the structural performance as the reinforcing materials of structure, and the real time monitoring based on internet for securing the safety of construction structure was smoothly carried out.

레이더 센서와 비전 센서를 활용한 다중 센서 융합 기반 움직임 검지에 관한 연구

김세진,변기훈,원인수,권장우 한국ITS학회 2017 한국ITS학회논문지 Vol.16 No.2

본 논문은 레이더 센서, 비전 센서를 활용한 다중 센서 융합 기반 움직임 검지에 관한 연구를 다룬다. 레이더 센서는 다량의 물체를 검지함에 있어 센서 자체의 움직임이 발생할 경우 주변건물이나 주변 가로수와 같은 사물 혹은 물체를 차량으로 오인하는 경우가 생긴다. 비전 센서의 경우 저렴하고 가장 많이 쓰는 형태이지만 빛, 흔들림, 날씨, 조도 등 외부환경에 취약하다는 문제점이 있다. 각 센서 간의 문제점을 보완하고자 센서 융합을 통한 움직임검지를 제안하게 되었고 실험환경 내에서 매우 우수한 검지율을 보이게 되었다 센서 간 융합에서 좌표 통일문제와 실시간 전송문제 등을 해결하였으며, 각 센서 간 필터링을 통한 비가공데이터(raw data)의 신뢰성을 높였다. 특히 영상에서는 가우시안 혼합모델(GMM, Gaussian Mixture Model)을 사용하여 레이더 센서의 단점을 극복하고자 했다. This Paper is for A study of sensor fusion using Radar sensor and Vision sensor in moving object detection. Radar sensor has some problems to detect object. When the sensor moves by wind or that kind of thing, it can happen to detect wrong object like building or tress. And vision sensor is very useful for all area. And it is also used so much. but there are some weakness that is influenced easily by the light of the area, shaking of the sensor device, and weather and so on. So in this paper I want to suggest to fuse these sensor to detect object. Each sensor can fill the other’s weakness, so this kind of sensor fusion makes object detection much powerful.

GPS 기반 추적레이더 실시간 바이어스 추정 및 정보융합을 통한 발사체 추적 성능 개선 연구

송하룡,윤석영,한유수 한국항공우주학회 2015 한국항공우주학회 학술발표회 논문집 Vol.2015 No.4

다중 센서 추적시스템에서 측정치의 융합은 다수의 센서 데이터들을 좀더 정확한 하나의 트랙 정보를 갖도록 하기 위해 요구된다. 다중센서 시스템에서 센서 바이어스, 위치 불확실성과 안테나 지향에러와 같은 센서 등록 에러는 각각의 센서가 공통 좌표에 놓일 수 있도록 하기 위해 반드시 제거되어야 한다. 만약 센서등록 에러가 적절하게 보상되지 않는다면, 거대한 추적에러 또는 같은 목표물을 향한 다수의 허수 트랙이 발생하게 되어 추적에 실패하게 된다. 특히, 발사체 추적에 있어서 각각의 추적장비는 반드시 적절한 센서등록 과정을 거쳐야 하며, 이 후 다중센서 융합알고리즘을 활용하면 발사체 추적성능을 높이고 다중 추적 시스템에 정확한 지향입력으로 활용 가능하게 된다. 그러므로 본 논문에서는 실시간 바이어스 추정/제거 알고리즘과 다중 센서 융합 기법을 제안하였다. 제안된 바이어스 추정 알고리즘은 GPS 와 다중 레이더 간의 의사 바이어스 측정치를 활용하였고, 다중 센서 융합알고리즘 적용을 통해 추적 성능을 향상하였다. 시뮬레이션을 위하여, 실제 KSLV-I 3 차 발사 시 사용된 GPS 및 추적레이더 데이터를 사용하여 알고리즘의 성능을 테스트 하였다. Multisensor tracking scheme requires fusion of multiple observations to get a combined and more accurate target track. In multisensor system, sensor registration errors such as sensor bias, calibration error, site position uncertainty and antenna orientation must be corrected so that the individual sensor data are expressed in a common reference frame. If registration error is not properly compensated, the error can cause large tracking error or formation of multiple track on the same target. Especially for space launch vehicle (SLV) tracking system, each multiple observation lies on the same reference frame and then fused trajectory can be the best track for slaving data to aid other tracking systems. Hence, this paper describes an on-line bias estimation/correction and multi-sensor data fusion scheme for launch vehicle tracking system. The proposed bias estimation architecture is designed based on pseudo bias measurement which derived from error observation between GPS and radar measurements. Then, multiple sensor fusion scheme is adapted to enhance tracking performance. For simulation, real GPS and radar tracking data of the 3rd mission of KSLV-I is presented in experimental verification.

다중센서 데이터융합 기반 상황추론에서 시간경과를 고려한 클러스터링 기법

유창근,박찬봉,Ryu, Chang-Keun,Park, Chan-Bong 한국전자통신학회 2013 한국전자통신학회 논문지 Vol.8 No.3

다중센서를 이용한 상황인식에서 시간변화는 고려해야 하는 요소이다. 센서가 감지하여 보고한 정보를 바탕으로 상황추론에 도달하고자 하는 경우, 일정 시간 간격별로 묶어서 검토하는 것이 유용하다. 본 논문에서는 시간경과를 고려하는 클러스터링 기법을 이용한 다중센서 데이터융합을 제안한다. 각 센서별로 일정시간 간격동안 수집되어 보고된 센싱 정보를 묶어 1차 데이터융합을 실시하고 그 결과를 대상으로 다시 2차 데이터융합을 실시하였다. Dempster-Shafer이론을 이용하여 다중센서 데이터융합을 실시하고 그 결과를 분석하여 상황을 추론하는데 시간간격을 기준으로 세분화시켜 평가하고 이것을 다시 융합함으로써 향상된 상황 정보를 추론할 수 있다. Time variation is the essential component of the context awareness. It is a beneficial way not only including time lapse but also clustering time interval for the context inference using the information from sensor mote. In this study, we proposed a novel way of clustering based multi-sensor data fusion for the context inference. In the time interval, we fused the sensed signal of each time slot, and fused again with the results of th first fusion. We could reach the enhanced context inference with assessing the segmented signal according to the time interval at the Dempster-Shafer evidence theory based multi-sensor data fusion.

이종센서 기반 지형정보구축 프레임워크

김원진,김창재,정동기,박준규 사단법인 인문사회과학기술융합학회 2017 예술인문사회융합멀티미디어논문지 Vol.7 No.3

Nowadays, a demand for low cost and up-to-date indoor and outdoor information acquisition is increasing in the fields of civil engineering, construction and emergency management. In order to build useful 3D geo-spatial information, the datasets acquired from various sensors should be registered each other. In this paper, we proposed an approach to mount an optical camera, a laser scanner and a GPS/IMU unit on the backpack system for complementary effects among various sensors. Self-calibration procedures to acquire interior orientation parameters of the relevant sensors and the System-calibration to interpret the geometric relationship among the sensors were considered. First, Self-calibration is performed based on a number of ground control points and the physical model of the optical camera. In addition, it is essential to design the System-calibration considering the coverage and characteristic of sensors. Based on this methodology, we proposed a mobile data acquisition solution to obtain indoor and outdoor 3D geo-spatial information efficiently. 최근에 실내외 공간정보를 근실시간으로 취득하여 토목,건축, 재난안전 등 다양한 분야에서 소규모지역에 대한 공간정보를 빠른 시간에 저비용으로 갱신하고자 하는 요구가 증가하는 추세이다. 유용한 3차원 공간정보를 구축하기 위해서는 다양한 센서에서 얻은 각각의 데이터를 정확하게 정합하고 해석해야 한다. 본 논문은 센서들의 상호보완을 위해 멀티센서(광학카메라, 레이저 스캐너)를 이용하고 위치정보와 자세정보를 활용하기 위해 GPS/IMU를 백팩시스템에 적용한다. 각 센서의 내부표정 요소를 취득하기 위한 셀프 캘리브레이션을 수행하고, 이종센서간 기하학적 관계를 해석하기 위한 시스템 캘리브레이션이 고려되었다. 우선, 셀프 캘리브레이션은 다수의 지상기준점과 광학카메라의 물리적 모델을 기반으로 수행된다. 더불어 시스템 캘리브레이션에서는 이종 센서들의 커버리지와 센서 특성을 고려한 캘리브레이션 설계가 필수적이다. 이러한 방법론을 기반으로 대용량의 실내외 3차원 공간정보를 효율적으로 취득하기 위한 이동형 3차원 공간정보 취득 솔루션을 제안한다.

다중센서 데이터융합을 이용한 장애아동의 실내생활 안전보장에 관한 연구

서동혁,윤신숙 한국보조공학회 2010 보조공학저널 Vol.4 No.2

무선센서네트워크에서의 데이터융합은 주로 에너지소비효율을 제고하는데 초점이 맞추어져 왔다. 무선센서네트워크의 주된 용도는 상황인식과 개인화서비스에 있으므로, 향상된 상황정보를 확보할 수 있는 다중센서데이터융합이 실행될 수 있어야 한다. 본 논문에서는 Dempster-Shafer의 증거이론을 이용하여 이기종 다중센서의 데이터융합을 구현하는 방안을 모색하고 이를 장애아동의 실내생활안전보장에 적용하였다. 다중센서데이터를 융합함으로써 고수준의 상황정보를 확보하고 이를 장애아동의 실내생활중 위험상황을 인지하여 실내생활안전을 보장하는 도구로 활용할 수 있었다.