http://chineseinput.net/에서 pinyin(병음)방식으로 중국어를 변환할 수 있습니다.
변환된 중국어를 복사하여 사용하시면 됩니다.
도로 주행환경 분석을 위한 빅데이터 플랫폼 구축 정보기술 인프라 개발
정인택(In-taek Jung),정규수(Kyu-soo Chong) 한국산학기술학회 2018 한국산학기술학회논문지 Vol.19 No.3
본 연구는 차량센싱데이터, 공공데이터 등 다종의 빅데이터를 활용하여 주행환경 분석 플랫폼 구축을 위한 정보기술 인프라를 개발하였다. 정보기술 인프라는 H/W 기술과 S/W 기술로 구분할 수 있다. 먼저, H/W 기술은 빅데이터 분산 처리를 위한 병렬처리 구조의 소형 플랫폼 서버를 개발하였다. 해당 서버는 1대의 마스터 노드와 9대의 슬래이브 노드로 구성하였으며, H/W 결함에 따른 데이터 유실을 막기 위하여 클러스터 기반 H/W 구성으로 설계하였다. 다음으로 S/W 기술은 빅데이터 수집 및 저장, 가공 및 분석, 정보시각화를 위한 각각의 프로그램을 개발하였다. 수집 S/W의 경우, 실시간 데이터는 카프카와 플럼으로 비실시간 데이터는 스쿱을 이용하여 수집 인터페이스를 개발하였다. 저장 S/W는 데이터의 활용 용도에 따라 하둡분산파일시스템과 카산드라 DB로 구분하여 저장하는 인터페이스를 개발하였다. 가공 S/W는 그리드 인덱스 기법을 적용하여 수집데이터의 공간 단위 매칭과 시간간격 보간 및 집계를 위한 프로그램을 개발하였다. 분석 S/W는 개발 알고리즘의 탐재 및 평가, 장래 주행환경 예측모형 개발을 위하여 제플린 노트북 기반의 분석 도구를 개발하였다. 마지막으로 정보시각화 S/W는 다양한 주행환경 정보제공 및 시각화를 위하여 지오서버 기반의 웹 GIS 엔진 프로그램을 개발하였다. 성능평가는 개발서버의 메모리 용량과 코어개수에 따른 연산 테스트를 수행하였으며, 타 기관의 클라우드 컴퓨팅과도 연산성능을 비교하였다. 그 결과, 개발 서버에 대한 최적의 익스큐터 개수, 메모리 용량과 코어 개수를 도출하였으며, 개발 서버는 타 시스템 보다 연산성능이 우수한 것으로 나타났다. This study developed information technology infrastructures for building a driving environment analysis platform using various big data, such as vehicle sensing data, public data, etc. First, a small platform server with a parallel structure for big data distribution processing was developed with H/W technology. Next, programs for big data collection/storage, processing/analysis, and information visualization were developed with S/W technology. The collection S/W was developed as a collection interface using Kafka, Flume, and Sqoop. The storage S/W was developed to be divided into a Hadoop distributed file system and Cassandra DB according to the utilization of data. Processing S/W was developed for spatial unit matching and time interval interpolation/aggregation of the collected data by applying the grid index method. An analysis S/W was developed as an analytical tool based on the Zeppelin notebook for the application and evaluation of a development algorithm. Finally, Information Visualization S/W was developed as a Web GIS engine program for providing various driving environment information and visualization. As a result of the performance evaluation, the number of executors, the optimal memory capacity, and number of cores for the development server were derived, and the computation performance was superior to that of the other cloud computing.
통합 데이터베이스 구축을 위한 Open API 기반 다종 공공데이터의 데이터 보간 및 공간 매칭에 관한 연구
정인택(Jung, In taek),정규수(Chong, Kyu Soo) 대한교통학회 2017 대한교통학회 학술대회지 Vol.77 No.-
한국건설기술연구원은 현재 차량센싱데이터 및 다종 공공데이터를 활용하여 도로 주행환경 분석을 위한 플랫폼 시스템을 개발 중에 있다. 개발 중인 플랫폼에서 수집하고 있는 공공데이터는 Open API 기반의 실시간 도로기상 및 교통 정보를 말하며, 각 데이터 별로 제공되는 시간주기 및 공간 단위가 서로 다르다. 이로 인하여 장래 주행환경 예측모형의 설명변수로 사용하기 위한 동일한 시/공간 단위의 데이터베이스로 구축하기가 어렵다. 따라서 본 연구에서는 다종의 공공데이터를 활용하여 통합 데이터베이스로 구축하기 위한 시계열 데이터 보간 및 공간 데이터 매칭방법을 제안하는 것을 목표로 한다. 즉, 시계열 데이터 보간법은 구간상수보간법, 선형보간법, 비선형보간법과 같이 제안된 3가지의 보간법 중 가장 효과적인 방법을 선정하고, 공간 데이터 매칭의 경우는 행정구역 경계선을 이용한 데이터 가중평균방법을 적용하였다. 여기서, 시계열 데이터의 특성상 시간 흐름에 따른 연속적인 보간이 이루어져야 하므로 선형과 비선형 보간법은 스플라인 보간법을 적용하였다. 선형보간법은 1차 스플라인 보간법을 적용하였으며, 비선형 보간법은 2, 3차 스플라인 보간법을 적용하였다. 사례분석 결과, 1차 스플라인 보간법이 가장 우수한 결과를 나타났으며, 제안한 공간매칭 방법도 우수한 결과를 보였다. 1차 스플라인 보간법은 다른 보간법들과 추정 오차의 차이가 크지 않지만, 시스템 내 알고리즘 구현 및 연산속도 측면에서 우수하다. 따라서 본 연구에서는 이 두 가지의 방법을 적용하여 통합 데이터베이스를 구축하였다. 구축된 데이터베이스는 차량센싱데이터와 함께 다양한 도로 주행환경 예측모형을 개발하기 위한 입력 자료로 활용되기를 기대한다.