실시간 공간 빅데이터 분석을 위한 복합 이벤트 처리 시스템 설계 및 응용

윤수식,최형주,김정은,이재길 한국정보과학회 2015 데이타베이스 연구 Vol.31 No.3

Spatial big data processing has attracted significant attention due to the proliferation of Internet of Things(IoT) technology and mobile devices. Furthermore, the demand for real-time processing has been increasing since the importance of ubiquitous computing has become widely recognized. However, existing method for spatial big data processing, such as SpatialHadoop, is not suitable for real-time processing because it is based on batch processing, which collects input data as sets of records and then processes each set as a unit. In addition, Complex Event Processing(CEP) engines, such as Esper and Drools, do not have sufficient ability to handle horizontal scalability and spatial operation. Also, distributed real-time computation system, such as Storm, is inadequate to analyze the complex relations or conditions of information generated from diverse sources. In this paper, a design and application process for a complex event processing system for real-time spatial big data is proposed. First, Storm is adopted as a distributed system for horizontal scalability. Then, the Drools CEP engine is combined with a bolt (a logical unit of Storm). Additionally, spatial data types and operators are defined and implemented in the Drools engine. Finally, system architecture based on real-world applications is introduced, focusing on complex event processing for a freight car case. 최근 IoT 기술의 발달과 모바일 디바이스의 대중화로 공간 정보를 포함하는 데이터가 급격하게 증가함에 따라 공간 빅데이터 처리 기술이 많은 관심을 받고 있다. 또한, 유비쿼터스 컴퓨팅의 중요성이 널리 인식되면서 실시간 데이터 처리에 대한 수요가 증가하고 있다. 하지만, 기존의 SpatialHadoop과 같은 공간 빅데이터 처리 방법은 수집된 데이터를 일괄적으로 처리하는 배치 처리 방식으로 일정량 이상의 데이터를 수집한 후에야 분석이 가능하기 때문에 실시간 처리에는 불리하다. 또한, Esper나 Drools와 같은 복합 이벤트 처리 엔진은 수평적 확장이 불가능하기 때문에 대용량 데이터 처리에 한계가 있으며, 공간 정보 처리 능력도 결여되어있다. 마지막으로 Storm과 같은 실시간 분산 처리 시스템은 다양한 종류의 데이터들에 대한 복합적인 관계 분석 능력이 미흡하다. 본 논문에서는 공간 빅데이터의 실시간 분석을 위한 복합 이벤트 처리 시스템 설계 및 응용에 대해 기술한다. 먼저, 대용량의 실시간 데이터 처리를 위한 수평적 확장을 위해 Storm을 분산 처리 시스템으로 도입하였다. 그리고 복합 이벤트 처리를 위해 Drools 엔진을 Storm의 논리적 단위인 볼트와 결합하였다. 또한, 공간 데이터 처리를 위해 Drools 엔진에 공간 데이터 타입과 연산자를 구현하였다. 마지막으로, 설계한 시스템을 실제 응용인 “화물차 복합 이벤트”에 적용한 결과를 제시하였다.

리눅스 기반 실시간 처리 VoIP 단말기 시스템의 설계 및 구현

이명근,이상정,서정민,임재용,Lee, Myeong-Geun,Lee, Sang-Jeong,Seo, Jeong-Min,Im, Jae-Yong 한국정보처리학회 2001 정보처리학회논문지 A Vol.8 No.4

본 논문에서는 리눅스를 기반으로 실시간 음성 처리 VoIP 단말기를 설계 구현한다. 설계 구현하는 하드웨어 시스템은 i486 프로세서를 기반으로 설계되며, 음성 코덱칩을 사용하여 실시간으로 음성 데이터를 처리한다. 또한 실시간 음성 데이터를 관리하고 처리하기 위해 리눅스 기반 실시간 처리 운영 체제인 RTLinux를 포팅하여 실시간 음성처리 모듈을 구현한다. 음성처리에 사용한 음성처리 모듈은 ITU-T 표준 음성 코덱인 G.723.1 사용하여 30ms 내에 24바이트로 인코딩/디코딩된 음성 데이터를 전송하도록 하고, 음성 전달의 QoS를 보장해 주기 위해서 리눅스에 실시간 음성처리 디바이스 드라이버를 설계 구현한다. 설계 구현하는 시스템의 테스트 및 타당성 검증을 위해 음성채팅 응용 프로그램을 단말기에 구현하여 통화품질을 시험한다. In this paper, a VoIP (Voice on Internet Protocol) terminal system, which can process voice in real time based on Linux, is designed and implemented. The hardware of it is designed using a i486 processor and a DSP codec chip which encodes and decodes voice data in real time. As an operating system, RTLinux, which is a real-time operating system based on Linux, is ported to manage real-time voice processing. The voice processing module of the system uses G.723.1 voice codec of ITU-T standard. It transfers voice data within 30ms to assure good voice quality. In order to satisfy the real time requirements and QoS (Quality-of-Service) for the voice data, the real-time voice processing device driver is designed and implemented. To verify the system, the chatting application program is developed and tested for QoS of the system.

안전한 OSGi 프레임워크에서의 실시간 데이터 스트림 처리 방법

차지윤,변영철,이동철 보안공학연구지원센터 2009 보안공학연구논문지 Vol.6 No.6

OSGi는 로컬 네트워크에서 하드웨어 및 미들웨어에 대한 상호 호환성 및 안전한 접근을 위한 보안성을 보장한다. 홈 네트워크 서비스가 복잡해짐에 따라 홈 네트워크 내에 실시간 데이터를 생성하는 센서가 추가되고 이 센서들을 활용한 OSGi 응용 서비스들이 증가하고 있다. 하지만, OSGi 응용에서는 이러한 센서에서 획득 가능한 실시간 센서 데이터를 효과적으로 처리하는 방법에 관한 연구는 미진하다. 또한, 실시간 데이터를 처리하기 위하여 대부분의 OSGi 기반 응용에서는 응용에 종속적인 미들웨어를 사용하거나 실시간 데이터의 처리와 가공에 대해서는 고려하지 않는다. 따라서 본 논문에서는 OSGi 응용에서 실시간 데이터를 활용하여 서비스를 효율적으로 제공할 수 있는 OSGi 응용 프레임워크를 제안한다. 이를 위하여 OSGi 응용으로 하여금 표준화된 방법으로 실시간 데이터를 처리하도록 지원하는 ALE 기반 실시간 센서 스트림 처리 미들웨어와의 연동 방법에 대하여 제안한다.

스트림-리즈닝을 위한 실시간 사물인터넷 빅-데이터 처리^☆

윤창호 ( Chang Ho Yun ),박종원 ( Jong Won Park ),정혜선 ( Hae Sun Jung ),이용우 ( Yong Woo Lee ) 한국인터넷정보학회 2017 인터넷정보학회논문지 Vol.18 No.3

스마트-시티는 스마트-시티의 사물인터넷(Internet of Things: IoT) 디바이스를 비롯한 수많은 인프라를 지능적으로 관리하고, 다양한 스마트 어플리케이션을 도시민에게 제공한다. 스마트-시티에서는 스마트-시티 어플리케이션에서 필요한 다양한 정보를 제공하기 위하여 수많은 사물인터넷 기기들로부터 끊임없이 발생하는 대규모의 스트림 빅-데이터를 지능적으로 처리하는 기능이 필요하다. 하지만, 스마트-시티에서 대규모의 스트림 빅-데이터를 처리하는 것에는 실시간 처리와 관련된 제약들이 존재한다. 본 스마트-시티-사업단에서는 선행 연구에서 스마트-시티미들웨어와 이를 이용한 스트림-리즈닝 방법론 및 시스템을 개발하였다. 스마트-시티에서 스마트서비스를 제공하기 위하여, 스마트-시티-사업단에서는 스트림-리즈닝을 사용하는 방법론을 사용한다. 이 스트림-리즈닝은 대용량 데이터의 실시간 처리를 필요로 한다. 따라서, 후속연구로서 스마트-시티미들웨어의 클라우드-컴퓨팅 플랫폼을 이용하여 스트림-리즈닝을 위한 실시간 분산병렬처리 클라우드-컴퓨팅 방법론과 시스템을 개발하였다. 본 논문에서는 스마트-시티에서 발생하는 사물인터넷빅-데이터를 스트림-리즈닝에 사용하기 위하여 이 후속연구에서 개발된 클라우드 기반 실시간 분산병렬처리 연구결과를 소개한다. 스마트-시티의 각종 센서들로부터 전송되어지는 사물인터넷 빅-데이터를 사용하여 스트림-리즈닝하는 데 필요한 클라우드-컴퓨팅 기반의 실시간 분산처리 방법론과 시스템을 소개하고 있으며, 이 방법론을 선행연구에서 개발한 스마트-시티 미들웨어에 구현하여 실시간 분산처리 성능을 평가한 것을 소개한다. Smart Cities intelligently manage numerous infrastructures, including Smart-City IoT devices, and provide a variety of smart-city applications to citizen. In order to provide various information needed for smart-city applications, Smart Cities require a function to intelligently process large-scale streamed big data that are constantly generated from a large number of IoT devices. To provide smart services in Smart-City, the Smart-City Consortium uses stream reasoning. Our stream reasoning requires real-time processing of big data. However, there are limitations associated with real-time processing of large-scale streamed big data in Smart Cities. In this paper, we introduce one of our researches on cloud computing based real-time distributed-parallel-processing to be used in stream-reasoning of IoT big data in Smart Cities. The Smart-City Consortium introduced its previously developed smart-city middleware. In the research for this paper, we made cloud computing based real-time distributed-parallel-processing available in the cloud computing platform of the smart-city middleware developed in the previous research, so that we can perform real-time distributed-parallel-processing with them. This paper introduces a real-time distributed-parallel-processing method and system for stream reasoning with IoT big data transmitted from various sensors of Smart Cities and evaluate the performance of real-time distributed-parallel-processing of the system where the method is implemented.

실시간 초음파 영상을 위한 빔형성 및 포락선 검파의 GPU 가속 신호 처리

이원지,이명기 한국물리학회 2017 새물리 Vol.67 No.1

의료 영상 적용 분야에서 실시간 영상 재생을 위해 고속 신호 및 영상 처리는 필수 요건이다. 광음향 단층 촬영은 비침습적 방법으로 고해상도의 구조와 기능 및 분자 영상을 제공하는데, 특히, 3차원 영상 재구성, 기능 영상 및 실시간 영상 재생 등에는 빠른 신호 처리가 요구된다. 본 연구에서 우리는 실시간 영상 재생을 위해 그래픽 처리 장치(GPU)를 이용해 초음파 혹은 광음향 단층 촬영 등의 B-모드 영상을 재구성하는 고속 영상 신호 처리 방법을 제안한다. 영상 재구성에 요구되는 빔형성과 포락선 검파 과정을 대량의 GPU 코어를 이용한 병렬 계산으로 신호 처리 속도가 개선되었다. 기존의 신호 처리 방법인 중앙처리장치만(CPU)을 이용했을 경우 128 $\times$ 3200 픽셀 크기의 B-모드 영상 한 프레임의 신호 처리에 걸린 시간이 3.165 초인 반면에, GPU를 이용한 경우 평균적으로 2.778 ms로 3차원 영상 재구성 및 실시간 영상 재생 등을 위해 충분히 짧은 시간이었다. High-speed signal processing is essential for real-time displays in medical imaging applications. Photoacoustic tomography provides structural, functional, and molecular imaging with high resolution in a noninvasive way. Especially, three-dimensional image reconstruction, functional imaging, and real-time display require fast signal processing. Here, we provide a high-speed signal processing method using a graphic processing unit (GPU) to reconstruct ultrasound or photoacoustic B-mode images for real-time displays. The signal processing speed was improved by parallel processing of the beam formation and the envelop detection required for image reconstruction using a massive number of GPU cores. The time using a GPU was 2.778 ms, on average, to process a single-frame B-mode image with 128 $\times$ 3200 pixels while it was about 3.165 seconds using a central processing unit (CPU). The processing time using a GPU was short enough to reconstruct three-dimensional images for real-time displays.

PTZ 제어에 의한 이중차영상 기반의 움직임 추적 시스템의 설계 및 구현

양금석,양승민,Yang Geum-Seok,Yang Seung Min 한국정보처리학회 2005 정보처리학회논문지B Vol.12 No.3

이동물체 추적은 카메라와 물체사이의 이동관계에 따라 카메라는 고정되어 있고 물체가 이동하는 경우, 물체는 고정되어 있고 카메라가 움직이는 경우와 물체가 이동하고 카메라도 움직이는 경우로 분류된다. 이동 물체를 추적하는 기존의 방법으로는 차영상 기반의 방법과 광류(Optical Flow)를 이용한 방법이 있다. 광류를 이용한 방법은 카메라와 물체 중에서 하나가 고정되어 있는 경우에 주로 쓰인다. 이 방법은 이전 프레임에서 구한 물체가 다음 프레임의 한 위치에 있을 때 시공간 벡터를 이용하여 물체의 이동을 인식하고 추적한다. 그러나 이 방법은 계산 량이 많아 처리속도가 느리기 때문에, DVR(Digital Video Recorder)과 같이 실시간 처리가 필요한 보안 시스템에서는 사용할 수 없다. 차영상을 이용한 방법은 카메라는 고정되어 있고 물체가 이동하는 경우에 적용 가능하며 배경영상과 차영상을 이용하여 물체를 추적한다. 이 방법은 계산 량이 적어 처리속도가 빠르기 때문에, 실시간 처리가 필요한 보안 시스템에 적합하다. 하지만, 카메라가 움직일 경우에는 배경영상을 구하기가 어려우므로 물체 검출을 할 수 없는 단점이 있다. 본 논문에서 설계, 구현한 PTZ(Pan-Tilt-zoom) 제어에 의한 차영상 기반의 이동물체 추적 시스템은 카메라와 물체가 모두 이동하는 상황에서 사용할 수 있다. 이 이동물체 추적 시스템은 차영상 기반방식의 장점을 이용, 실시간 처리가 가능하기 때문에 DVR과 같은 실시간 처리가 필요한 보안 시스템 구축을 용이하게 해 줄 것이다. Three different cases should be considered for motion tracking: moving object with fixed camera, fixed object with moving camera and moving object with moving camera. Two methods are widely used for motion tracking: the optical flow method and the difference frame method. The optical new method is mainly used when either one, object or camera is fixed. This method tracks object using time-space vector which compares object position frame by frame. This method requires heavy computation, and is not suitable for real-time monitoring system such as DVR(Digital Video Recorder). The different frame method is used for moving object with fixed camera. This method tracks object by comparing the difference between background images. This method is good for real-time applications because computation is small. However, it is not applicable if the camera is moving. This thesis proposes and implements the motion tracking system using the difference frame method with PTZ(Pan-Tilt-Zoom) control. This system can be used for moving object with moving camera. Since the difference frame method is used, the system is suitable for real-time applications such as DVR.

WEC-Sim : 하수처리장 최적 운영을 위한 시뮬레이터

이성구,안세영 한국디지털콘텐츠학회 2010 한국디지털콘텐츠학회논문지 Vol.11 No.4

하수 처리장은 화학적, 물리적, 생물학적 처리가 복합적으로 연계된 공정으로 구성 되는데, 각각의 단위공정과 전체시스템의 처리 성능 및 운영 상태의 정도를 파악 하려면 처리공정의 수학적 모델을 빠르게 연산 할 수 있는 컴퓨터 시뮬레이터를 이용하면 편리하다. 주어진 물리적 환경에서 처리공정의 오염물질, 화학물질, 생물학적 매체의 질량 수지를 계산하는 컴퓨터 시뮬레이터는 데이터의 입출력 과정과 수학모델의 연산과정을 효율적으로 수행하는 응용 소프트웨어로써 처리조 내부에서 일어나는 반응의 상태를 정량적으로 추산하는 도구이다. 이러한 시뮬레이션 소프트웨어는 처리시설의 성능 및 효율을 예측하여 운용자에게 최적 관리를 위한 의사결정의 타당성을 제공하게 되는데, 시뮬레이션 소프트웨어를 처리시설에 적합하도록 시나리오를 설정하고 데이터 수집 시스템에 연결하면 실시간으로 처리시설의 분석이 가능한 자동화 운영 시스템의 역할을 수행한다. 본 논문에서는 통합전산망에서 수집되는 데이터를 시뮬레이션 소프트웨어에서 운용, 실제 운영 상태와 시뮬레이션 결과를 실시간 비교, 분석하여 최적의 운전인자를 도출할 수 있는 시나리오 운영 소프트웨어 “WEC-Sim”의 설계 및 구현에 대하여 논한다. In the management of a wastewater treatment plant which is a combination system of physical, chemical, and biological processes, computer simulator is an indispensable part for analysis of the operation status and evaluation of the treatment performance due to its fast computing speed. As an application software carrying out the data input-output operations and the mathematical calculations of the models, simulator is to be a powerful tool for estimating the treatment reaction and calculating mass balance of substrates, microorganisms, and chemicals within the treatment system in a given condition. Qualitative and quantitative prediction of treatment performance provides the plant manager with validity of decision-making through implementing modeling and simulation as a role of knowledge-based expert system in charge of automation and control. This paper shows the proceeding of design and development of the“WEC-Sim”software which is owned the various functions of data acquisition, monitoring, simulation, and control.

빅데이터 환경에서 스트림 질의 처리를 위한 인메모리 기반 점진적 처리 기법

복경수(Kyoungsoo Bok),육미선(Misun Yook),노연우(Yeonwoo Noh),한지은(Jieun Han),김연우(Yeonwoo Kim),임종태(Jongtae Lim),유재수(Jaesoo Yoo) 한국콘텐츠학회 2016 한국콘텐츠학회논문지 Vol.16 No.2

최근 대용량의 스트림 데이터를 분산 처리하기 위한 연구들이 진행되고 있다. 본 논문에서는 빅데이터 환경에서 실시간 스트림 데이터의 점진적 처리 기법을 제안한다. 제안하는 기법은 처음 스트림 데이터가 입력되면 임시 큐에 데이터를 저장하고 마스터 노드에 저장되어 데이터와 비교과정을 통해 마스터 노드에 동일한 데이터가 있는 경우 마스터 노드에서 가지고 있는 노드의 정보를 이용하여 해당 노드의 메모리에서 기존 처리 결과를 재사용한다. 기존 처리 결과가 없다면 처리하고 처리 결과를 메모리에 저장한다. 분산환경에서 점진적인 스트리밍 데이터 처리를 위해 노드의 작업 지연을 계산하여 노드의 부하를 파악하고 처리 시간 계산을 통해 각 노드의 성능을 고려한 잡 스케쥴링 기법을 제안한다. 제안하는 기법의 우수성을 보이기 위해 기존 기법과의 질의 수행 시간 비교를 위한 성능평가를 수행한다. Recently, massive amounts of stream data have been studied for distributed processing. In this paper, we propose an incremental stream data processing method based on in-memory in big data environments. The proposed method stores input data in a temporary queue and compare them with data in a master node. If the data is in the master node, the proposed method reuses the previous processing results located in the node chosen by the master node. If there are no previous results of data in the node, the proposed method processes the data and stores the result in a separate node. We also propose a job scheduling technique considering the load and performance of a node. In order to show the superiority of the proposed method, we compare it with the existing method in terms of query processing time. Our experimental results show that our method outperforms the existing method in terms of query processing time.

스마트시티의 빅 센서 데이터와 빅 GIS 데이터를 융합하여 실시간 온라인 소음지도로 시각화하기 위한 분산병렬처리 방법론

박종원 ( Jong-won Park ),심예찬 ( Ye-chan Sim ),정혜선 ( Hae-sun Jung ),이용우 ( Yong-woo Lee ) 한국인터넷정보학회 2018 인터넷정보학회논문지 Vol.19 No.4

스마트시티는, 각종 센서들로부터의 데이터를 수집, 처리하여 시민들을 위하여, 다양한 스마트 서비스들을 제공한다. 본 논문에서는, 이과 같은 스마트시티 서비스 중의 하나로서, 소음지도를 시민에게 실시간으로 제공하기 위한 연구 결과를 발표한다. 본 논문은, 스마트 시티의 융복합된 유비쿼터스센서네트워크들로부터 끊임없이 전달되는 대량의 스트림 데이터를, 실시간으로 전달받아서, 지리정보시스템 (GIS)의 정보들과 융합하여, 시각적으로 소음정보를 표시하여 주는, 3차원 소음지도를 실시간으로 제작하는, 실시간 분산병렬처리 방법론을 제시하였다. 이 방법론을 오픈소스소프트웨어를 활용하여 실제 시스템으로 개발되어 구현하였다. 본 논문에서는, 이와 같이 구현된 시스템들 중에서, 아파치 스톰(Apache Storm) 프레임워크를 사용하여 구현한 실제 시스템을 소개한다. 본 연구에서는, 이 실제 구현된 시스템을 성능평가하였다. 대량의 비정형 데이터를 실시간으로 처리하려면, 큰 컴퓨팅 파워가 필요하며, 필요한 컴퓨팅 파워의 규모도 사전에 알 수 없다는 문제들이 있다. 이 문제들을 해결하기 위하여, 본 연구에서는, 컴퓨팅 파워를 자유롭게 조절하여 공급할 수 있는. 클라우드 컴퓨팅을 사용하여 성능평가를 하였다. 이와 같은 성능평가를 통하여, 본 논문에서 제시한 방법론이 적절함을 확인하였고, 개발하여 구현한 시스템이 잘 작동함도 확인하였다. 나아가서는. 실시간으로 소음지도를 생산할 수 있음을 확인하였다. 본 논문은 이와 같은 성능평가 내용도 소개하고 상세히 설명한다. In smart cities, data from various kinds of sensors are collected and processed to provide smart services to the citizens. Noise information services with noise maps using the collected sensor data from various kinds of ubiquitous sensor networks is one of them. This paper presents a research result which generates three dimensional (3D) noise maps in real-time for smart cities. To make a noise map, we have to converge many informal data which include big image data of geographical Information and massive sensor data. Making such a 3D noise map in real-time requires the processing of the stream data from the ubiquitous sensor networks in real-time and the convergence operation in real-time. They are very challenging works. We developed our own methodology for real-time distributed and parallel processing for it and present it in this paper. Further, we developed our own real-time 3D noise map generation system, with the methodology. The system uses open source softwares for it. Here in this paper, we do introduce one of our systems which uses Apache Storm. We did performance evaluation using the developed system. Cloud computing was used for the performance evaluation experiments. It was confirmed that our system was working properly with good performance and the system can produce the 3D noise maps in real-time. The performance evaluation results are given in this paper, as well.

실시간 공간 상황 분석을 위한 공간 데이터 스트림 처리 시스템

권오제,김재훈,이기준 대한공간정보학회 2010 Spatial Information Research Vol.18 No.1

센서로부터 획득되는 데이터 스트림들 중에 특히 이동 객체에 대한 공간 정보를 담은 데이터 스트림은 상황 인지의 여러 응용 분야에 매우 유용하다. 하지만, 실시간으로 공간 스트림을 처리하는 것과 공간 상황 인지를 위한 복잡한 연산 처리 사이에는 중요한 기능적인 격차가 존재하는데, 이는 공간 스트림 처리와 상황 인지를 통합하는데 매우 큰 어려움을 준다. 본 논문에서는, 공간 스트림 처리와 공간 상황 인지 사이에 존재하는 기능적인 격차를 해결하기 위한 공간 데이터 스트림 처리 시스템인 SCONSTREAM(Spatial CONtext STREAm Management)를 제안한다. 본 논문에서 제안하는 시스템은 불필요한 공간 데이터 스트림을 전처리하고 상황 인지에 용이한 형태로 가공한다. 실험을 통해, 본 시스템이 공간 스트림 처리와 공간 상황 인지 사이에 존재하는 기능적인 격차를 해소할 수 있음을 보인다. Spatial data streams from sensors are useful in context-awareness for many types of applications. However, an important gap is found between spatial data stream management in real-time and complex computation for spatial context-awareness, and this brings about serious difficulty to integrate spatial data stream processing and context-awareness. In this paper, we present a system called SCONSTREAM(Spatial CONtext STREAm Management) that we have developed to resolve the gap between spatial data stream and context-awareness. The key approach of our system is to filter off unnecessary spatial data streams and convert them to the spatial context streams, which are smaller and more suitable to be processed by the context-awareness module than raw data from sensors. By experimentation, We show that SCONSTREAM resolves the functional gap between spatial stream processing and spatial context-awareness module.