An Efficient Complex Event Processing Algorithm based on INFA-HTS for Out-of-order RFID Event Streams

( Jianhua Wang ),( Tao Wang ),( Lianglun Cheng ),( Shilei Lu ) 한국인터넷정보학회 2016 KSII Transactions on Internet and Information Syst Vol.10 No.9

With the aim of solving the problems of long processing times, high memory consumption and low event throughput in the current processing approaches in out-of-order RFID event streams, an efficient complex event processing method based on INFA-HTS (Improved Nondeterministic Finite Automaton-Hash Table Structure) is presented in this paper. The contribution of this paper lies in the fact that we use INFA and HTS to successfully realize the detection of complex events for out-of-order RFID event streams. Specifically, in our scheme, to detect the disorder of out-of-order event streams, we expand the traditional NFA model into a new INFA model to capture the related RFID primitive events from the out-of-order event stream. To high-efficiently manage the large intermediate capturing results, we use the HTS to store and process them. As a result, these problems in the existing methods can be effectively solved by our scheme. The simulation results of our experiments show that our proposed method in this paper outperforms some of the current general processing approaches used to process out-of-order RFID event streams.

An Efficient Complex Event Processing Algorithm based on Multipattern Sharing for Massive Manufacturing Event Streams

( Jianhua Wang ),( Yubin Lan ),( Shilei Lu ),( Lianglun Cheng ) 한국인터넷정보학회 2019 KSII Transactions on Internet and Information Syst Vol.13 No.3

Quickly picking up some valuable information from massive manufacturing event stream usually faces with the problem of long detection time, high memory consumption and low detection efficiency due to its stream characteristics of large volume, high velocity, many variety and small value. Aiming to solve the problem above for the current complex event processing methods because of not sharing detection during the detecting process for massive manufacturing event streams, an efficient complex event processing method based on multipattern sharing is presented in this paper. The achievement of this paper lies that a multipattern sharing technology is successfully used to realize the quick detection of complex event for massive manufacturing event streams. Specially, in our scheme, we firstly use pattern sharing technology to merge all the same prefix, suffix, or subpattern that existed in single pattern complex event detection models into a multiple pattern complex event detection model, then we use the new detection model to realize the quick detection for complex events from massive manufacturing event streams, as a result, our scheme can effectively solve the problems above by reducing lots of redundant building, storing, searching and calculating operations with pattern sharing technology. At the end of this paper, we use some simulation experiments to prove that our proposed multiple pattern processing scheme outperforms some general processing methods in current as a whole.

데이터센터 모니터링 시스템에서 대량 스트리밍 센서 데이터 처리

선동한,김성중,최경륜,황수찬 한국차세대컴퓨팅학회 2017 한국차세대컴퓨팅학회 논문지 Vol.13 No.6

데이터센터는 다양한 센서로부터 수많은 종류의 데이터를 수집하고 있으며 이러한 데이터는 데이터센터 모니터링시스템의 분석을 통해 센터의 효율 관리와 개선에 활용되고 있다. 최근에는 데이터센터의 대형화 추세에 따라 센서데이터 양이 폭발적으로 증가하고 모니터링 시스템은 대량의 실시간 스트리밍 데이터에 대한 분석 및 처리 방안이필요하게 되었다. 따라서 본 논문에서는 데이터 발생시간인 이벤트 시간을 기반으로 한 대량의 스트리밍 센서데이터 처리 방안과 데이터양의 증가에 따른 처리 확장성(scalability) 제공 방안을 제시하고자 한다. 이벤트 시간 기반스트리밍 처리를 위해서는 데이터 발생시간과 처리시간 사이의 시간 지연 문제가 해결되어야 하는데 이를 위해 필터링(filtering), 추가시간(slack time), 윈도우 더블링(window doubling), 조정시간(coordinate time) 등을 이용한 처리 방안을 제시한다. 또한 처리 확장성 제공 방안으로 분산 스트리밍 시스템을 활용한 모니터링 시스템 구축 방안을 제시하고 실험적 시스템 구현을 통해 그 효율과 성능을 분석한다. A data center collects a very large volume of data from various kinds of sensors that is used by the data center monitoring system for the center’s efficiency management and improvement. As the recent trend of large size data center leads to the explosion of sensor data, the monitoring system requires streaming data processing to process and to analyze large volume of real-time data. This paper proposes an event time based real-time streaming processing model for large sensor data. The event time is the time when the data is generated at a sensor. This paper also presents a method to provide scalability of streaming data processing. For the event time based real-time streaming processing, a latency problem between data generation time and processing time should be resolved. We provide a solution based on filtering, slack time, window doubling and coordinate time methods. In order to provide the scalability, this paper builds an experimental monitoring system based on distributed streaming systems and shows an analysis of its performance and efficiency.

Complex Sensor Event Processing for Business Process Integration

TEJADA, Pablo Rosales,JUNG, Jae-Yoon The Institute of Electronics, Information and Comm 2010 IEICE TRANSACTIONS ON COMMUNICATIONS - Vol.93 No.11

<P>Ubiquitous technologies such as sensor network and RFID have enabled companies to realize more rapid and agile manufacturing and service systems. In this paper, we addresses how the huge amount of real-time events coming from these devices can be filtered and integrated to business process such as manufacturing, logistics, and supply chain process. In particular, we focus on complex event processing of sensor and RFID events in order to integrate them to business rules in business activities. We also illustrate a ubiquitous event processing system, named ueFilter, which helps to filter and aggregate sensor event, to detect event patterns from sensors and RFID by means of event pattern languages (EPL), and trigger event-condition-action (ECA) in logistics processes.</P>

Top-k 질의 처리를 위한 오픈소스 복합 이벤트 처리 시스템의 확장

최중현,정형근,조은선,이강우 한국정보과학회 2018 정보과학회 컴퓨팅의 실제 논문지 Vol.24 No.4

이벤트 스트림에 대한 Top-k 질의는 현재까지 유입된 이벤트 중 주어진 속성값이 큰 상위 k 의 이벤트를 내어주는 것이다. 본 논문에서는 오픈소스 이벤트스트림 처리기인 Esper 엔진이 Top-k 질의를 효율적으로 지원할 수 있도록 확장하는 방법을 소개한다. 이를 위해 먼저 Esper 질의 언어의 문법을 Top-k 질의 지원을 위해 확장하였고, 상위 k개의 이벤트만 정렬하여 사용하는 효과적인 처리기를 제작하였다. 제작한 처리기와 Esper와의 결합을 위해서 추출 값 뷰(Derived View)를 확장하여 Top-k 기능을 구현하였다. 또한 제안한 방법은 기존의 Esper에서 제공되는 질의문 만을 통해서 작성한 질의에 비해 월등한 성능을 보이는 것을 실험으로 보였다. A Top-k query on an event stream yields k events, with the highest values among the entire input events. This paper introduces our work of extending and integrating the open source event stream processing system, Esper, with a new querying facility so that its engine would efficiently process a Top-k query. For this purpose, we extend Esper query language to support Top-k queries and implement the corresponding module to process queries in an efficient way by caching the highest k elements. Our query processing module is integrated to Esper as an extension of a Derived View of Esper in order to support Top-k queries. Finally, the proposed query shows enormous improvement in performance compared to the built-in query facilities provided by Esper.

RFID 데이터 스트림의 질의처리를 위한 미들웨어 구조

안성우,홍봉희,안준환 한국정보과학회 2009 데이타베이스 연구 Vol.25 No.2

Recently, many global enterprises build an RFID system for their RTE environments. In an RFID system, it is necessary to provide the RFID middleware managing RFID tag information captured by multiple RFID readers efficiently. RFID middleware systems should provide transparency for RFID data streams by heterogeneous readers and high performance for processing queries in real-time. They should also support new readers easily and accept large number of readers and queries. In this paper, we analyze requirements in order to process RFID data streams efficiently in the RFID middleware. We classify the requirements into the abstraction, the high performance, the extensibility, the scalability and the availability. We also propose the architecture of the RFID middleware based on various methods to meet five requirements. Finally, we design and implement the RFID middleware architecture for providing efficient query processing on RFID data streams. 최근에 많은 글로벌 기업들이 자사의 RTE 환경을 구축하기 위해서 RFID 시스템을 도입하고 있다. RFID 시스템에는 다수의 리더에서 생성된 RFID 태그의 정보를 효율적으로 관리하기 위한 미들웨어가 필수적이다. RFID 미들웨어는 다양한 이기종 리더에서 수집된 RFID 데이터 스트림에 대한 추상화를 제공해야 하며, 이를 실시간으로 응용에 전달하기 위해서 고성능 질의처리가 가능해야 한다. 또한, 새로운 기종의 리더를 미들웨어에 쉽게 적용시킬 수 있도록 확장성을 제공해야 하며, 질의와 리더에 대한 규모 가변성을 제공해야 한다. 본 논문에서는 RFID 데이터 스트림의 효율적인 처리를 위한 미들웨어의 요구사항을 추상화, 고성능, 확장성, 규모 가변성, 고가용성의 5가지로 분류한다. 또한, 이러한 요구사항을 만족시키기 위한 다양한 기법들을 제시하며 RFID 미들웨어 구성을 위해 제시한 기법들의 적용 방안을 제안한다. 마지막으로, RFID 미들웨어 구조를 설계하고 구현함으로써 RFID 데이터 스트림에 대한 효율적인 질의처리가 가능함을 보여주고 있다.

RFID에서의 복합 이벤트 처리를 위한 스트림 이벤트 마이닝 기법

박용민(Yong-min Park),오영환(Young-hwan Oh) 한국통신학회 2009 韓國通信學會論文誌 Vol.34 No.6D

RFID 기술은 객체 식별 및 모니터링 목적을 위해 사용된다. 이러한 RFID 시스템은 실시간 연속적인 데이터를 무한히 발생하는 특징을 가지며 이러한 데이터를 효율적으로 처리할 수 있는 연구가 요구되어진다. 실시간 연속적인 데이터를 효율적으로 처리하기 위한 방법으로 이벤트 기반의 복합 이벤트 처리기술이 사용되고 있다. 이러한 복합 이벤트 처리 기술은 이벤트간의 상호 연관성을 분석하기 위해 규칙(Rule) 기반의 이벤트 처리 기술을 사용한다. 복합 이벤트 처리기술은 사용자가 이벤트 스트림으로부터 자신들이 원하는 정보를 미리 규칙으로 정의하여 등록하고, 입력되는 이벤트 스트림 중 정의된 규칙에 부합하는 이벤트를 추출하는 기술이다. 하지만 사용자가 많거나 한 사용자가 여러 규칙을 등록하게 되면 이벤트 처리기에서는 여러 규칙을 처리해야 하며 많은 양의 연속적인 이벤트와 규칙을 처리하는 방법에 따라 이벤트 처리 효율성이 달라 질 수 있다. 본 연구에서는 입력되는 RFID 이벤트를 스트림 마이닝에서의 빈발항목 탐색기법을 이용하여 빈발항목을 탐색하고 이를 통해 미리 정의된 규칙을 빈발항목에 고려하여 규칙의 순위를 변경하여 입력되는 이벤트 스트림을 해당 규칙에게로 보다 빠르게 찾을 수 있도록 알고리즘을 제안한다. 실험 결과 제안하는 알고리즘은 기존의 순차 탐색 알고리즘과 비교하여 이벤트 탐색 시간을 줄임으로 우수성을 확인하였다. RFID technology is gaining adoption on an increasing scale for tracking and monitoring purposes. Wide deployments of RFID system will soon generate an unprecedented volume of data. Emerging application require the REID data to be filtered and correlated for complex pattern detection and transformed to events that provide meaningful, actionable information to end application. Efficiently processing a real-time continuous data the complex event processing technique of event base is used with the method for. Like this complex event processing technique uses the event processing technique of Rule-based which analyzes characteristic of event for. Complex event processing technique the user the themselves wants from event stream about under justice to register information which in the event stream which is input it is a technique which extracts the event which corresponds in the rule which is defined. In this work, RFID events which are input frequency item search technique from stream mining about under using it will search a frequency item from the research which it sees and it will reach and to lead the rule which is defined in advance frequency item about under considering to corresponding rule to see the event stream which about under the order change is input the ranking of rule an algorithm the possibility of seeking quickly in order to be, it proposes. Experimental result the algorithm which it proposes about under sequential search algorithm and comparison of existing reduces an event search time with confirmed a superiority.

효율적인 분산 복합 이벤트 처리를 위한 탐욕적 규칙 분배 알고리즘

신유주,이재길 한국정보과학회 2019 정보과학회논문지 Vol.46 No.12

Complex event processing (CEP) is defined as event processing for multiple stream sources to infer events that suggest complicated circumstances. As the size of stream data becomes larger, CEP engines have been parallelized to benefit from distributed computing. However, distributed CEP could duplicate redundant stream data and increase latency without consideration about the computational cost on each engine after the allocation of stream data and CEP rules. In this paper, we suggest an efficient rule allocation algorithm to prevent such situations. This algorithm determines event rules priorities for the allocation, wherein the rule with higher priority is allocated first to the engine that minimizes the increase of the value of the proposed cost function. We prove the superiority of our algorithm in two tests. In the optimization verification test, our algorithm achieves the results closest to the optimal results compared with the other algorithms. In the performance test, our algorithm shows lower latency and data replication ratio in the distributed CEP system using real world dataset and event rules. 복합 이벤트 처리 시스템은 여러 스트림 데이터를 실시간으로 받아 유의미한 복잡한 상황을 이벤트 규칙이나 질의, 연산으로 찾아내고 분석하는 시스템을 말한다. 실시간으로 들어오는 데이터양이 증가하게 되면 여러 스트림 데이터와 이벤트 규칙을 여러 대의 서버에 분배해 처리하게 된다. 하지만 각 서버에 가해질 부하에 대한 고려 없이 스트림 데이터와 이벤트 규칙을 분배하게 되면 스트림 데이터가 과도하게 복제되어 네트워크 입출력에 부하를 주고 분배된 이벤트 규칙과 스트림 데이터를 맞춰보는 시간이 증가하게 된다. 본 논문에서는 이를 막기 위해 효율적인 스트림 데이터 빛 이벤트 규칙 분배 알고리즘을 제안한다. 이 알고리즘은 이벤트 규칙에 점수를 부여하고 점수가 큰 순서대로 이벤트 규칙을 정렬한다. 분배 시에는 주어진 전체 부하 함숫값을 가장 작게 증가시키는 서버에 각 이벤트 규칙을 정렬된 순서대로 하나씩 분배한다. 제안한 알고리즘은 최적화 검증과 성능 실험을 통해 그 우수성을 보였다. 최적화 검증에서는 합성 데이터를 이용해 이 알고리즘이 다른 알고리즘에 비해 최적의 분배 결과에 가장 가깝다는 것을 보인다. 성능 실험에서는 실제 데이터와 이벤트 규칙을 사용한 분산 복합 이벤트 처리 시스템에서 복제율과 지연시간을 다른 대안 알고리즘과 비교해 제안한 알고리즘의 성능 우위를 입증했다.

복합 이벤트 스트림 질의 처리 성능 개선을 위한 질의 전처리 도구

최중현(Joong-Hyun Choi),조은선(Eun-Sun Cho),이강우(Kang-Woo Lee) 한국정보과학회 2015 정보과학회 컴퓨팅의 실제 논문지 Vol.21 No.8

복합 이벤트 스트림 처리 시스템(Complex Event Processing System)은 연속적으로 발생하는 이벤트의 스트림을 효율적으로 처리하기 위한 시스템으로써, IoT 시스템에서 처리되는 센서 데이터 등 최근 생활 속에서 그 필요성이 많이 나타나고 있다. 그러나 아직은 질의 처리의 성능에 대해 개발자의 책임으로 돌리고 있는 부분이 있어 이용에 세심한 주의가 요구되고 있다. 그 중 한 예로, 향상된 성능을 가지는 동일한 의미의 질의를 선정하기 위한 충분할 만큼의 안내는 제공되고 있지 않은 상태이다. 본 논문에서는 이벤트 스트림 처리 시스템의 성능 개선을 위한 질의 전처리 도구를 제안한다. 이 도구는 입력된 질의를 분석하여 성능에 나쁜 영향을 미치는 패턴의 질의로 판정 되면, 성능을 향상시킬 수 있는 대안을 제시해줌으로써 개발자들의 스트림 질의 성능에 대한 부담을 덜어주게 된다. 결과적으로 디버깅, 테스팅, 성능 조정의 어려움을 해소하는 데에 도움을 줄 것으로 기대한다. A complex event processing system, becoming useful in real life domains, efficiently processes stream of continuous events like sensor data from IoT systems. However, those systems do not work well on some types of queries yet, so that programmers should be careful about that. For instance, they do not sufficiently provide detailed guide to choose efficient queries among the almost same meaning queries. In this paper, we propose an query preprocessing tool for event stream processing systems, which helps programmers by giving them the hints to improve performance whenever their queries fall in any possible bad formats in the performance sense. We expect that our proposed module would be a big help to increases productivity of writing programs where debugging, testing, and performance tuning are not straightforward.

실시간 위험 분석과 의사 결정을 위한 시공간 연속질의 규칙 기반의 복합 이벤트 처리 프레임워크

량이화이,홍봉희,이지완,김우찬 한국정보과학회 2020 데이타베이스 연구 Vol.36 No.1

Rule-based stream data processing is required for real-time risk analysis and response processing of target objects collected from radar, sonar, and electromagnetic sensors installed in combat ships. This paper proposes a framework in which all the rules for filtering, classifying, analyzing, and responding to successively collected target objects can be dynamically added, changed, and deleted. We propose a framework for developing surveillance control applications of combat ships with complex event processing rules based on a continuous spatiotemporal query for real-time analysis of target objects that are dangerous to combat ships. It is seen as an implementation experiment that the proposed surveillance control application framework can dynamically define and use all rules necessary for processing stream data of target objects. 전투 함정에 설치된 레이더, 소나 및 전자파 센서로 부터 수집된 표적 객체들에 대한 실시간 위험 분석과 대응 처리를 위한 규칙 기반 스트림 데이터 처리가 필요하다. 이 논문은 연속적으로 수집되는 표적객체들의 여과, 분류, 분석, 대응을 위한 모든 규칙들이 동적으로 추가, 변경, 삭제될 수 있는 프레임워크를 제시한다. 전투 함정에 위험이 되는 표적 객체를 실시간 분석하기 위한 시공간 연속 질의 기반 복합 이벤트 처리 규칙들로 전투함정의 감시통제 응용을 개발하는 프레임워크를 제안한다. 제안된 감시 통제 응용 프레임워크는 표적 객체들의 스트림 데이터 처리에 필요한 모든 규칙을 동적으로 정의하고 사용할 수 있음을 구현 실험으로 보인다.