비정형 빅데이터의 실시간 복합 이벤트 탐지를 위한 기법 = The Method for Real-time Complex Event Detection of Unstructured Big data

다국어 초록 (Multilingual Abstract)

Recently, due to the growth of social media and spread of smart-phone, the amount of data has considerably increased by full use of SNS (Social Network Service). According to it, the Big Data concept is come up and many researchers are seeking solutions to make the best use of big data. To maximize the creative value of the big data held by many companies, it is required to combine them with existing data. The physical and theoretical storage structures of data sources are so different that a system which can integrate and manage them is needed. In order to process big data, MapReduce is developed as a system which has advantages over processing data fast by distributed processing. However, it is difficult to construct and store a system for all key words. Due to the process of storage and search, it is to some extent difficult to do real-time processing. And it makes extra expenses to process complex event without structure of processing different data. In order to solve this problem, the existing Complex Event Processing System is supposed to be used. When it comes to complex event processing system, it gets data from different sources and combines them with each other to make it possible to do complex event processing that is useful for real-time processing specially in stream data. Nevertheless, unstructured data based on text of SNS and internet articles is managed as text type and there is a need to compare strings every time the query processing should be done. And it results in poor performance. Therefore, we try to make it possible to manage unstructured data and do query process fast in complex event processing system. And we extend the data complex function for giving theoretical schema of string. It is completed by changing the string key word into integer type with filtering which uses keyword set. In addition, by using the Complex Event Processing System and processing stream data at real-time of in-memory, we try to reduce the time of reading the query processing after it is stored in the disk.

국문 초록 (Abstract)

최근 소셜 미디어의 발달과 스마트폰의 확산으로 SNS(Social Network Service)가 활성화가 되면서 데이터양이 폭발적으로 증가하였다. 이에 맞춰 빅데이터 개념이 새롭게 대두되었으며, 빅데이터를 활용하기 위한 많은 방안이 연구되고 있다. 여러 기업이 보유한 빅데이터의 가치창출을 극대화하기 위해 기존 데이터와의 융합이 필요하며, 물리적, 논리적 저장구조가 다른 이기종 데이터 소스를 통합하고 관리하기 위한 시스템이 필요하다. 빅데이터를 처리하기 위한 시스템인 맵리듀스는 분산처리를 활용하여 빠른게 데이터를 처리한다는 이점이 있으나 모든 키워드에 대해 시스템을 구축하여 저장 및 검색 등의 과정을 거치므로 실시간 처리에 어려움이 따른다. 또한, 이기종 데이터를 처리하는 구조가 없어 복합 이벤트를 처리하는데 추가 비용이 발생할 수 있다. 이를 해결하는 방안으로 기존에 연구된 복합 이벤트 처리 시스템을 활용하여 실시간 복합 이벤트 탐지를 위한 기법을 제안하고자 한다. 복합 이벤트 처리 시스템은 서로 다른 이기종 데이터 소스로부터 각각의 데이터들을 통합하고 이벤트들의 조합이 가능하며 스트림 데이터를 즉시 처리할 수 있어 실시간 처리에 유용하다. 그러나 SNS, 인터넷 기사 등 텍스트 기반의 비정형 데이터를 텍스트형으로 관리하고 있어 빅데이터에 대한 질의가 요청될 때마다 문자열 비교를 해야 하므로 성능저하가 발생할 여지가 있다. 따라서 복합 이벤트 처리 시스템에서 비정형 데이터를 관리하고 질의처리가 가능하도록 문자열의 논리적 스키마를 부여하고 데이터 통합 기능을 제안한다. 그리고 키워드 셋을 이용한 필터링 기능으로 문자열의 키워드를 정수형으로 변환함으로써 반복적인 비교 연산을 줄인다. 또한, 복합 이벤트 처리 시스템을 활용하면 인 메모리(In-memory)에서 실시간 스트림 데이터를 처리함으로써 디스크에 저장하고 불러들이는 시간을 줄여 성능 향상을 가져온다.

참고문헌 (Reference)

1 강홍구, "공간 센서 데이타의 효율적인 실시간 처리를 위한공간 DSMS의 개발" 한국공간정보시스템학회 9 (9): 45-57, 2007

2 정원일, "u-GIS 컴퓨팅을 위한 GeoSensor 데이터 스트림 처리 시스템" 한국공간정보시스템학회 11 (11): 9-16, 2009

3 신재완, "u-GIS DSMS에서 이기종 데이터 처리를 위한 어댑터 설계 및 구현" 인하대학교 대학원 2010

4 S. Ghemawat, "The Google file system" 29-43, 2003

5 "StreamBase Pattern Matching language"

6 "SYBASE"

7 박치민, "STREAM을 기반으로 하는 공간 DSMS의 설계 및 구현" 131-136, 2006

8 D. Gyllstroml, "SASE: Complex Event Processing over Streams" 2007

9 Y. Diao, "SASE+: An Agile Language for KleeneClosure over Event Streams" 2007

10 B. Gedik, "ModiEyes: Distributed processing of continously moving queries on moving objects in a mobile system" 2992 : 67-87, 2004

11 J. Dean, "MapReduce; Simplified Data Processing on Large Clusters" 51 (51): 107-113, 2008

12 "Complex Event Processing with Coral8 Final"

13 McKinsey, "Big Data: The Next Frontier for Innovation, Competition, and Productivity" McKinsey & Compnay

14 "Apache Hadoop"

15 H. Hu, "A generic framework for monitoring continuous spatial queries over moving objects" 479-490, 2005