데이터센터 모니터링 시스템에서 대량 스트리밍 센서 데이터 처리 = Streaming Massive Sensor Data Processing in Data Center Monitoring System

국문 초록 (Abstract)

데이터센터는 다양한 센서로부터 수많은 종류의 데이터를 수집하고 있으며 이러한 데이터는 데이터센터 모니터링시스템의 분석을 통해 센터의 효율 관리와 개선에 활용되고 있다. 최근에는 데이터센터의 대형화 추세에 따라 센서데이터 양이 폭발적으로 증가하고 모니터링 시스템은 대량의 실시간 스트리밍 데이터에 대한 분석 및 처리 방안이필요하게 되었다. 따라서 본 논문에서는 데이터 발생시간인 이벤트 시간을 기반으로 한 대량의 스트리밍 센서데이터 처리 방안과 데이터양의 증가에 따른 처리 확장성(scalability) 제공 방안을 제시하고자 한다. 이벤트 시간 기반스트리밍 처리를 위해서는 데이터 발생시간과 처리시간 사이의 시간 지연 문제가 해결되어야 하는데 이를 위해 필터링(filtering), 추가시간(slack time), 윈도우 더블링(window doubling), 조정시간(coordinate time) 등을 이용한 처리 방안을 제시한다. 또한 처리 확장성 제공 방안으로 분산 스트리밍 시스템을 활용한 모니터링 시스템 구축 방안을 제시하고 실험적 시스템 구현을 통해 그 효율과 성능을 분석한다.

다국어 초록 (Multilingual Abstract)

A data center collects a very large volume of data from various kinds of sensors that is used by the data center monitoring system for the center’s efficiency management and improvement. As the recent trend of large size data center leads to the explosion of sensor data, the monitoring system requires streaming data processing to process and to analyze large volume of real-time data. This paper proposes an event time based real-time streaming processing model for large sensor data. The event time is the time when the data is generated at a sensor. This paper also presents a method to provide scalability of streaming data processing. For the event time based real-time streaming processing, a latency problem between data generation time and processing time should be resolved.
We provide a solution based on filtering, slack time, window doubling and coordinate time methods.
In order to provide the scalability, this paper builds an experimental monitoring system based on distributed streaming systems and shows an analysis of its performance and efficiency.

참고문헌 (Reference)

1 Tyler Akidau, "http://www.oreilly.com/ideas /the- world-beyond-batch-streaming-101"

2 AR Cuéllar, "Window aggregate sharing for outof-order stream processing" Technic University Berlin 2016

3 T. Akidau, "The dataflow model: a practical approach to balancing correctness, latency, and cost inmassive-scale, unbounded, out-oforder data processing" 2015

4 T. Akidau, "The data flow model: Apractical approach to balancing correctness, latency, and cost inmassive-scale, unbounded, out-of-order data processing" 8 (8): 1792-1803, 2015

5 S. Meng, "State monitoring in cloud datacenters" 23 (23): 1328-1344, 2011

6 M. Zaharia, "Resilient distributed datasets: A fault-tolerant abstraction for in-memory cluster computing" 2012

7 J. Torres, "Reducing Wasted Resources to Help Achieve Green datacenters" 1-8, 2008

8 B. Lajevardi, "Real-time monitoring and evaluation of energy efficiency and thermal management of data centers" 37 : 511-516, 2014

9 H. Shoukourian, "Monitoring power data: A first step towards a unified energy efficiency evaluation toolset for hpc data centers" 2013

10 J. S. Chase, "Managing Energy and Server Resources in Hosting Centers" 103-116, 2001

11 Michael Hausenblas, "Lambda architecture"

12 J. Kreps, "Kafka: A Distributed Messaging System for Log Processing" 2011

13 L. Liu, "GreenCloud: A New Architecture for Green datacenter" 29-38, 2009

14 U. Srivastava, "Flexible Time Management in Data Stream Systems" 263-274, 2004

15 G. Chen, "Energy-Aware Server Provisioning and Load Dispatching for Connection Intensive Internet Services" 337-350, 2008

16 C. Mutschler, "Distributed low-latency out-of-order event processing for high data rate sensor streams" 1133-1144, 2013

17 S. Greenberg, "Best practices for data centers: lessons learned from benchmarking 22 data centers Proceedings of the ACEEE Summer Study on Energy Efficiency in Buildings in Asilomar" 3 : 76-87, 2006

18 "Apache Flink project. Event time"