빅데이터 처리율 향상을 위한 인-메모리 기반 하이브리드 빅데이터 처리 기법 연구 = Study of In-Memory based Hybrid Big Data Processing Scheme for Improve the Big Data Processing Rate

다국어 초록 (Multilingual Abstract)

With the advancement of IT technology, the amount of data generated has been growing exponentially every year. As an alternative to this, research on distributed systems and in-memory based big data processing schemes has been actively underway. The processing power of traditional big data processing schemes enables big data to be processed as fast as the number of nodes and memory capacity increases. However, the increase in the number of nodes inevitably raises the frequency of failures in a big data infrastructure environment, and infrastructure management points and infrastructure operating costs also increase accordingly. In addition, the increase in memory capacity raises infrastructure costs for a node configuration. Therefore, this paper proposes an in-memory-based hybrid big data processing scheme for improve the big data processing rate. The proposed scheme reduces the number of nodes compared to traditional big data processing schemes based on distributed systems by adding a combiner step to a distributed system processing scheme and applying an in-memory based processing technology at that step. It decreases the big data processing time by approximately 22%. In the future, realistic performance evaluation in a big data infrastructure environment consisting of more nodes will be required for practical verification of the proposed scheme.

국문 초록 (Abstract)

IT기술의 발달로 인해 생성되는 데이터의 양은 매년 기하급수적으로 증가하고 있으며, 이에 대한 대안으로 분산시스템과 인-메모리 기반 빅데이터 처리 기법의 연구가 활발히 이루어지고 있다. 기존 빅데이터 처리 기법들의 처리 성능은 노드의 수와 메모리 용량이 증가될수록 보다 빠르게 빅데이터 처리한다. 그러나 노드의 수의 증가는 빅데이터 인프라 환경에서 장애발생 빈도가 높아지며, 인프라 관리 포인트 및 인프라 운영비용도 증가된다. 또한 메모리 용량의 증가는 노드 구성에 대한 인프라 비용이 증가된다. 이에 본 논문에서는 빅데이터 처리율 향상을 위한 인-메모리 기반 하이브리드 빅데이터 처리 기법을 제안한다. 제안하는 기법은 분산시스템 처리기법에 Combiner 단계를 추가하고, 그 단계에서 인-메모리 기반 처리 기술을 적용하여 기존 분산시스템 기반 빅데이터 처리기법에 비해 빅데이터 처리시간을 약 22% 감소시켰다. 향후, 제안하는 기법의 실질적인 검증을 위해 더 많은 노드로 구성된 빅데이터 인프라 환경에서의 현실적 성능평가가 필요하다.

참고문헌 (Reference)

1 정은희, "해시 체인 기반 일회용 키를 이용한 하둡 보안 프로토콜 설계" 한국정보전자통신기술학회 10 (10): 340-349, 2017

2 김정준, "하둡 기반 네트워크 로그 시스템" 한국인터넷방송통신학회 17 (17): 125-130, 2017

3 이협건, "스마트 팩토리 환경에서의GlusterFS 기반 빅데이터 분산 처리 시스템 설계" 한국정보전자통신기술학회 11 (11): 70-75, 2018

4 권영백, "빅데이터를 활용한 이상 징후 탐지 및 관리 모델 연구" 한국인터넷방송통신학회 16 (16): 287-294, 2016

5 황동현, "빅데이터 기반 골목상권 영역설정 방법론 개발" 한국정보전자통신기술학회 11 (11): 784-792, 2018

6 이협건, "로그 분석 처리율 향상을 위한 맵리듀스 기반 분할 빅데이터 분석 기법" 한국정보전자통신기술학회 11 (11): 593-600, 2018

7 H. G. Lee, "Implementation of an Efficient Big Data Collect ion Platform for Smart Manufacturing" 12 (12): 6304-6307, 2018