비-전용 분산 컴퓨팅 환경에서 맵-리듀스 처리 성능 최적화를 위한 효율적인 데이터 재배치 알고리즘

국문 초록 (Abstract)

최근 소셜 미디어의 성장과 모바일 장치와 같은 디지털 기기의 활용이 증가함에 따라 데이터가 기하급수적으로 증가하였다. 이러한 대용량의 데이터를 처리하기 위한 대표적인 프레임워크로 맵-리듀스가 등장하였다. 하지만 전용 분산 컴퓨팅 환경에서 균등한 데이터 배치를 기반으로 수행되는 기존 맵-리듀스는 가용성이 다른 비-전용 분산 컴퓨팅 환경에서는 적합하지 않다. 이러한 비-전용 분산 컴퓨팅 환경을 고려한 데이터 재배치 알고리즘이 제안되었지만, 재배치에 많은 시간을 필요로 하고, 불필요한 데이터 전송에 의한 네트워크 부하가 발생한다. 본 논문에서는 비-전용 분산 컴퓨팅 환경에서 맵-리듀스의 성능 최적화를 위한 효율적인 데이터 재배치 알고리즘을 제안한다. 제안하는 기법에서는 노드의 가용성 분석 모델을 기반으로 노드의 데이터 블록 비율을 연산하고, 기존의 데이터 배치를 고려하여 전송함으로써 네트워크 부하를 감소시킨다. 성능평가 결과, 제안하는 기법이 기존 기법에 비해 성능이 우수함을 확인하였다.

다국어 초록 (Multilingual Abstract)

In recently years, with the growth of social media and the development of mobile devices, the data have been significantly increased. MapReduce is an emerging programming model that processes large amount of data. However, since MapReduce evenly places the data in the dedicated distributed computing environment, it is not suitable to the non-dedicated distributed computing environment. The data replacement algorithms were proposed for performance optimization of MapReduce in the non-dedicated distributed computing environments. However, they spend much time for date replacement and cause the network load for unnecessary data transmission. In this paper, we propose an efficient data replacement algorithm for the performance optimization of MapReduce in the non-dedicated distributed computing environments. The proposed scheme computes the ratio of data blocks in the nodes based on the node availability model and reduces the network load by transmitting the data blocks considering the data placement. Our experimental results show that the proposed scheme outperforms the existing scheme.

목차 (Table of Contents)

• 요약
• Abstract
• Ⅰ. 서론
• Ⅱ. 관련 연구
• Ⅲ. 제안하는 데이터 재배치 알고리즘
• Ⅳ. 성능 평가
• Ⅴ. 결론 및 향후 연구
• 참고문헌

참고문헌 (Reference)

1 황인성, "데이터 분배 및 태스크 진행 스케쥴링을 통한 맵/리듀스 모델의 성능 향상" 한국콘텐츠학회 10 (10): 78-85, 2010

2 "http://hadoop.apache.org"

3 K. Shvachko, "The Hadoop Distributed File System" 1-10, 2010

4 S. Ghemawat, "The Google File System" 29-43, 2003

5 "SETI@home"

6 D. Werthimer, "SETI@HOME— Massively Distributed Computing for SETI" 3 (3): 78-83, 2001

7 J. Dean, "MapReduce: Simplified Data Processing on Large Clusters" 51 (51): 107-113, 2008

8 J. Dittrich, "Efficient big data processing in Hadoop MapReduce" 2014-2014, 2012

9 S. T. Leutenegger, "Distributed Computing Feasibility in a Non-dedicated Homogeneous Distributed System" 143-152, 1993

10 D. L. Eager, "Adaptive Load Sharing in Homogeneous Distributed Systems" 12 (12): 662-675, 1986

11 H. Jin, "ADAPT: Availability-Aware MapReduce Data Placement for Non-Dedicated Distributed Computing" 516-525, 2012