클라우드 환경 로그데이터의 하둡기반 분석 방법 연구

국문 초록 (Abstract)

본 연구에서는 클라우드 환경에서 웹 로그데이터를 Hadoop을 활용하여 분석하기 위한 방법을 제시하고 있다. 빅데이터 처리의 근간이 되는 Hadoop 프레임웍은 Map-Reduce 함수를 활용하여 대용량의 데이터를 분산 처리 할 수 있도록 한다. 이러한 대용량의 데이터의 처리의 근간에는 적절한 데이터의 수집이 중요하다. 본 연구에서는 인터넷 쇼핑몰의 로그데이터를 기반으로 Map-Reduce 기반 분석을 수행할 경우, 데이터의 수집을 위해 어떠한 절차들이 필요한지를 정의하였다. 특히, MySQL 데이터의 로그와 Apatch-Tomcat 웹서버의 로그를 통합 분석하기 위한 로그 수집 기능을 구성하였고, 이를 HDFS에 저장하여 Map-Reduce 분석을 수행할 수 있도록 하고 이를 실행하여 결과를 제시하였다. 본 연구의 기여점은 빅데이터 분석을 위한 Hadoop 프레임웍이 웹로그의 분석을 위해 어떠한 구조를 가질 수 있는지의 예를 보여준데 있다.

다국어 초록 (Multilingual Abstract)

This work shows a way of log analysis using Hadoop framework in cloud computing environment. The Hadoop framework is a fundamental for distributed analysis of high volume data using combination of simple two functions named Map and Reduce. For the analysis using Hadoop framework, the proper deployment of data gathering procedures is one of the essential things. This work deals with the analysis of Internet shopping mall’s log data using map-reduce functions and shows how the procedures ought be defined for gathering the whole related logs. Specifically, this work uses MySQL query logs and Apatch-Tomcat logs to see the inter-relation and the logs are stored in HDFS for further process of analyzing using Map-Reduce functions. The contribution of this work is presenting an example architecture and procedure of web log analysis using Hadoop framework.