유전자 알고리즘 기반 ETL 배치작업 스케줄링 최적화 연구 = A Study on the Optimization of ETL Batch Job Scheduling Using Genetic Algorithm

다국어 초록 (Multilingual Abstract)

With the development of the Social Network and the Internet of Things (IOT), the big data era has come, in which large amounts of data that could not otherwise be imagined are generated. Data analysis is essential to discover and use value from large amounts of data. In order to do this, an ETL (Extract Transformation Loading) task to load the data to be analyzed into DW or Big Data System should be preceded. ETL schedules hundreds or thousands of jobs on the limited system resource into a sequential relationship and keeps the pre and post-relationships of the tasks at a right time. In addition, it is difficult to optimize the overall performance of the ETL, because the scheduled ETL is performed by a complex number of operations. Therefore, it is necessary to increase or decrease the data capacity due to the business change. The performance may be delayed due to the complex load. For these reasons, professional engineer is needed to optimize and operate it, but it is a realistic difficulty. Because it requires not only a lack of experienced engineers but also a high cost.

In order to optimize the performance of the ETL task and maintain the optimized performance on the various changing situation, this study has developed the optimization method by the genetic algorithm which is a kind of meta - heuristic technique and artificial intelligence.

Optimizing ETL performance means you can deliver data at the right time in your business, without delay. To do this, optimizing the performance of the ETL unit job is also important, but it is important to optimize the performance of batch jobs that contain the whole unit job. It is also important to minimize the number of failures due to abnormal performance loads. To do this, we used minimization of ETL batch execution time and load minimization of server CPU resources as a fitness function of genetic algorithm. ETL batch end time and number of concurrent execution tasks were used as constraints.

The data of this study were used to simplify the 3 - month average CPU usage and execution time of the 260 ETL units that are being performed in the business. Also, a mathematical model is defined for genetic algorithm implementation and implemented using Java program and Maria DB. Experiments were repeated to change the parameters of the implemented program in order to obtain optimal results.

This study is expected to be an important foundation for constructing and maintaining a stable big data system by loading the explosive data of the Big Data era. It is a meaningful attempt to automatically optimize the loading of ETL data of the information system.

국문 초록 (Abstract)

소셜 네트워크(Social Network) 및 사물인터넷(IoT, Internet of Things)의 발전에 따라 기존에는 상상하지 못했던 대용량의 데이터가 생성되는 빅데이터 시대가 도래 하였다. 대용량의 데이터로부터 가치를 발견하고 활용하기 위해서는 데이터 분석 작업이 필수적이다. 이를 위해서는 DW나 빅데이터 시스템에 분석의 대상이 되는 데이터를 적재하는 ETL(Extract Transformation Loading) 작업이 선행되어야 한다. ETL은 한정된 시스템 자원에서 수 백, 수 천 개의 작업을 선후 관계로 묶어 정해진 시간에 작업의 선, 후 관계를 지켜가며 수행이 되도록 스케줄링 한다. 이렇게 스케줄링된 ETL은 다 수의 작업이 복잡하게 엮여서 수행이 되기 때문에 전체적인 성능을 최적화하는 것이 어려울 뿐만 아니라, 비즈니스 변화에 의한 데이터 용량의 증감이나 작업들 간의 자원 경합, 동일한 DBMS에서 수행이 되는 분석 작업과의 동시 수행이 될 경우 복합 부하로 인해 성능 지연이 발생할 수 있다. 이 때문에 실제 현업에서는 경험 많은 기술자가 이를 최적화하고 운영해야 하는 상황이지만 경험 많은 기술자가 부족할 뿐 아니라 많은 비용이 소요되기 때문에 현실적인 어려움이 있다.

본 연구에서는 ETL 작업의 성능을 최적화하고 변화하는 상황에서도 최적화된 성능을 유지하기 위하여 메타 휴리스틱 기법의 일종이며 인공지능의 한 분야인 유전자 알고리즘을 적용하여 최적화 방안을 도출하였다.

ETL 성능을 최적화한다는 의미는 비즈니스 업무에서 요구하는 적시적인 시간에 지연이 없이 데이터를 제공할 수 있다는 의미이다. 이를 위해서는 ETL 작업을 구성하고 있는 단위 작업의 성능 최적화도 중요하지만 전체를 묶어둔 배치작업의 성능 최적화가 중요하다. 또한 비정상적으로 발생하는 성능부하로 인한 장애의 경우를 최소화하는 것이 중요하다. 이를 위해 유전자 알고리즘의 적합도함수로 ETL 배치작업 수행 시간 최소화와 서버 CPU 자원의 부하 최소화를 사용하였고 제약조건으로 ETL 배치작업 종료 시간, 동시 실행 작업수를 두었다.

연구 대상 데이터는 현업에서 수행되고 있는 260개 ETL 단위 작업의 3개월 평균 CPU 사용량과 실행시간 정보를 단순화하여 활용하였다. 또한 유전자 알고리즘 구현을 위하여 수학적 모델을 정의하고 이를 자바 프로그램과 Maria DB를 이용하여 구현하였다. 최적의 결과를 도출하기 위하여 구현한 프로그램의 파라미터를 변경하며 실험을 반복 수행하였다.

본 연구는 정보계 시스템의 ETL 데이터 적재작업을 자동으로 최적화하기 위한 의미 있는 시도로서 빅데이터 시대의 폭증하는 데이터를 적재하여 안정적인 빅데이터 시스템을 구축하고 유지 관리할 수 있는 중요한 기반이 될 것으로 기대한다.

목차 (Table of Contents)

• I. 서 론
• 1. 연구의 배경 및 목적
• 2. 연구 방법 및 목표
• 3. 논문의 구성
• II. 관련 이론 및 선행 연구 고찰
• 1. ETL
• 2. 유전자 알고리즘
• 3. 선행 연구 검토
• III. 문제 정의
• 1. 데이터 적재 배치작업 스케줄링 문제
• 2. 목표 및 제약 조건
• 3. 수리 모델
• IV. 유전자 알고리즘 설계 및 구현
• 1. 유전자 알고리즘 설계
• 2. 유전자 알고리즘 구현
• V. 유전자 알고리즘 적용 결과
• 1. 유전자 알고리즘 파라미터 정의
• 2. 유전자 알고리즘 실행 결과
• VI. 결론
• 1. 연구 결과 및 의의
• 2. 향후 연구방향
• 부록 41
• Abstract 60
• 감사의글 62