불균형 데이터의 분류성능 향상을 위한 데이터 리샘플링 효과 = Data resampling effect to improve the classification performance of imbalanced data: a case study on financial data

국문 초록 (Abstract)

머신러닝의 대상이 되는 여러 유형의 데이터에서는 불균형 데이터가 자주 발견된다. 불균형 데이터(imbalanced data)는 사기 탐지, 허가되지 않은 네트워크 침입 탐지, 장애 탐지, 의료 진단 등 다양한 분야에서 찾아볼 수 있으며, 데이터에 불균형 문제가 있으면 학습 단계에도 영향을 미쳐서 학습 모형의 분류성능을 떨어뜨린다고 알려져 있다. 불균형 데이터 문제를 완화하기 위한 기법으로는 데이터의 분포가 높은 클래스를 낮은 클래스만큼 맞추는 언더샘플링(undersampling) 기법과 분포가 낮은 클래스를 높은 클래스만큼 맞추는 오버샘플링(oversampling) 기법이 있다. 본 연구에서는 불균형 데이터에 대한 분류성능을 향상하기 위해, 여러 가지 데이터 리샘플링 기법을 다양한 분석방법에 적용한 후 분류성능을 비교함으로써 불균형 데이터의 문제를 완화할 수 있는지를 파악하고자 한다. 이를 위해 불균형 데이터의 문제를 완화할 수 있는 오버샘플링 기법과 언더샘플링 기법에 대하여 간단히 소개하고, 다양한 분석방법에 따른 데이터 리샘플링 기법의 성능 비교를 하기 위해 데이콘(DACON)에서 제공된 금융 데이터를 활용하여 사례분석을 진행하였다.

다국어 초록 (Multilingual Abstract)

Imbalanced data is often found in many types of data subject to machine learning. Imbalanced data can be found in various fields such as fraud detection, unauthorized network intrusion detection, failure detection, and medical diagnosis, and it is known that if there is an imbalance problem in data, it affects the learning stage and reduces the classification performance of the learning model. Techniques to alleviate the imbalance data problem include an under-sampling technique that matches a class with a high distribution of data by a low class and an over-sampling technique that matches a class with a low distribution by a high class. In order to improve the classification performance of imbalanced data, this study aims to determine whether the problem of imbalanced data can be alleviated by applying various data resampling techniques to various analysis methods and then comparing the classification performance. To this end, an oversampling technique and an undersampling technique that can alleviate the problem of unbalanced data were briefly introduced, and a case analysis was conducted using financial data provided by DACON to compare the performance of the data resampling technique according to various analysis methods.

참고문헌 (Reference)

1 Chen, T., "XGBoost: a scalable tree boosting system" 785-794, 2016

2 Tomek, I., "Two modications of CNN" 6 (6): 769-772, 1976

3 Samuel, Arthur L., "Some studies in machine learning using the game of checkers" 3 (3): 210-229, 1959

4 Breiman, L., "Random forests" 45 : 5-32, 2001

5 김명종 ; 안재현 ; 김윤후, "Performance optimization-based boosting algorithm for resolving class imbalance problems in financ" 25 (25): 749-762, 2023

6 Murphy, Kevin P., "Machine learning: a probabilistic perspective" MIT Press 2012

7 He, H., "Learning from imbalanced data" 21 : 1263-1284, 2009

8 이규남 ; 임종태 ; 복경수 ; 유재수, "Handling method of imbalance data for machine learning : focused on sampling" 19 (19): 567-577, 2019

9 Chujai, P, "Ensemble learning for imbalanced data classification problem" 449-456, 2015

10 Prati, R. C., "Data mining with imbalanced class distributions: concepts and methods" 359-376, 2009

11 Drummond, C., "C4.5, class imbalance, and cost sensitivity: why under-sampling beats over-sampling" 2003

12 김명종 ; 권성훈 ; 김윤후, "Boosting for addressing class imbalance problems in finance" 25 (25): 1859-1873, 2023

13 조용복 ; 조동우 ; 최보승, "Applications of the classification algorithm for unbalanced time series data : focusing on the corporate default model" 24 (24): 639-651, 2022

14 이동찬 ; 김기환, "Analysis of the effect of surface temperature in accordance with the composition of land cover based on XAI SHAP" 25 (25): 1735-1748, 2023