데이터 전처리에 따른 하천 수질 예측 머신러닝 모형 성능 영향 = The effect of data preprocessing on machine learning model performance for river water quality prediction

국문 초록 (Abstract)

본 연구는 데이터의 전처리 과정이 하천 수질 예측을 위한 머신러닝 기반 모형의 성능에 미치는 영향을 분석하기 위하여, 결측치의 복원과 데이터 불균형 해소기법의 적용 효과를 종합적으로 분석하였다. Ⅰ장에서는 하천 수질 시계열 자료의 결측과 데이터 불균형 문제를 정리하였으며, 이를 해결하기 위한 연구의 배경과 목적을 제시하고 본 논문의 전체 구성 내용을 설명하였다. Ⅱ장에서는 현장의 수질 특성을 확인할 수 있는 수질 환경 변수 중 하나인 수온에 대하여 Case 1부터 Case 4의 4가지 유형의 결측을 생성하고, 2개의 통계 기반 보간 기법인 선형 보간 (linear interpolation)과 다항 보간 (polynomial interpolation) 그리고 2개의 ML 기반 모형인 K-nearest neighbors (KNN) 및 autoencoder (AE)를 이용한 총 4개의 보간 모형을 적용하여 성능을 비교하였다. 분석 결과 단기 결측이 발생하는 Case 1 및 3에서는 Linear 모형이 RSR 0.26 및 0.76으로 가장 우수한 보간 성능을 보였으며, 장기간의 결측을 포함하는 Case 2의 경우 AE가 RSR 0.63으로 가장 우수한 성능을 보이는 것을 확인하였다. Case 4는 KNN (k=3)의 RSR이 0.66으로 가장 우수한 성능을 보였으며, AE의 RSR이 0.68로 KNN에 비해 다소 낮은 성능을 보였지만 그 차이는 크지 않았다. 본 연구를 통해 결측 유형에 따라 보간 모형의 성능에 차이가 있음을 확인할 수 있었다. Ⅲ장에서는 chlorophyll-a 농도를 기준으로 하천 현장의 조류 발생 수준을 Class 1 (Chl-a ≤ 10 μg/L), Class 2 (10 < Chl-a ≤ 50 μg/L), Class 3 (Chl-a > 50 μg/L)와 같이 3개의 class로 구분하고, 대표적인 앙상블 머신러닝 모형인 extreme gradient boosting (XGB) 알고리즘을 이용하여 조류 발생 수준을 예측하는 분류 모형을 구축하였다. 데이터 불균형 해소를 위해 생성형 인공지능 기반 알고리즘인 conditional generative adversarial network (CGAN)과 전통적인 데이터 증강 알고리즘인 synthetic minority oversampling technique (SMOTE), 그리고 딥러닝 기반 기법인 autoencoder (AE) 3가지 데이터 증강 알고리즘을 활용하여 데이터의 불균형을 개선한 자료를 생성하고 이를 XGB 모형에 적용하여 성능 변화를 비교하였다. 분석 결과 macro-average 기준으로 원본 데이터를 사용한 모형의 recall은 0.606이었으나 SMOTE, AE 및 CGAN의 recall은 각각 0.666, 0.682, 0.720으로 크게 개선되었고, F1 score도 데이터 불균형 해소를 통해 약 7–13%의 성능이 향상되는 등 전체적으로 데이터 불균형 해소로 모형의 성능이 향상되었으며 CGAN이 가장 우수한 성능 개선 효과를 보이는 것으로 나타났다. 본 연구의 결과는 입력 데이터의 특성을 고려한 데이터 결측 보간 및 불균형 해소로 머신러닝 모형의 성능 향상이 가능함을 보여주었다.

다국어 초록 (Multilingual Abstract)

This study comprehensively investigated the effects of data preprocessing on the performance of machine learning models for river water quality prediction, focusing on missing data imputation and class imbalance mitigation. Chapter I provides an overview of missing-data and class-imbalance issues in river water quality time series, sets out the research background and objectives, and summarizes the overall structure and scope of the thesis. In Chapter II, four types of missing patterns for water temperature, a key indicator of field water quality conditions, were generated as Case 1 to Case 4. Then, four imputation methods were applied. The methods included two traditional statistical approaches (linear interpolation and polynomial interpolation) and two machine learning models (K-nearest neighbors (KNN) and autoencoder (AE)). The results showed that the linear interpolation model achieved the best performance for Cases 1 and 3, with RSR values of 0.26 and 0.76, respectively. For Case 2, AE achieved the highest performance with an RSR of 0.63. In Case 4, KNN (k=3) showed the best result with an RSR of 0.66, followed closely by AE with an RSR of 0.68. These findings indicate that imputation performance varies depending on the missing data pattern. In Chapter III, algal bloom levels in rivers were classified into three categories based on chlorophyll-a (Chl-a) concentrations: Class 1 (Chl-a ≤ 10 μg/L), Class 2 (10 < Chl-a ≤ 50 μg/L), and Class 3 (Chl-a > 50 μg/L). A classification model was then developed using extreme gradient boosting (XGB), a representative ensemble machine learning algorithm. To mitigate data imbalance, a conditional generative adversarial network (CGAN), an algorithm based on generative artificial intelligence, was employed along with the synthetic minority oversampling technique (SMOTE) and an autoencoder (AE), a deep learning-based method. Datasets with reduced imbalance were generated by each method and subsequently applied to an XGB model to compare changes in model performance. The analysis showed that the macro-averaged recall of the model using the original dataset was 0.606, whereas recall values with SMOTE, AE, and CGAN increased to 0.666, 0.682, and 0.720, respectively. The F1 score also improved by approximately 7–13% through data imbalance mitigation, with CGAN showing the greatest improvement. The results of this study demonstrated that the performance of machine learning models can be improved through missing-data imputation and class-imbalance mitigation by considering the characteristics of the input data.

목차 (Table of Contents)

• 표 목 차 ⅲ
• 그 림 목 차 ⅳ
• 국 문 요 약 ⅵ
• Ⅰ. 서론 1
• 1. 연구의 필요성 및 목적 1
• Ⅱ. 결측 유형별 보간 기법 적용 특성 비교 3
• 1. 연구 배경 및 기존 연구 현황 3
• 2. 연구 대상 지역 8
• 3. 결측치 생성 10
• 4. 보간 기법 15
• 5. 보간 성능 평가 기준 20
• 6. 결과 및 고찰 21
• 7. 결론 49
• Ⅲ. 데이터 불균형 처리 기법을 활용한 조류 발생 예측 성능 분석 50
• 1. 연구 배경 및 기존 연구 현황 50
• 2. 연구 대상 지역 55
• 3. 입력자료 구축 57
• 4. 불균형 데이터 전처리 60
• 5. 모형 구축 63
• 6. 모형 성능 평가 66
• 7. 결과 및 고찰 68
• 8. 결론 106
• Ⅳ. 결론 및 향후 연구 107
• Ⅴ. 참 고 문 헌 109
• ABSTRACT 121