Smart water grid oriented framework for short-term water demand forecasting using machine learning algorithms

다국어 초록 (Multilingual Abstract)

Urbanization and population growth have resulted in an imbalance in water supply and demand, and limited water resources have made it more difficult to manage Water Distribution System (WDS). Smart Water Grid (SWG) technology has emerged as a method to address these problems, as it provides real-time or near-real-time water-related information to managers and customers in both directions throughout the supply and demand process. In particular, by measuring and utilizing customers water consumption data, it can help improve the management efficiency of the WDS and reduce both energy and water leakage. However, the existing statistical methods are limited in their ability to analyze the collected water consumption data as big data. As an alternative, Machine Learning (ML) algorithms have emerged as modern methods for processing such big data, and they have been shown to be superior to existing statistical methods. This indicates that algorithms can be applied to the water consumption data collected from smart water grids to obtain various analysis results that cannot be obtained using the existing statistical methods.
There are also rapid advancements being made in intelligent water management methods using this, so there is a need for a very accurate short-term WDF for monitoring and controlling the WDS and detecting leaks in the pipeline in real time. Therefore, in the present research, a short-term WDF framework is proposed that applies ML algorithms to the analysis of real-time water consumption data collected from SWM. This analysis used data collected from 00:00 on January 1, 2018, to January 1, 2020, from 527 SWMs installed in a pilot plant built in Block 112 of YeongJong Island, South Korea by the SWGRG. The results are as follows:
First, by using filtering (local minima and Min. Max. allowable discharge) and the one-class SVM model for outlier detection, it is possible to pre-process raw data more scientifically and rationally. It also has the advantage of imputing, as even if all the hourly water consumption datasets by the day are missing, it uses combined k-NN and FTT for imputation of the missing values. Second, the k-means clustering model was proposed as a method of estimating the water consumption using mechanical water meters. With this method, eight clusters were divided according to the usage and the pipe diameter, and the average water demand pattern was estimated properly. Lastly, the MLSTM model that can consider a number of variables (weather, holiday effects, etc.) was applied to the short-term WDF. As comparative models, the avg. WC, ARIMA, ANN, QMMP+, and LSTM models were used. However, the calculation results were poor compared to those of the LSTM model considering water consumption alone, so there was no need to consider some variables in the calculation. Meanwhile, the noise generated during the calculation process can be included in the forecasted results; further, the Kalman filter was applied to increase the reliability, and the effect was excellent in improving the results.
The assessment of the performance of short-term WDF using the SWG and ML algorithms with hydraulic modeling based on water consumption data indicates that it is still difficult to accurately forecast water demand for actual operation. However, it is believed that this proposed framework will be helpful for WDS operation and management as a guiding tool. For future research, as water consumption is closely related to the human life cycle, higher-resolution data are to be collected from each customer's taps and analyzed.

국문 초록 (Abstract)

도시화와 인구증가 등으로 물 수요와 공급의 불균형이 초래되어 한정된 수자원을 이용한 상수도시스템 관리에 어려움이 가중되고 있다. 이러한 문제를 저감하기 위한 방법으로 대두된 스마트워터그리드 기술은 공급 및 수요 프로세스 전반에 걸쳐 실시간 또는 거의 실시간에 가까운 물 관련 정보를 양방향으로 관리자와 소비자들에게 제공한다. 특히 소비자의 물 사용 자료를 실시간으로 계측하고 활용해 상수도시스템의 관리 효율 개선, 에너지 및 누수를 줄이는데 도움을 줄 수 있다. 그러나 수집된 소비자의 물 사용 자료는 빅데이터로 기존 통계적 방법을 이용해 분석하는데 한계가 있다. 기계학습 알고리즘들은 이러한 빅데이터를 처리하기 위한 현대적인 방법으로써 기존의 통계적 방법보다 우수하다고 알려져 있어 대안으로 사용할 수 있다. 특히 스마트워터그리드에서 수집된 물 소비량 자료에 기계학습 알고리즘들을 적용하면 기존 통계방법으로 얻을 수 없는 다양한 분석결과를 얻을 수 있다. 이를 이용한 지능형 물 관리 방법 또한 빠르게 발전하고 있어, 상수도시스템 감시, 제어, 그리고 실시간 관망의 누수탐지 등을 위해 매우 정확한 단기 물수요예측이 필요하다. 이에 본 논문에서는 지능형 수도계량기에서 수집된 소비자들의 실시간 물 소비량 자료 분석에 기계학습 알고리즘들을 적용한 단기 물 수요예측 프레임워크를 제안했다. 이 때 스마트워터그리드 사업단이 영종도 112블록에 구축한 파일럿 플랜트에 설치된 527개의 지능형 수도계량기로부터 2018년 1월 1일 00시부터 2020년 1월 1일까지 수집한 물 소비량 자료를 단기 물 수요예측 프레임워크에 적용했는데 연구 결과는 다음과 같다.
첫째, 필터링(국소 최솟값과 허용최대최소유량)과 one-class SVM 모형을 사용해 원시자료를 보다 과학적이고 합리적으로 이상치 탐지를 할 수 있게 되었다. 그리고 결측치를 대치하기 위한 모형으로 결합된 k-NN과 FTT를 사용해 요일에 따른 시간별 물 소비량 자료 모두 결측 되더라도 전가할 수 장점이 있다. 둘째, 기계식 수도계량기를 사용하는 소비자의 물 소비량을 추정하는 방법으로 k-means 군집화 모형을 제안했다. 이 방법을 이용해 물 사용 용도와 관의 지름에 따라 8개의 군집을 나누고 평균 물 수요 패턴을 추정했는데, 계산 소요시간이 짧고 군집을 쉽게 생성할 수 있는 장점이 있다. 셋째, 단기 물 수요예측에 다양한 변수(날씨, 휴일 효과 등)를 고려할 수 있는 MLSTM 모형을 적용했다. 비교 모형으로 avg. WC, ARIMA, ANN, QMMP+, 그리고 LSTM을 사용했다. 그러나 물 소비량만 고려한 LSTM 모형에 비해 계산 결과가 좋지 않아, 꼭 변수를 고려할 필요가 없는 것으로 나타났다. 한편 계산과정 중에 발생한 잡음이 예측 결과에 포함될 수 있으므로 예측 신뢰도를 높이기 위해 칼만 필터를 적용했는데, 예측 결과를 개선하는데 효과가 있었다.
이를 이용해 물 소비량 자료 기반 수리학적 모형으로 스마트워터그리드 기술과 기계학습 알고리즘들을 이용한 단기 물수요예측 프레임워크의 성능을 평가한 결과, 아직까지 실제 운영을 위한 정확한 물 수요 예측은 어렵지만 참고자료로써 수운영 관리에 도움이 될 것으로 사료된다. 향후 연구로 물 소비는 인간의 수명 주기와 밀접하게 관련되어 있으므로 각 소비자의 설치된 모든 수도꼭지로부터 고해상도 물 소비 자료를 수집하여 분석할 것이다.

목차 (Table of Contents)

• Chapter 1. INTRODUCTION 1
• 1.1. Research background 1
• 1.2. Objectives of the research 6
• 1.3. Literature review 10
• 1.3.1. Anomaly detection 12
• 1.3.2. Missing data handling 18
• 1.3.3. Water consumption pattern recognition 23
• 1.3.4. Short-term water demand forecasting 25
• 1.4. Thesis outline 36
• Chapter 2. SWG TECHNIQUES IN WDS 37
• 2.1. Current issues of water management in WDS 37
• 2.2. Smart water grid 38
• 2.3. High-frequency data and its analysis 42
• 2.3.1. The Internet of Things 43
• 2.3.2. Smart sensors and devices 44
• 2.4. Data-driven water management 46
• Chapter 3. THEORIES AND METHODOLOGY 49
• 3.1. Research process 49
• 3.2. Data pre-processing 52
• 3.2.1. Anomalies detection 52
• 3.2.2. Missing data imputation 62
• 3.3. Water consumption profiling 68
• 3.4. Short-term water demand forecasting 71
• 3.4.1. ARIMA 71
• 3.4.2. RBF-ANN 72
• 3.4.3. QMMP+ 73
• 3.4.4. LSTM 75
• 3.4.5. MLSTM with Kalman filtering 78
• 3.5. Performance assessment 81
• 3.6. Performance assessment indices 83
• Chapter 4. THE CASE STUDIES 85
• 4.1. Study area 85
• 4.2. Data discription 91
• 4.3. Results 96
• 4.3.1. Data pre-processing 96
• 4.3.2. Water consumption profiling 115
• 4.3.3. Short-term water demand forecasting 122
• 4.3.4. Hydraulic modeling using EPANET 149
• Chapter 5. SUMMARY AND CONCLUSIONS 161
• 5.1. Smart water grid techniques with ML algorithms 161
• 5.1.1. Data pre-processing 163
• 5.1.2. Water consumption profiling 164
• 5.1.3. Short-term water demand forecasting 164
• 5.2. Future research 166
• References 167
• Appendices 189
• <Appendix 1> Raw water consumption data with local minima 189
• <Appendix 2> Water consumption data with imputed missing values 194
• 논문요약 199