계절내-계절 기후예측의 딥러닝 기반 후보정을 위한 입력자료 전처리 기법 평가 = Investigating Data Preprocessing Algorithms of a Deep Learning Postprocessing Model for the Improvement of Sub-Seasonal to Seasonal Climate Predictions

다국어 초록 (Multilingual Abstract)

This study explores the effectiveness of various data preprocessing algorithms for improving subseasonal to seasonal (S2S) climate predictions from six climate forecast models and their Multi-Model Ensemble (MME) using a deep learning-based postprocessing model. A pipeline of data transformation algorithms was constructed to convert raw S2S prediction data into the training data processed with several statistical distribution. A dimensionality reduction algorithm for selecting features through rankings of correlation coefficients between the observed and the input data. The training model in the study was designed with TimeDistributed wrapper applied to all convolutional layers of U-Net: The TimeDistributed wrapper allows a U-Net convolutional layer to be directly applied to 5-dimensional time series data while maintaining the time axis of data, but every input should be at least 3D in U-Net. We found that Robust and Standard transformation algorithms are most suitable for improving S2S predictions. The dimensionality reduction based on feature selections did not significantly improve predictions of daily precipitation for six climate models and even worsened predictions of daily maximum and minimum temperatures. While deep learning-based postprocessing was also improved MME S2S precipitation predictions, it did not have a significant effect on temperature predictions, particularly for the lead time of weeks 1 and 2. Further research is needed to develop an optimal deep learning model for improving S2S temperature predictions by testing various models and parameters.

국문 초록 (Abstract)

본 연구에서는 계절내-계절(Subseasonal to seasonal, S2S) 기후예측의 주별 예측 성능을 개선하기 위해서 딥러닝 기반의 후보정(post processing) 기술을 개발하였다. 그 첫 단계로, 일 최고, 최저기온과 일 강수를 목표 변수로, 자료의 특성과 분포에 적합한 자료 변환 및 특성 공학 기법을 규명하고자 하였다. 먼저, 6개 개별 기후모델의 S2S 예측 자료를 딥러닝 모델에 입력하기 위한 훈련자료로 변환하고, 이로부터 다중모델앙상블(Multi-Model Ensemble, MME) 기반 훈련자료를 구축하였다. 참값(label)으로는 ECMWF의 ERA5 재분석 자료를 사용하였다. 자료 변환 알고리즘은 최고 및 최저 차이를 계산하여 입력자료의 범위를 변형시키는 MinMax 및 MaxAbs 변환, 표준편차를 이용하는 Standard 변환 및 분위수를 지정하여 변형하는 Robust와 Quantile 변환으로 구성된 전처리 파이프라인을 구축하였으며, 변환된 훈련자료와 예측 변수와의 상관관계를 계산하여 순위에 따라 훈련자료의 특성을 선택하는 특성 선택 기법을 추가하였다. 본 연구는 U-Net 모델에 TimeDistributed wrapper를 모든 합성곱 층(convolutional layer)에 적용하여 활용하였다. 5개 알고리즘으로부터 변환된 6개 개별 기후모델 및 MMES2S 훈련자료(일 최고 및 최저기온, 강수)에 훈련 모델을 적용한 결과와 훈련 모델을 적용하지 않은 결과를 ERA5와의 공간상관계수(spatial Pattern Correlation Coefficient)를 계산하고 그 개선율인 기술 점수(skill score)를 평가한 결과, 일 강수의 PCC 기술 점수는 Standard 및 Robust 변환으로 처리된 것에서 전체 예측 선행(1~4주)에 대해 모두 높았고, 일 최고 및 최저기온에서는 예측 선행시간 3~4주에서만 높게 나타났다. 또한, 일 강수에서 특성 선택에 따른 훈련자료의 차원 감소가 예측 성능 변화에 영향을 미치지 않는 것으로 나타났다. 일 최고 및 최저기온의 경우에는 특성 선택에 의한 훈련자료의 특성 정보 감소가 오히려 예측 성능을 저하시킬 수 있는 것으로 확인되었으며, 원시자료에서 예측성이 높은 1~2주 기온 예측 개선을 위한 적합한 전처리 변환 알고리즘이나 특성 선택을 찾을 수 없었다. 후속 연구에서는 원시 예측 성능이 강수에 비해 높으나 딥러닝 훈련 모델에 의한 후보정 효과가 미미한 예측 선행 1~2주 기온 예측의 저조 원인에 대해 탐색하고, 다양한 딥러닝 훈련 모델로의 적용 및 초매개변수 조정 등 학습 과정의 최적화를 통해 S2S 기후 예측 성능을 개선하고자 한다.

참고문헌 (Reference)

1 하지훈 ; 이용희 ; 김용혁, "딥러닝 기법을 이용한 내일강수 예측" 한국지능시스템학회 26 (26): 93-98, 2016

2 홍성재 ; 김재환 ; 최대성 ; 백강현, "기계학습의 LSTM을 적용한 지상 기상변수 예측모델 개발" 한국기상학회 31 (31): 73-83, 2021

3 Wang, L., "Week 3–4predictability over the United States assessed from two operational ensemble prediction systems" 52 : 5861-5875, 2019

4 Son, H., "Visual analysis of spatiotemporal data predictions with deep learning models" 11 : 2021

5 Ronneberger, O., "U-Net: Convolutional Networks for Biomedical Image Segmentation" 60 : 1-29, 2015

6 Deng, Q., "U-Net: A deep-learning method for improving summer precipitation forecasts in China" 100322-, 2023

7 Moron, V., "Tropical rainfall subseasonal-to-seasonal predictability types" 3 : 4-, 2020

8 Vitart, F., "The sub-seasonal to seasonal prediction project (S2S)and the prediction of extreme events" 1 : 3-, 2018

9 Gerritsma, A, "Super-resolution neural networks:A strategy to downscale model output data" Wageningen University

10 Weyn, J. A., "Sub-Seasonal Forecasting With a Large Ensemble of Deep-Learning Weather Prediction Models" 13 : 2021

11 He, S., "Sub-Seasonal Climate Forecasting via Machine Learning: Challenges, Analysis, and Advances"

12 Scaife, A. A., "Skillful long-range prediction of European and North American winters" 41 : 2514-2519, 2014

13 Mariotti, A., "Progress in subseasonal to seasonal prediction through a joint weather and climate community effort" 1 : 4-, 2018

14 Bihlo, A., "Physics informed neural networks for the shallow-water equations on the sphere" 456 : 111024-, 2022

15 Rasp, S., "Neural Networks for Postprocessing Ensemble Weather Forecasts" 146 : 3885-3900, 2018

16 Li, Yanzhong, "Multimodel Subseasonal Precipitation Forecasts over the Contiguous United States: Skill Assessment and Statistical Postprocessing" 22 (22): 2581-2600, 2021

17 Wang, Y., "Multi-model ensemble sub-seasonal forecasting of precipitation over the Maritime Continent in Boreal Summer" 11 : 157-172, 2020

18 Specq, D., "Improving subseasonal precipitation forecasts through a statistical-dynamical approach: application to the southwest tropical Pacific" 55 : 1913-1927, 2020

19 Meyer, H., "Improving performance of spatio-temporal learning models using forward feature selection and target-oriented validation" 101 : 1-9, 2017

20 Sadeghi, M., "Improving near real-time precipitation estimation using a U-Net convolutional neural network and geographical information" 134 : 2020

21 Weng, W., "INet: Convolutional Networks for Biomedical Image Segmentation" 9 : 16591-16603, 2021

22 de Andrade, F. M., "Global precipitation hindcast quality assessment of the Subseasonal to Seasonal (S2S) prediction project models" 52 : 5451-5475, 2019

23 Maclachlan, C., "Global Seasonal forecast system version 5 (GloSea5): A high-resolution seasonal forecast system" 141 : 1072-1084, 2015

24 Liu, Y., "Extended-range arctic sea ice forecast with convolutional long short-Term memory networks" 149 : 1673-1693, 2021

25 Li, W., "Evaluation and Bias Correction of S2S Precipitation for Hydrological Extremes" 20 : 1887-1906, 2019

26 "ECMWF"

27 Lang, Y., "Do CFSv2 seasonal forecasts help improve the forecast of meteorological drought over Mainland China?" 12 : 1-14, 2020

28 Singh, M., "Deep learning for improved global precipitation in numerical weather prediction systems"

29 Zhang, C. J., "Correction model for rainfall forecasts using the LSTM with multiple meteorological factors" 27 : 1-15, 2020

30 Schultz, M. G., "Can deep learning beat numerical weather prediction?" 379 : 2020

31 Kim, T., "Benchmark Dataset for Precipitation Forecasting by Post-Processing the Numerical Weather Prediction"

32 Kingma, D. P, "Adam: A Method for Stochastic Optimization"

33 Xiao, C., "A spatiotemporal deep learning model for sea surface temperature field prediction using time-series satellite data" 120 : 104502-, 2019