(A) study of multivariate multi-step time series forecasting modeling using denoising method

다국어 초록 (Multilingual Abstract)

Multivariate time series forecasting is a task that aims to derive key seasonality from past patterns to predict future time series. It has been studied in various domains, such as the financial markets and electricity consumption. Besides this, time series forecasting can be divided into one-step prediction and multi-step prediction. In the industrial sector, multi-step prediction is crucial because the continuous perspective leads to better decision-making. However, multi-step prediction is highly unstable because of its dependency on the previous prediction values. To solve this problem, we propose a novel encoder-decoder model based on the neural network for multivariate multi-step time series forecasting.
In our study, we propose a denoising training method that allows us to take advantage of both Teacher Forcing (TF) and without Teacher Forcing (w/o TF) methods. Moreover, we propose dual attention. One is for the time dependency between the encoder and the decoder, and the other is for the time dependency in the decoder time steps. Moreover, we stack the dual attention to stabilize the long-term dependency and multi-step prediction problem. We add positional encoding to provide the model with time information. Using this, we can more accurately recognize the seasonality in the model. Because our method is based on a non-linear neural network model, we add an autoregression component to resolve the lack of linear properties. Unlike the typical autoregression model, we propose skip-autoregression for multi-seasonality. Moreover, we adopt multi-head fully connected layers for variable-specific modeling because of our multivariate time series data.
This study performs multi-step prediction of time series with complex seasonality through the modeling method described above. To verify our approach, we compare our model with machine learning and deep learning models. Moreover, to demonstrate our study’s performance, we conduct various experiments such as an ablation study, a denoising intensity test, and a stack attention test.

국문 초록 (Abstract)

다변량 시계열 예측(Multivariate Time Series Forecasting)은 과거의 패턴에서 주요한 주기성(Seasonality)을 도출하여 미래의 시계열을 예측하는 것을 목표로 하는 연구로써, 금융 시장, 전력 소비 등의 다양한 분야에서 연구되고 있다. 또한, 시계열 예측은 점 예측(One-step prediction)과 연속 예측(Multi-step Prediction)으로 나눌 수 있는데, 산업 분야에서는 더 나은 의사결정을 위하여 연속적인 관점이 필요하기 때문에 연속 예측이 더 중요하게 사용된다. 그러나 연속 예측은 이전 예측 값에 대한 종속성(Dependency)으로 인해 분산이 커져 매우 불안정하다는 단점을 가진다. 본 연구는 이 문제를 해결하기 위하여 다변량 연속 시계열 예측을 위한 새로운 인코더-디코더 기반의 신경망을 제안한다.
본 연구에서는 티쳐 포싱(Teacher Forcing, TF)과 티쳐 포싱 미사용 (without Teacher Forcing, w/o TF) 방법론 모두를 활용할 수 있는 디노이징 훈련 기법(Denoising Training Method) 및 인코더와 디코더 간의 시간 종속성에 대한 주의 기제 기법과 디코더 시간 종속성에 대한 주의 기제 기법을 사용하는 이중 주의 기제 기법을 제안한다. 장기 종속성과 연속 예측 문제를 안정화하기 위하여 이중 주의 기제 기법(Stacked Dual Attention)을 스택한다. 모형에 시계열의 시점 정보를 제공하기 위해 위치 인코딩(Positional Encoding)을 추가하여 모형의 주기성을 보다 정확하게 인식할 수 있도록 한다. 제안하는 모형은 비선형 신경망 모형을 기반으로 하기 때문에, 선형성 특성 부족 문제를 해결하기 위해 자기 회귀 모형을 추가한다. 일반적인 자기 회귀 모형과 달리, 본 연구에서는 다중 주기성에 대한 스킵 자기 회귀 모형(Skip Autoregression)을 제안한다. 그리고 다변량 시계열 데이터를 변수 별 모델링 하기 위한 멀티-헤드 완전 연결 계층(Multi-head Fully Connected Layer)을 적용한다.
위와 같은 모델링 기법을 통해 복잡한 주기성을 가진 시계열들의 연속 예측을 수행한다. 제안하는 모형 검증을 위하여, 다른 기계 학습 및 심층 모형과 비교 실험을 한다. 또한, 모형 성능을 증명하기 위하여 절제 연구, 노이즈 강도 실험, 스택 주의 기제 실험 등, 다양한 실험을 수행한다.