주가 방향성의 다중 시점 예측을 위한 해석 가능한 Transformer 모델 연구

한창진 서울대학교 대학원 2021 국내석사

주식 시장 예측 연구는 금융 데이터를 활용한 시계열 예측 분야에서 활발히 연구되어 오던 주제이다. 주식 시장을 예측하는 방법론으로 주가를 예측하는 방식과 주가의 방향성을 예측하는 방식이 있는데 투자나 정책 입안과 같은 의사결정을 위해서 두 방법 모두 필요하다. 그리고 투자의 리스크를 더 줄이기 위해 미래의 한 시점을 예측하는 것보다 여러 시점을 예측할 수 있는 다중 시점(Multi-step) 주가 예측 방법론이 중요한데 이에 대한 연구는 많지 않다. 본 논문에서는 딥러닝 모델 중 Transformer 기반의 모델을 활용해 주가와 방향성의 다중 시점 예측 성능을 높인 모델을 제시한다. 이를 위해 다중 시점 시계열 예측에 쓰이고 있는 Transformer 기반의 state-of-the-art(SOTA) 모델을 선정한 후, 멀티헤드 어텐션(Multi-Head Attention) 과정에 희소한 어텐션(Sparse Attention)을 적용하여 모델이 예측하고자 하는 시점과 관련이 높은 시점에만 집중할 수 있도록 유도하였다. 그리고 기존의 모델 학습에 쓰이던 손실 함수를 변형시켜 주가와 방향성 예측에 대한 손실을 모두 반영하였다. 제안하는 기법들의 효과를 확인하기 위해 비교 실험을 진행하였으며, 희소한 어텐션과 변형된 손실 함수가 주가와 방향성 예측 성능 향상에 기여함을 검증하였다. 그러나 위에서 학습된 모델이 미래를 정확하게 예측하더라도 투자 전문가들의 보조도구로써 사용되기 위해서는 모델의 예측 결과를 설명할 수 있는 근거가 필요하다. 그러므로 본 논문에서는 어텐션 패턴, 변수 중요도, 부분 의존성과 같이 모델의 예측을 해석 가능하도록 돕는 결과들을 도출하였으며, 이를 이용하여 학습된 모델이 직관과 부합하는 방식으로 학습되었고 데이터셋 내 특징도 우수하게 잡아내는 것을 보였다. Stock market forecasting is a topic that has been actively studied in the field of time series forecasting using financial data. As a method for forecasting the stock market, there are a method of forecasting stock prices and a method of forecasting the movement of stock prices. Both methods are required for decision-making, such as investment or policy-making. In addition, to further reduce investment risk, a multi-step stock price forecasting methodology that can predict multiple points in the future is more important than forecasting a single point in the future. However, there are not many studies on this. This thesis presents a model with improved multi-step forecasting performance of stock price and stock price movement by using a Transformer-based model. For this purpose, after selecting a Transformer-based state-of-the-art(SOTA) model used for multi-step time series forecasting, sparse attention is applied to the multi-head attention process to make the model induced to focus only on the time step highly related to the time step to be predicted. Moreover, by modifying the loss function used in the model training, both the stock price and movement forecasting losses were reflected. A comparative experiment was conducted to confirm the effectiveness of the proposed techniques, and it was verified that the sparse attention and modified loss function contribute to the improvement of stock price and movement forecasting performance. However, even if the model learned above accurately forecasts the future, to be used as an auxiliary tool for investment experts, a rationale for explaining the forecasting results of the model is needed. Therefore, in this paper, we derive results that help interpret model predictions, such as attention pattern, variable importance, and partial dependence. From the result, it was shown that the model was trained in a way consistent with intuition, and it was also shown that the features in the dataset were captured well.

LSTM 기반 실내공기질 다단계 예측 모델 구축

안정현 충북대학교 2020 국내석사

하루 중 대부분을 실내에서 생활하는 현대인에게 실내환경문제는 실외환경 문제 못지않게 중요한 이슈이다. 실내공기오염은 거주자 건강에 심각한 영향을 미치기 때문에 오염 정도를 사전에 알기 위한 실내공기질 예측 모델 개발이 요구된다. 본 연구에서는 거주자에게 실내공기질 위험 정도 및 환기 구간에 대한 satisficing solution을 제공하는 LSTM기반 실내공기질 다단계 예측 모델을 구축하였다. 실제값과 모델 예측값에 대한 실내환경질 지수를 비교한 결과, 1-step부터 5-step까지 예측값과 실제값의 그래프 개형이 많이 일치하였다. 또한, 5-step까지 0.9 이상의 높은 정확도를 보였다. 사용자는 이러한 높은 정확도를 갖는 모델을 잘 활용하여 미래의 어느 시점에 실내공기질 수준이 어느 정도인지를 파악하고, 위험 수준 정도에 따라 환기 여부를 결정할 수 있다. The indoor air quality(IAQ) problem is as important as the outdoor air pollution problem for modern people living most of the day indoors. Since indoor air pollution has a serious effect on residents' health, it is required to develop a model for forecasting indoor air quality to know the pollution level in advance. In this study, a multi-step IAQ forecasting model based on LSTM was constructed to provide information about the indoor air quality level and satisficing solution to ventilation duration to residents. As a result of comparing two indoor environment quality(IEQ) indices transformed from the actual value and the predicted value, the graph shapes of the predicted value and the actual value from 1 step to 5 steps was consistent. In addition, it showed high accuracy of 0.9 or higher for all the steps between step 1 to 5. Users can use this model with high accuracy to grasp the level of indoor air quality and decide whether to ventilate the room according to the level of risk.

(A) study of global-local decomposition for multivariate time series modeling

박진욱 Graduate School, Yonsei University 2022 국내박사

Since the fundamentals of decomposing time series into non-observable components, the decomposition approaches have been considered as a starting point for time series modeling. The conventional time series decomposition methods have been developed for a univariate or small group of time series. In modern applications, however, big data systems generate numerous time series that cannot utilize these models. Instead, a new type of modeling approach, referred to as global-local models, has arisen. The term global is defined as common behaviors among a substantial amount of time series, and local denotes idiosyncratic features of individual series. This study is focused on a novel design to decompose time series into global and local series. Although recent studies have shown that global and local components convincingly help improve forecasting performance, existing global-local approaches typically treat the global components as additional hidden states inside the model without providing the decomposed series for further analysis. To alleviate this fundamental flaw, we introduce a simple but effective global-local decomposition framework, named DeepGate, which empowers disentangling and understanding the underlying global and local series beneath multivariate time series. We extend the linear global factors in Dynamic Factor Models to non-linear factors based on deep learning architectures while retaining the additive properties between components. In this study, we confirmed that DeepGate can disentangle the interpretable global series and local components that can be utilized in further analysis, rather than forms of hidden features. In addition, we propose a novel multi-step forecasting framework that imposes global-local decomposition in DeepGate. Since global and local series can have different aspects of dynamics, we employ similar but not shared neural architectures on them. The experiments on the synthetic and real-world datasets demonstrated the effectiveness of the proposed forecasting framework. Finally, we present an anomaly detection method based on the decomposition. While we use disentangled global series explicitly, we build a reconstruction module to detect abnormal behaviors in the multivariate time series. We proved that the proposed method outperforms several existing methods on the benchmark datasets. Through a profound analysis of experimental results, we are convinced that the proposed global-local decomposition can enhance further modeling applications, beyond disentangling the multivariate time series itself.

(A) study on forecasting gold price in the short run based on artificial neural network

Seo, Younghoon Sungkyunkwan university 2019 국내석사

Forecasting time series data in financial markets has been one of the most interesting topics since people had a natural desire on earning profits. Because there are no absolute rules or theories that explain movements in any time series data, it seems to be impossible to predict a value in the future. However, some methods have been introduced in statistics and currently data science contributes to forecasting the future values in not only financial markets in economics, but also other time series data such as signals, weather patterns, and people’s demand in manufacture markets, etc. Forecasting the future gold price in the financial markets is so important that it supports financial investors to read and analyze signals from economic indicators and make decisions on their assets. Mostly, Autoregressive Integrated Moving Average (ARIMA) and Multilayer Perceptron (MLP) have been used in gold market in various studies. On the other hand, several deep learning algorithms from Convolution Neural Network (CNN) to Long Short-term Memory (LSTM) are already used in especially stock markets and cryptocurrency markets meaning that time series forecasting in financial markets may be more accurate with state-of-the-art deep learning algorithms. In this thesis, we focus on typically the gold market which investors consider it as a safe-haven asset and we propose a method that is a combination of CNN, LSTM and MLP to predict the next 5-day gold price. First, we use a hybrid CNNLSTM model to predict the target values and add residuals from the previous prediction as another input to predict the next 5-day gold price with MLP. We discover that the results from our proposed method are better than other wellknown methods such as Linear Regression, ARIMA, and Artificial Neural Network (ANN).

중장기 농산물 가격 예측을 위한 다단계 시계열 예측 모델

박종현 국민대학교 비즈니스IT전문대학원 2023 국내석사

중장기 농산물 가격 예측을 위한 다단계 시계열 예측 모델 농산물 가격 예측은 농업 경제와 관련된 다양한 이해관계자들에게 중대한 영향을 미치는 핵심적인 활동이다. 이는 생산자에게 있어서는 수익성과 생산 계획을 결정하는 데 필수적이다. 소비자의 관점에서는 농산물 가격의 예측이 시장 가격의 안정성과 예측 가능성을 높여, 합리적인 소비 결정을 내리는 데 도움을 준다. 그러나, 급변하는 기후 조건과 국제 정세의 변화는 농산물 시 장의 불확실성을 높이고 있다. 이에 농산물 가격 예측의 정확성과 신뢰성이 대두되고 있다. 본 논문에서는 Multi-Step Time Series의 세 가지 전략을 비교 분석하기 위해 LGBM, MLP, LSTM, GRU를 사용하여 농산물 중장기 가격 예측에 대 한 최적의 모형을 제안한다. 제안 모형은 다각도로 전략을 선택하여 모델과 전략간 최적의 조합을 찾도록 설계되었다. 기존 농산물 가격 예측 연구에서 는 전통 계량경제 모델인 ARIMA를 비롯하여 LSTM 계열 모델이 주로 사 용된 반면 Multi-Step Time Series 관련 농산물 가격 예측 연구는 매우 제 한적이다. 전통적인 농산물 가격 예측 모델들은 주로 단기 예측에 초점을 맞 추고 있으나, 이는 중장기적인 시장 동향과 변동성을 충분히 반영하지 못한 다. 다단계 시계열 예측의 적용은 이러한 한계를 극복하고, 보다 장기적인 관점에서 농산물 가격의 흐름을 예측하고 분석하는 데 중요한 역할을 한다. 본 연구에서는 농산물 가격의 변동성 정도에 따라 두 개의 기간으로 나누 어 실험을 진행하였으며, Direct, Hybrid, Multiple Outputs 등 세 전략의 중 장기 가격 예측 결과 Hybrid 접근법이 상대적으로 우수한 성능을 보였다.본 연구 결과는 중장기 일별 가격 예측을 고도화할 수 있는 효과적인 대안을 제시하며, 실험 전략들은 기본적인 원리가 동일하므로 다른 도메인에서의 중 장기 일별 가격 예측에도 유효하게 적용될 수 있을 것이다. Agricultural price forecasting is a key activity that has a significant impact on the various stakeholders involved in the agricultural economy. For producers, it is essential for determining profitability and production planning. From the perspective of consumers, forecasting agricultural prices increases the stability and predictability of market prices, helping them to make rational consumption decisions. However, rapidly changing climatic conditions and shifts in international affairs are increasing uncertainty in agricultural markets. Therefore, the accuracy and reliability of agricultural commodity price forecasting has become an issue. In this paper, we propose an optimal model for mid- and long-term price forecasting of agricultural products using LGBM, MLP, LSTM, and GRU for comparative analysis of three strategies of Multi-Step Time Series. The proposed model is designed to find the optimal combination of model and strategy by selecting strategies from different angles. In the existing agricultural price forecasting studies, the traditional econometric model ARIMA and LSTM series models are mainly used, while the agricultural price forecasting studies related to multi-step time series are very limited. Traditional agricultural price forecasting models mainly focus on short-term forecasting, which does not fully reflect the market trend and volatility in the medium and long term. The application of multi-step time series forecasting overcomes these limitations and plays an important role in forecasting and analyzing the flow of agricultural prices from a more long-term perspective. In this study, the experiments were divided into two time periods according to the degree of volatility of agricultural commodity prices, and the results of medium- and long-term price forecasts of three strategies, including direct, hybrid, and multiple outputs, showed that the hybrid approach performed relatively well. The results of this study provide an effective alternative to improve medium- and long-term daily price forecasts, and the experimental strategies have the same basic principles, so they can be effectively applied to medium- and long-term daily price forecasts in other domains.

(A) study of multivariate multi-step time series forecasting modeling using denoising method

홍정수 Graduate School, Yonsei University 2021 국내석사

Multivariate time series forecasting is a task that aims to derive key seasonality from past patterns to predict future time series. It has been studied in various domains, such as the financial markets and electricity consumption. Besides this, time series forecasting can be divided into one-step prediction and multi-step prediction. In the industrial sector, multi-step prediction is crucial because the continuous perspective leads to better decision-making. However, multi-step prediction is highly unstable because of its dependency on the previous prediction values. To solve this problem, we propose a novel encoder-decoder model based on the neural network for multivariate multi-step time series forecasting. In our study, we propose a denoising training method that allows us to take advantage of both Teacher Forcing (TF) and without Teacher Forcing (w/o TF) methods. Moreover, we propose dual attention. One is for the time dependency between the encoder and the decoder, and the other is for the time dependency in the decoder time steps. Moreover, we stack the dual attention to stabilize the long-term dependency and multi-step prediction problem. We add positional encoding to provide the model with time information. Using this, we can more accurately recognize the seasonality in the model. Because our method is based on a non-linear neural network model, we add an autoregression component to resolve the lack of linear properties. Unlike the typical autoregression model, we propose skip-autoregression for multi-seasonality. Moreover, we adopt multi-head fully connected layers for variable-specific modeling because of our multivariate time series data. This study performs multi-step prediction of time series with complex seasonality through the modeling method described above. To verify our approach, we compare our model with machine learning and deep learning models. Moreover, to demonstrate our study’s performance, we conduct various experiments such as an ablation study, a denoising intensity test, and a stack attention test. 다변량 시계열 예측(Multivariate Time Series Forecasting)은 과거의 패턴에서 주요한 주기성(Seasonality)을 도출하여 미래의 시계열을 예측하는 것을 목표로 하는 연구로써, 금융 시장, 전력 소비 등의 다양한 분야에서 연구되고 있다. 또한, 시계열 예측은 점 예측(One-step prediction)과 연속 예측(Multi-step Prediction)으로 나눌 수 있는데, 산업 분야에서는 더 나은 의사결정을 위하여 연속적인 관점이 필요하기 때문에 연속 예측이 더 중요하게 사용된다. 그러나 연속 예측은 이전 예측 값에 대한 종속성(Dependency)으로 인해 분산이 커져 매우 불안정하다는 단점을 가진다. 본 연구는 이 문제를 해결하기 위하여 다변량 연속 시계열 예측을 위한 새로운 인코더-디코더 기반의 신경망을 제안한다. 본 연구에서는 티쳐 포싱(Teacher Forcing, TF)과 티쳐 포싱 미사용 (without Teacher Forcing, w/o TF) 방법론 모두를 활용할 수 있는 디노이징 훈련 기법(Denoising Training Method) 및 인코더와 디코더 간의 시간 종속성에 대한 주의 기제 기법과 디코더 시간 종속성에 대한 주의 기제 기법을 사용하는 이중 주의 기제 기법을 제안한다. 장기 종속성과 연속 예측 문제를 안정화하기 위하여 이중 주의 기제 기법(Stacked Dual Attention)을 스택한다. 모형에 시계열의 시점 정보를 제공하기 위해 위치 인코딩(Positional Encoding)을 추가하여 모형의 주기성을 보다 정확하게 인식할 수 있도록 한다. 제안하는 모형은 비선형 신경망 모형을 기반으로 하기 때문에, 선형성 특성 부족 문제를 해결하기 위해 자기 회귀 모형을 추가한다. 일반적인 자기 회귀 모형과 달리, 본 연구에서는 다중 주기성에 대한 스킵 자기 회귀 모형(Skip Autoregression)을 제안한다. 그리고 다변량 시계열 데이터를 변수 별 모델링 하기 위한 멀티-헤드 완전 연결 계층(Multi-head Fully Connected Layer)을 적용한다. 위와 같은 모델링 기법을 통해 복잡한 주기성을 가진 시계열들의 연속 예측을 수행한다. 제안하는 모형 검증을 위하여, 다른 기계 학습 및 심층 모형과 비교 실험을 한다. 또한, 모형 성능을 증명하기 위하여 절제 연구, 노이즈 강도 실험, 스택 주의 기제 실험 등, 다양한 실험을 수행한다.