주가 방향성의 다중 시점 예측을 위한 해석 가능한 Transformer 모델 연구 = Study on Interpretable Transformer Model for Multi-step Stock Price Movement Forecasting

국문 초록 (Abstract)

주식 시장 예측 연구는 금융 데이터를 활용한 시계열 예측 분야에서 활발히 연구되어 오던 주제이다. 주식 시장을 예측하는
방법론으로 주가를 예측하는 방식과 주가의 방향성을 예측하는 방식이 있는데 투자나 정책 입안과 같은 의사결정을 위해서
두 방법 모두 필요하다. 그리고 투자의 리스크를 더 줄이기 위해 미래의 한 시점을 예측하는 것보다 여러 시점을 예측할
수 있는 다중 시점(Multi-step) 주가 예측 방법론이 중요한데 이에 대한 연구는 많지 않다.

본 논문에서는 딥러닝 모델 중 Transformer 기반의 모델을 활용해 주가와 방향성의 다중 시점 예측 성능을 높인 모델을 제시한다. 이를 위해 다중 시점 시계열 예측에 쓰이고 있는 Transformer 기반의 state-of-the-art(SOTA) 모델을 선정한 후, 멀티헤드 어텐션(Multi-Head Attention) 과정에 희소한 어텐션(Sparse Attention)을 적용하여 모델이 예측하고자 하는 시점과 관련이 높은 시점에만 집중할 수 있도록 유도하였다. 그리고 기존의 모델 학습에 쓰이던 손실 함수를 변형시켜 주가와 방향성 예측에 대한 손실을 모두 반영하였다. 제안하는 기법들의 효과를 확인하기 위해 비교 실험을 진행하였으며, 희소한 어텐션과 변형된 손실 함수가 주가와 방향성 예측 성능 향상에 기여함을 검증하였다.

그러나 위에서 학습된 모델이 미래를 정확하게 예측하더라도 투자 전문가들의 보조도구로써 사용되기 위해서는 모델의 예측 결과를 설명할 수 있는 근거가 필요하다. 그러므로 본 논문에서는 어텐션 패턴, 변수 중요도, 부분 의존성과 같이 모델의 예측을 해석 가능하도록 돕는 결과들을 도출하였으며, 이를 이용하여 학습된 모델이 직관과 부합하는 방식으로 학습되었고 데이터셋 내 특징도 우수하게 잡아내는 것을 보였다.

다국어 초록 (Multilingual Abstract)

Stock market forecasting is a topic that has been actively studied in the field of time series forecasting using financial data. As a method for forecasting the stock market, there are a method of forecasting stock prices and a method of forecasting the movement of stock prices. Both methods are required for decision-making, such as investment or policy-making. In addition, to further reduce investment risk, a multi-step stock price forecasting methodology that can predict multiple points in the future is more important than forecasting a single point in the future. However, there are not many studies on this.

This thesis presents a model with improved multi-step forecasting performance of stock price and stock price movement by using a Transformer-based model. For this purpose, after selecting a Transformer-based state-of-the-art(SOTA) model used for multi-step time series forecasting, sparse attention is applied to the multi-head attention process to make the model induced to focus only on the time step highly related to the time step to be predicted. Moreover, by modifying the loss function used in the model training, both the stock price and movement forecasting losses were reflected. A comparative experiment was conducted to confirm the effectiveness of the proposed techniques, and it was verified that the sparse attention and modified loss function contribute to the improvement of stock price and movement forecasting performance.

However, even if the model learned above accurately forecasts the future, to be used as an auxiliary tool for investment experts, a rationale for explaining the forecasting results of the model is needed. Therefore, in this paper, we derive results that help interpret model predictions, such as attention pattern, variable importance, and partial dependence. From the result, it was shown that the model was trained in a way consistent with intuition, and it was also shown that the features in the dataset were captured well.

목차 (Table of Contents)

• 제 1 장 서론 1
• 1.1 연구 배경 및 동기 2
• 1.2 연구 목적 3
• 1.3 문제 정의 4
• 1.4 논문 구성 6
• 제 2 장 배경 이론 및 관련 연구 7
• 2.1 배경 이론 7
• 2.1.1 Transformer 7
• 2.1.2 설명 가능한 인공지능 10
• 2.2 관련 연구 13
• 2.2.1 다중 시점 시계열 예측에 딥러닝을 적용한 연구 13
• 2.2.2 주식 시장 예측에 딥러닝을 적용한 연구 14
• 2.2.3 Transformer 모델의 단점을 극복하고자 하는 연구 16
• 제 3 장 Temporal Fusion Transformer를 이용한 주가 방향성 예측 기법 18
• 3.1 Temporal Fusion Transformer 18
• 3.2 희소한 어텐션 22
• 3.3 손실 함수 변형 24
• 3.3.1 기존의 손실 함수 24
• 3.3.2 변형한 손실 함수 24
• 제 4 장 실험 결과 27
• 4.1 데이터셋 27
• 4.2 실험 세팅 29
• 4.3 실험 결과 32
• 4.3.1 베이스라인 모델 비교 32
• 4.3.2 제안 기법 효과 검증 34
• 4.3.3 해석 가능한 결과 46
• 제 5 장 결론 51
• 5.1 결론 51
• 5.2 향후 연구 52
• 참고문헌 53
• Abstract 64