Forecasting Financial Volatility Using Deep Learning-Based Quantile Function = 딥러닝 기반 분위수함수를 이용한 금융 변동성 예측

다국어 초록 (Multilingual Abstract)

This dissertation addresses the critical issue of volatility forecasting in financial markets. Volatility is a key indicator that reflects the magnitude of fluctuations in asset prices, and accurate forecasting enables investors to respond more effectively to various market risks. In particular, volatility plays a central role in option pricing as a major input for theoretical valuation, and is also essential for portfolio construction strategies aimed at achieving stable returns by considering volatility. Although various methods for measuring volatility exist, most previous studies have focused on realized volatility, which performs strongly according to ex-post evaluation criteria. To predict realized volatility, many approaches based on linear regression models that capture the long-memory property of past volatility have been proposed, and more recently, a variety of models utilizing the predictive power of deep learning have emerged. However, these existing studies have a limitation in that they fail to sufficiently incorporate intraday return information, which constitutes realized volatility. This is largely due to the challenges posed by microstructure noise, fat-tailed distributions, and the large volume of data inherent in intraday returns. To overcome these limitations, this dissertation proposes a novel framework that employs probabilistic modeling to predict the quantiles of next-day intraday returns and, based on these, forecasts realized volatility. For this purpose, a model capable of flexibly learning data-driven distributions is designed, specifically a Neural Quantile Function with Recurrent Neural Network (NQF-RNN) that models quantile functions from time series input. This model demonstrates competitive performance compared to existing probabilistic models in time series with periodic and irregular patterns, and its flexible structure allows for diverse applications. In addition, a Deep Learning Quantile Function (DLQF) model, which has a structure similar to the NQF-RNN, is applied to effectively learn the distribution of intraday returns for realized volatility. The DLQF consists of a BiLSTM model that receives historical time series data and a DNN that outputs quantile values based on compressed time series information and probability inputs. Given the difficulty of obtaining the true distribution of intraday returns, the model is trained using an L2 distance-based loss function between the empirical distribution function and the predicted quantile function. Utilizing the trained model, experiments are conducted on three major U.S. market ETFs (SPY - S&P 500, DIA - Dow Jones Industrial Average, QQQ - NASDAQ 100) using a rolling-window approach, where five years of data are used for training, one quarter for validation, and one quarter for testing, covering Q3 and Q4 of 2022 and Q1 and Q2 of 2023. The proposed framework demonstrates superior predictive performance compared to existing benchmarks in terms of MAE, MSPE, and MAPE. However, in terms of MSE, the model shows less satisfactory performance compared to others. To address this, a correction model is additionally introduced to adjust the predicted values derived from the probabilistic distribution, resulting in improved performance on key risk management indicators such as MSE and QLIKE, which are crucial for measuring the risk of volatility underestimation. The proposed model is trained using both a distribution learning loss function and a distance-based loss function between the final prediction and actual realized volatility, allowing for flexible design according to the model’s objective. Furthermore, economic analysis based on a mean-variance utility function confirms the economic significance and practical utility of the proposed model. This model can be effectively utilized for volatility management and the development of investment strategies aimed at minimizing risk, thereby contributing to safer investment decision-making. In conclusion, this dissertation proposes a novel realized volatility forecasting model that actively incorporates intraday return information, thereby laying the foundation for a new analytical methodology that can advance to both volatility forecasting research and practical investment strategy development.

국문 초록 (Abstract)

본 학위논문은 금융 시장에서 매우 중요한 문제인 변동성 예측에 관한 연구를 다룬다. 변동성은 자산 가격이 얼마나 크게 변동할지 나타내는 핵심 지표로, 이를 사전에 예측할 수 있다면 투자자는 시장의 다양한 위험에 보다 효과적으로 대응할 수 있다. 특히 옵션 가격 산정에서 변동성은 이론적 가치 산출의 주요 변수로 작용하며, 자산 배분 측면에서도 변동성을 고려한 포트폴리오 전략을 통해 안정적인 수익률을 추구할 수 있다. 여러 변동성 측정 방법이 존재하지만, 많은 연구들은 대부분 사후 평가 기준에 우수한 실현 변동성을 중심으로 연구를 진행해왔다. 이러한 실현 변동성을 예측하기 위해 과거 변동성의 장기기억 특성을 반영한 선형회귀모델 기반의 접근법 발표된 이래로 최근에는 딥러닝의 뛰어난 예측력을 활용한 다양한 모델이 제안되고 있다. 그러나 기존 연구들은 실현 변동성을 구성하는 일중 수익률 정보를 충분히 반영하지 못하는 한계를 지닌다. 이는 일중 수익률이 마이크로스트럭처 노이즈와 두꺼운 꼬리 분포 등 복잡한 특성을 가지고 있으며, 많은 수의 값들을 동시에 처리해야 하는 어려움이 존재하기 때문이다. 이러한 한계를 극복하기 위해 본 논문은 확률적 모델링을 도입하여, 다음날의 일중 수익률 분위수를 예측하는 방식을 토대로 실현 변동성을 예측하는 새로운 프레임워크를 제안한다. 이를 위해 데이터 기반 분포를 자유롭게 학습할 수 있는 모델을 설계하였으며, 시계열 데이터를 입력받아 분위수 함수를 구현하는 Neural Quantile Function with Recurrent Neural Network (NQF-RNN)를 도입한다. 해당 모델은 주기성과 불규칙성이 혼재된 일반적인 시계열에서 기존 확률적 모델에 비해 경쟁력 있는 성능을 보이며, 유연한 구조로 인해 다양한 응용이 가능하다. 또한, 실현 변동성의 일중 수익률 분포를 효과적으로 학습하기 위해 NQF-RNN과 유사한 구조의 분위수 함수 예측 모델인 Deep Learning Quantile Function (DLQF)을 제안하였다. DLQF는 과거 시계열 데이터를 입력받는 Bi-LSTM 모델과, 시계열 압축 정보 및 확률값을 입력받아 분위수 값을 출력하는 DNN으로 구성된다. 실제 일중 수익률의 분포를 구하기 어려운 점을 고려해, 관측된 일중 수익률의 경험적 분포 함수와 예측 분위수 함수로부터 얻은 경험적 분포 함수 간의 L2 거리 기반 손실함수로 일중 수익률 분포를 학습한다. 이렇게 학습된 모델을 활용하여, 5년간의 데이터를 학습하고 1분기를 검증, 1분기를 테스트하는 롤링 윈도우 방식으로 2022년 3분기, 4분기, 2023년 1분기, 2분기에 대해 미국 주식시장을 대표하는 3가지 ETF(SPY - S&P500, DIA - Dow Jones Industrial Average, QQQ - NASDAQ 100)를 대상으로 실험을 수행한다. 그 결과, 제안한 프레임워크는 기존 벤치마크 대비 MAE, MSPE, MAPE 기준에서 우수한 예측 성능을 나타낸다. 다만, MSE에서는 다른 모델보다 성능이 미흡한 한계가 관찰된다. 이를 보완하기 위해 확률 분포로부터 추정된 예측값을 보정하는 보정 모델을 추가로 도입하며, 이로 인해 리스크 관리 측면에서 변동성 과소 추정 리스크를 잘 측정할 수 있는 주요 지표인 MSE와 QLIKE 기준에서 성능이 향상됨을 확인한다. 제안 모델은 분포 학습 손실함수와 최종 예측치와 실제 실현 변동성 간 거리 기반 손실함수로 구성되어 있으며, 이러한 손실함수는 모델의 목적에 따라 유연하게 설계될 수 있다. 또한, 평균-분산 효용함수를 도입하여 경제적 분석을 수행한 결과, 제안 모델이 경제적 의의와 실용성을 모두 갖추었음을 확인한다. 본 모델은 변동성 관리와 안정적인 투자 전략 개발에 실질적으로 활용될 수 있어, 효과적인 투자 전략 수립에 기여할 수 있다. 결론적으로, 본 학위논문은 일중 수익률 정보를 적극적으로 반영한 새로운 실현 변동성 예측 모델을 제안함으로써, 변동성 예측 연구 및 실무적 투자 전략 수립에 기여할 수 있는 새로운 분석 방법론의 기틀을 마련한다.

목차 (Table of Contents)

• Abstract i
• Contents vii
• List of Tables ix
• List of Figures xi
• Chapter 1 Introduction 1
• 1.1 Problem Description 1
• 1.2 Research Motivation and Contribution 5
• 1.3 Organization of the Thesis 12
• Chapter 2 Literature Review 13
• 2.1 Deep Learning-Based Probabilistic Forecasting in Time Series 13
• 2.2 Realized Volatility Forecasting Models 16
• 2.3 Quantifying The Economic Value of Realized Volatility Forecasting Models 19
• Chapter 3 Deep Learning-Based Quantile Function 21
• 3.1 Model Framework 21
• 3.1.1 Specification of NQF-RNN 25
• 3.1.2 Evaluation Metrics 32
• 3.2 Results & Discussions 36
• 3.2.1 Experimental Set-up & Benchmark Models 36
• 3.2.2 Experiment on Synthetic Data 38
• 3.2.3 Experiment on Real-world Data 44
• 3.2.4 Discussions 51
• 3.3 Conclusion 52
• Chapter 4 Realized Volatility Forecasting Using DLQF 54
• 4.1 Realized volatility 54
• 4.2 Model Framework 55
• 4.2.1 Embedding of the input time series using the Bi-LSTM model 56
• 4.2.2 Deriving the DNN quantile function from the time series embeddings 57
• 4.2.3 Estimating RVt from the DLQF 58
• 4.3 Learning based on Lp distance loss function 59
• 4.4 Training and forecasting 62
• 4.5 Evaluation method and data 65
• 4.5.1 Benchmark model 65
• 4.5.2 Evaluation metrics and statistical test 72
• 4.6 Data 73
• 4.7 Experimental results and discussion 75
• 4.7.1 Experimental setup 75
• 4.7.2 Results and discussion 77
• 4.8 Conclusion 81
• Chapter 5 DLQF Enhancement and Economic Analysis 83
• 5.1 Overview: Enhancement of the DLQF Model 83
• 5.2 Model Framework 85
• 5.2.1 Model Architecture and Loss Function Modifications 86
• 5.2.2 Training and Forecasting 87
• 5.3 Economic Analysis 90
• 5.4 Evaluation metrics 91
• 5.5 Experimental results and discussion 92
• 5.5.1 Experimental setup 92
• 5.5.2 Results and discussion 93
• 5.6 Conclusion 95
• Chapter 6 Concluding Remarks 103
• 6.1 Contributions and Limitations 103
• 6.2 Future Work 106
• Bibliography 109
• Appendices 121
• A Abbreviations 122
• B Symbols 124
• C Proper scoring rules 126
• D Detailed preprocessing of datasets 127
• D.1 Synthetic datasets 127
• D.2 Real-world datasets 127
• E Hyperparameter sets for models 128
• E.1 Synthetic datasets 128
• E.2 Real-world datasets 128
• F Visualization of probabilistic forecasting in four real-world datasets 129
• G Deep learning model benchmarks 136
• G.1 LSTM 136
• G.2 Bi-LSTM 138
• G.3 GRU 139
• G.4 Transformer 141
• H Lp distance 143
• I Diebold-Mariano Test 145
• 국문초록 146