Financial Portfolio Optimization based on Reinforcement Learning using Graph Neural Network with multi-layer risk spillover = 다층 리스크 스필오버 그래프 신경망을 이용한 강화학습 기반 금융 포트폴리오 최적화

국문 초록 (Abstract)

최근 금융시장에서 자산 간 상호연결성이 심화됨에 따라, 국지적 충격이 시스템 전반으로 확산되는 위험 전이(Risk Spillover) 현상이 가속화되고 있다. 그러나 기존의 포트폴리오 최적화 연구들은 주로 수익률이나 변동성과 같은 단일 지표에 의존하여, 자산 간의 복잡하고 다차원적인 구조적 위험 관계를 충분히 반영하지 못한다는 한계를 지닌다. 본 논문은 이러한 제약을 극복하기 위해 다층(Multi-layer) 스필오버 구조를 반영한 그래프 표현 학습과 심층 강화학습을 결합한 새로운 End-to-End 포트폴리오 최적화 프레임워크인 HAN-PPO를 제안한다.
본 논문에서는 자산 간의 비선형적 의존성과 이질적인 위험 전이 경로를 포착하기 위해 로그수익률, 변동성, 거래량, VaR(Value-at-Risk) 등 다양한 금융 특성 변수로부터 독립적인 스필오버 매트릭스를 추출하고, 이를 이종 그래프 형태로 구축하였다. 이를 통합적으로 학습하기 위해 Heterogeneous Graph Attention Network (HAN)를 인코더로 설계하였으며, HAN은의미 수준 및 노드 수준(Node-level)의 주의(Attention) 메커니즘을 통해 자산별 위험 노출도가 함축된 정교한 저차원 임베딩을 생성한다. 해당 임베딩은 Proximal Policy Optimization(PPO) 에이전트의 상태 공간(State Space)으로 직접 통합되며, 에이전트는 시장의 구조적 위험 패턴을 인지하고 동적으로 자산을 배분하도록 학습한다.
미국 주식, 채권, 원자재, 통화 등을 포함한 19종의 주요 자산군 시계열 데이터를 이용한 실증 분석 결과, 제안된 HAN-PPO 모델은 전통적 벤치마크인 균등배분(1/N) 및 위험균형(Risk Parity) 전략뿐만 아니라, 단일 레이어 GNN 및 기본 PPO 기반 전략 대비 우수한 성과를 달성하였다. 구체적으로 HAN-PPO는 가장 높은 누적 수익률과 더불어 안정적인 위험 조정 수익률(Sharpe Ratio)을 기록하였으며, 최대 낙폭(MDD)은 유의미하게 낮게 나타났다. 특히 시장 스트레스 국면에서 다층 스필오버 정보를 활용한 HAN 인코더가 하방 위험을 효과적으로 방어하는 데 기여함을 확인하였다. 본 논문은 금융 시장의 다면적 연결 구조를 강화학습의 정책(Policy) 수립에 직접 반영함으로써 포트폴리오 관리의 안정성과 수익성을 동시에 제고할 수 있음을 시사한다.

다국어 초록 (Multilingual Abstract)

In this thesis, we propose HAN-PPO, a novel end-to-end portfolio optimization framework that combines graph representation learning with deep reinforcement learning to address the accelerating risk spillover effects in interconnected financial markets. Unlike traditional models that rely on single metrics, this study aims to capture complex, multi-dimensional structural dependencies between assets. We construct a heterogeneous graph based on independent spillover matrices derived from diverse financial features, including log-returns, volatility, trading volume, and Value-at-Risk (VaR). A Heterogeneous Graph Attention Network (HAN) serves as the encoder, generating sophisticated risk-aware embeddings through semantic- and node-level attention mechanisms. These embeddings are directly integrated into a Proximal Policy Optimization (PPO) agent to enable dynamic asset allocation. Empirical analysis on 19 major asset classes demonstrates that HAN-PPO significantly outperforms traditional benchmarks (e.g., 1/N, Risk Parity) and baseline models. The framework achieved superior cumulative returns and Sharpe ratios while effectively mitigating Maximum Drawdown (MDD) during market stress, highlighting the efficacy of incorporating multi-layer connectivity into investment policies.

목차 (Table of Contents)

• Abstract i
• Contents ii
• List of Tables iv
• List of Figures v
• Chapter 1 Introduction 1
• 1.1 Research Background and Problem Description 1
• 1.2 Limitations of Existing Graph-Based Portfolio Optimization Models 3
• 1.3 Necessity of Multi-Layer Spillover Structures and Heterogeneous Graphs 5
• 1.4 Research Motivation and Contribution 6
• Chapter 2 Related Works 9
• 2.1 Risk Spillover 9
• 2.2 Graph Neural Networks 11
• 2.3 Proximal Policy Optimization 13
• Chapter 3 Methodology 16
• 3.1 Risk Spillover Estimation Using Ridge-Regularized VAR 16
• 3.2 Multi-Layer Heterogeneous Graph Embedding via a HAN Encoder 20
• 3.3 PPO-Based Portfolio Optimization with HAN-Encoded Spillover Graphs 25
• 3.4 Experimental Setup 27
• 3.5 Heuristic Approaches 31
• Chapter 4 Empirical Results 32
• 4.1 Data and Descriptive Statistics 32
• 4.2 Backtest Setup 37
• 4.3 Performance Results 40
• Chapter 5 Conclusion 53
• 5.1 Summary of the Study 53
• 5.2 Future Work 55
• References 59
• 국문초록 64
• 감사의 글 66