어텐션 메커니즘을 결합한 A2C 심층 강화학습 아키텍처 연구 : 공포탐욕지수 기반 시계열 데이터를 중심으로 = A Study on an Attention-Enhanced A2C Deep Reinforcement Learning Architecture: Focusing on Fear-and-Greed-Index-Based Time-Series Data

국문 초록 (Abstract)

본 연구는 CNN 공포·탐욕 지수（Fear ＆ Greed Index）의 핵심 구성 요소를 기반으로 재구성된 7가지 특징（feature）과 특징 어텐션（feature-attention） 기반의 A2C（Advantage Actor-Critic） 아키텍처를 결합하여, 금융 시계열 데이터를 위한 설명 가능한 심층 강화학습 모델을 제안한다. 제안하는 모델은 20거래일의 다변량 시계열 윈도우를 입력으로 받아 시간적 중요도를 반영한 가중 표현（weightedrepresentation）을 구성하고, 이와 동시에 상대적인 특징 활성화 정도를 집계하여 정책 결정에 기여한 핵심 위험 경로를 해석할 수 있도록 설계되었다. 도출된 가중 표현은 LSTM 인코더로 전달된 후 액터（actor）와 크리틱（critic） 네트워크에 공유된다. 이때 액터는 3가지 포지션 행동에 대한 정책 확률을 추정하며, 크리틱은 상태 가치（state value）를 추정한다.
모델의 학습은 n-step A2C를 사용하여 진행되며, 위험 민감형 정책（risk-sensitive policy）을 학습할 수 있도록 보상 함수에 일일 포지션 수익률과 누적 최대 낙폭（drawdown） 페널티를 모두 포함하였다. 분석을 위한 데이터셋은 야후 파이낸스（Yahoo Finance） 단일 출처에서 2009년 1월 1일부터 2026년 3월 31일까지 수집되었으며, 실제 분석 기간은 2010년 3월 1일부터 2026년 3월 31일까지로 설정하였다. 모델의 입력 특징은 변동성（volatility）, 안전자산 수요（safe-haven demand）, 신용 스프레드（creditspread）, 시장 모멘텀（market momentum）, 추세 강도（trend strength）, 시장 폭（market breadth）, 옵션기반 공포 구조（option-based fear structure）를 나타낸다. 데이터 누수（data leakage）를 방지하기 위해 RobustScaler는 학습 기간에만 적합（fitting）시켰으며, 이를 7개의 입력 특징에만 적용하였다. 실증 분석 결과, 2025년 1월 1일부터 2026년 3월 31일까지의 표본 외（Out-of-Sample, OOS） 기간 동안
제안 모델은 수익률 측면에서 매수 후 보유（buy-and-hold） 벤치마크를 하회하였으나, 최대 낙폭（MDD）은 -54.0%로 벤치마크의 -56.8%보다 다소 낮게 나타났다. 이는 제안 모델이 OOS 기간에서 단기적인 초과 수익을 달성하지는 못했으나, 본 연구의 핵심 목표인 낙폭 완화 측면에서는 유의미한 방어적 효과를 제공했음을 시사한다. 반면 전체 표본 기간에 대해서는 제안 모델이 매수 후 보유 전략 대비 높은 수익률과 낮은 최대 낙폭을 동시에 달성하였으며, 이러한 성과는 부트스트랩（bootstrap）, 샤프 지수 차이 t-검정（Sharpe difference t-test） 및 순열 검정（permutation test）을 통해 통계적으로 뒷받침되었다. 추가로 수행된 설명 가능한 인공지능（XAI） 분석에 따르면, 코로나19（COVID-19）, 엔 캐리 트레이드 청산, 관세 무역 전쟁과 같은 사건 주도형 위기（event-driven crisis） 상황에서는 '시장 폭（MarketBreadth）'이 공통적인 핵심 신호로 작용하였다. 반면 금리 인상기에는 '모멘텀（Momentum）'과 '추세 강도（Trend Strength）'가 정책 결정에 중심적인 역할을 한 것으로 나타났다. 이러한 발견은 제안 모델이위기 유형에 따라 서로 다른 위험 경로를 식별할 수 있음을 보여준다. 종합적으로 본 연구는 제안된 모델이 단일 OOS 기간에서도 낙폭 완화라는 방어적 역량을 갖추고 있음을
확인하는 동시에, 장기 표본 기간에 걸쳐 위험 조정 성과 및 설명 가능성 측면에서 특징 어텐션 기반강화학습 모델이 가지는 잠재적 유용성을 입증하였다.

다국어 초록 (Multilingual Abstract)

This study proposes an explainable deep reinforcement learning model for financial time-series data by combining seven reconstructed features based on the core components of the CNN Fear ＆ Greed Index with a feature-attention-based Advantage Actor-Critic（A2C） architecture. The proposed model receives a 20-trading-day multivariate time-series window as input, constructs a weighted representation by reflecting temporal importance, and simultaneously aggregates relative feature activations so that the key risk channels contributing to policy decisions can be interpreted. The weighted representation is passed to an LSTM encoder and then shared by the actor and critic networks; the actor estimates the policy probabilities for three position actions, while the critic estimates the state value. Training is conducted using n-step A2C, and the reward function incorporates both daily position returns and a cumulative drawdown penalty so that a risk-sensitive policy can be learned. The dataset is collected from a single source, Yahoo Finance, covering January 1, 2009 to March 31, 2026, while the actual analysis period is set from March 1, 2010 to March 31, 2026. The input features represent volatility, safe-haven demand, credit spread, market momentum, trend strength, market breadth, and option-based fear structure. To prevent data leakage, RobustScaler is fitted only on the training period and applied only to the seven input features. The empirical results show that, during the out-of-sample period from January 1, 2025 to March 31, 2026, the proposed model underperformed the buy-and-hold benchmark in terms of return, but its maximum drawdown was -54.0%, slightly lower than the benchmark’s -56.8%. This suggests that although the proposed model did not achieve short-term excess return in the OOS period, it provided a certain degree of defensive effect in terms of drawdown mitigation, which is the central objective of this study. Over the full sample period, however, the proposed model achieved both higher return and lower maximum drawdown than the buy-and-hold strategy, and its performance was statistically supported by bootstrap, Sharpe difference t-test, and permutation test results. The XAI analysis further shows that Market Breadth was a common key signal during event-driven crises such as COVID-19, the yen carry trade unwind, and the tariff trade war, whereas Momentum and Trend Strength played central roles during the interest-rate-hike regime. These findings suggest that the proposed model can distinguish different risk channels depending on crisis type. Overall, this study confirms that the proposed model has a certain defensive capability in terms of drawdown mitigation even in a single OOS period, while demonstrating the potential usefulness of a feature-attention-based reinforcement learning model in terms of risk-adjusted performance and explainability over the long-term sample period.

목차 (Table of Contents)

• I. 서 론 1
• 1. 연구 배경 및 필요성 1
• 2. 연구 목적 및 연구 문제 2
• 3. 연구의 범위 및 한계 4
• II. 관련 연구 6
• 1. 강화학습 기반 투자전략 연구 6
• 2. 어텐션 메커니즘과 시계열 해석 가능성 8
• 3. 금융 분야 설명가능한 AI（XAI） 10
• 4. CNN Fear ＆ Greed Index 관련 연구흐름 11
• III. 연구 방법 14
• 1. 전체 파이프라인 구조 14
• 2. 데이터 구성과 전처리 16
• 3. 공포탐욕지수 재현 피처 설계 17
• 4. 강화학습 환경 정의 18
• 5. 피처 어텐션-LSTM actor-critic 구조 19
• 6. n-step A2C 학습 22
• 7. 학습 알고리즘 의사코드 23
• 8. 모델 선택과 검증 파이프라인 25
• IV. 실험설계 26
• 1. 표본 구간과 평가 절차 26
• 2. 하이퍼파라미터 설정 26
• 3. 평가지표 28
• 4. 통계적 검증 체계 28
• V. 실험결과 30
• 1. 학습과정 분석 30
• 2. 아웃오브샘플 성과 32
• 3. 전체기간 성과 33
• 4. 통계적 유의성 검정 33
• 5. XAI 기반 위기별 어텐션 분석 35
• 6. Ablation 테스트 결과 47
• VI. 결론 및 논의 49
• 1. 연구 결과 요약 및 해석 49
• 2. 연구의 의의 및 시사점 51
• 3. 연구 한계 및 향후 과제 53
• 참고문헌 56
• ABSTRACT 59