A Correlation-Driven Progressive Framework for Time Series Forecasting: From Sparse Convolutions to Cross-Modal Fusion = 상관관계 기반 시계열 예측 프레임워크: 희소 합성곱에서 크로스모달 융합으로의 단계적 확장

다국어 초록 (Multilingual Abstract)

Time series forecasting is pivotal in domains ranging from energy management to financial analytics, where accurate predictions hinge on effectively capturing inherent temporal correla- tions. Traditional approaches often address these correlations in isolation, leading to suboptimal performance across varying data complexities. This dissertation introduces a correlation-driven progressive framework that systematically models three fundamental temporal relations: inter- nal patterns within univariate sequences, interactions among variables in multivariate data, and fusions between numerical time series and exogenous textual modalities. By grounding the framework in these correlations, it establishes a logical progression where each model is ex- plicitly designed to capture a specific correlation type, enhancing predictive robustness and interpretability in deep learning-based TSF. The framework commences with DelayNet, a lightweight convolutional architecture de- signed to capture intra-series correlations in univariate datasets through optimized temporal convolutions and delay mechanisms. This model achieves 5-20% reductions in mean squared error, alongside substantial decreases in computational runtime and parameters compared to established Deep Learning (DL) baselines, while maintaining or surpassing predictive accu- racy. Extending this base, LSPatch-T extends the approach to inter-variate correlations in multi- variate settings. Through a self-supervised pre-training strategy incorporating semantic patch- ing and hybrid tokenization, LSPatch-T captures cross-variable dependencies, such as covari- ations, yielding 10–20% average MSE improvements across benchmarks like ETTh1, ETTh2, and Weather datasets. This enhances generalization by enabling seamless transitions between temporal, variate, and patch views. Culminating the progression, TextTimeFuse integrates cross-modal relationships by fusing textual contexts with time series data using cross-attention and pre-trained language model embeddings. Evaluations on the Time-MMD dataset yield 3.3% mean squared error and 9.7% mean absolute error gains over unimodal counterparts across nine domains. Through rigorous experimental validations, this work contributes: (1) advanced sparse con- volutional techniques for intra-series correlation capture; (2) transfer learning paradigms for inter-variate modeling; and (3) multimodal fusion mechanisms for cross-modal enhancements. The correlation-driven paradigm offers a cohesive pathway for TSF advancements, promoting innovative AI applications in dynamic environments. Keywords: Deep Learning, Time Series Forecasting, Temporal Convolutional Network, Trans- former, Multi-modal Time Series

국문 초록 (Abstract)

시계열 예측은 에너지 관리에서 금융 분석에 이르는 다양한 분야에서 핵심적인 역할을 수행하며, 정확한 예측은 본질적인 시간적 상관관계를 효과적으로 포착하는 데 달려 있다.
기존 접근법들은 이러한 시간적 상관관계를 개별적으로 다루는 경우가 많아 데이터 복잡도가 다양한 상황에서 최적 이하의 성능을 보였다.
본 논문은 세 가지 기본적인 시간적 관계, 즉 단변량 시계열 내부의 패턴인 시계열 내 상관관계, 다변량 데이터에서 변수 간 상호작용인 변수 간 상관관계, 그리고 수치형 시계열과 외생적 텍스트 모달리티 간의 융합인 교차 모달 상관관계를 체계적으로 모델링하는 상관관계 기반 점진적 프레임워크를 제안한다. 이 프레임워크는 각 모델이 특정 상관관계 유형을 명시적으로 포착하도록 설계함으로써 딥러닝 기반 시계열 예측의 예측 강건성과 해석 가능성을 제고한다.
프레임워크는 먼저 단변량 데이터에서 시계열 내 상관관계를 포착하기 위해 최적화된 시간 컨볼루션과 지연 메커니즘을 활용한 경량 컨볼루션 아키텍처인 DelayNet으로 시작한다. DelayNet은 기존 딥러닝 베이스라인에 비해 평균제곱오차 MSE 를 5–20% 감소시키는 동시에 연산 시간과 파라미터 수를 크게 줄이면서도 예측 정확도를 유지하거나 상회하는 성능을 달성하였다.
이 기초를 확장하여 LSPatch-T는 다변량 환경에서의 변수 간 상관관계를 다룬다. 의미적 패치와 하이브리드 토큰화를 포함한 자기지도 사전학습 전략을 통해 공변량과 같은 변수 간 종속성을 효과적으로 포착하며, ETTh1, ETTh2, Weather 등 벤치마크 데이터셋에서 평균 10–20%의 MSE 개선을 달성하였다. 이는 시간적 · 변수적 · 패치적 관점 간 원활한 전이를 가능하게 하여 일반화 성능을 크게 향상시켰다.
프레임워크의 정점인 TextTimeFuse는 크로스 어텐션과 사전학습된 언어 모델 임베딩을 활용하여 텍스트 맥락과 시계열 데이터를 융합함으로써 교차 모달 관계를 통합한다. TimeMMD 데이터셋에 대한 실험에서 단일 모달 방식 대비 평균제곱오차 3.3%, 평균절대오차 MAE 9.7%의 성능 향상을 보였으며, 이는 9개 도메인에 걸쳐 일관되게 나타났다.
엄격한 실험적 검증을 통해 본 연구는 다음의 기여를 제시한다: (1) 시계열 내 상관관계 포착을 위한 고급 희소 컨볼루션 기법, (2) 변수 간 모델링을 위한 전이학습 패러다임, (3) 교차 모달 향상을 위한 다중모달 융합 메커니즘. 결론적으로, 상관관계 기반 패러다임은 시계열 예측 연구의 일관된 발전 경로를 제공하며, 동적 환경에서의 혁신적인 인공지능 응용을 촉진할 것으로 기대된다.

목차 (Table of Contents)

• 1 Introduction 1
• A. Preliminary Context 1
• B. Problem Definition 2
• C. Thesis Structure 4
• 2 Related Work 5
• A. Time Series Forecasting Fundamentals 5
• B. Deep Learning Approaches for TSF 6
• 1) Fundamental Deep Learning Models 6
• 2) The Notability of Transformer-based Models 10
• C. Advanced Techniques in Time Series Forecasting 15
• 1) Self-Supervised Learning and Transfer Learning 16
• 2) Lightweight Models for Resource-Constrained Environments 19
• 3) Frequency Domain Analysis in Time Series Forecasting 21
• 4) Multimodal Time Series Models 23
• D. Evaluation Metrics in Time Series Forecasting 31
• E. Research Gaps 32
• F. Summary 34
• 3 Motivations 36
• A. Overview of Temporal Relations in Time Series Forecasting 36
• 1) Intra-Series Correlations in Univariate Time Series 37
• 2) Inter-Variate Correlations in Multivariate Time Series 38
• 3) Cross-Modal Interactions in Multimodal Time Series 39
• B. Research Objective and Questions 41
• C. Research Methodology 41
• D. Summary 42
• 4 Capturing Intra-Series Correlations: DelayNet 43
• A. Introduction 43
• B. Methodology 44
• 1) Temporal Convolution Layers 44
• 2) Delay Mechanism 46
• 3) Model Architecture 47
• C. Experiments and Results 48
• 1) Datasets 49
• 2) Baseline Models 51
• 3) Forecasting Accuracy 51
• 4) Computational Efficiency 53
• 5) Ablation Studies 54
• D. Discussion 57
• 5 Capturing Inter-Variate Correlations: LSPatch-T 64
• A. Introduction 64
• B. Methodology 65
• 1) LSPatch-T Framework 65
• 2) Pre-training Strategy 67
• 3) Fine-tuning Process 69
• C. Experiments and Results 72
• 1) Datasets and Settings 72
• 2) Main Results 75
• 3) Ablation Studies 78
• D. Discussion 80
• 6 Capturing Cross-Modal Correlations: TextTimeFuse 82
• A. Introduction 82
• B. Methodology 83
• 1) Problem Formulation 83
• 2) TextTimeFuse Architecture 84
• C. Experiments and Results 93
• 1) Datasets 93
• 2) Baselines and Implementation Details 93
• 3) Main Results 98
• 4) Ablation Studies 107
• D. Discussion 108
• 7 Conclusion 110
• A. Summary of Contributions 110
• B. Implications and Impact 111
• C. Limitations 112
• D. Future Work 113
• E. Final Remarks 114
• References 115
• Acknowledgments 124
• 국문초록 126