사전학습 LLM 기반 다변량 시계열 예측 방법론 = A Multivariate Time Series Forecasting Methodology Based on Pre-trained LLM

국문 초록 (Abstract)

최근 시계열 예측 분야에서 사전학습된 대규모 언어 모델(LLM)을 활용한 연구가 활발히 진행되고 있다. 시계열 예측 방법은 크게 단변량 방식과 다변량 방식으로 구분되는데, 단변량 방식은 각 변수를 독립적으로 처리하여 예측하는 방식이고, 다변량 방식은 여러 변수 간의 상호작용을 고려하여 예측하는 방식이다. 기존 LLM 기반 시계열 예측 연구들은 주로 단변량 방식에 초점을 맞추고 있어 다변량 시계열 데이터에 내재된 변수 간 상관관계를 효과적으로 포착하지 못한다는 한계가 있다. 실제로 환경, 금융, 에너지 등 다양한 분야의 시계열 데이터는 여러 변수가 서로 영향을 주고받는 복잡한 관계를 형성하고 있어, 이러한 관계를 모델링할 필요가 있다. 이에 본 연구에서는 사전학습 LLM의 표현력을 유지하면서도 변수 간 상관관계를 효과적으로 반영할 수 있는 다변량 방식 시계열 예측 방법론을 제안한다. 구체적으로 제안 방법론은 시계열 데이터를 패치 단위로 분할한 후, 패치 인코더(Patch Encoder)를 통해 변수 간 의존성을 모델링하고, 이를 패치 리프로그래밍(Patch Reprogramming)을 통해 LLM이 처리할 수 있는 텍스트 표현으로 변환하여 사전학습된 LLM 기반 시계열 예측을 수행한다. 이때 패치 인코더는 완전 연결 계층과 비선형 활성화 함수를 결합한 구조로, 동일 시점의 여러 변수 간 복잡한 상관관계를 포착하도록 설계한다. 제안 방법론의 효과를 검증하기 위해 전력 변압기 온도 데이터셋(ETT)에 대해 실험을 수행하였으며, 실험 결과 제안 방법론이 단기 예측 및 단변량 예측 태스크에서 비교 모델 대비 MAE, MSE 측면에서 우수한 성능을 나타냄을 확인하였다.

다국어 초록 (Multilingual Abstract)

Recently, there has been growing interest in leveraging pretrained large language mod-els (LLMs) for time series forecasting. Time series forecasting methods are generally cate-gorized into univariate and multivariate approaches. The univariate approach treats each variable independently, while the multivariate approach considers the interactions among multiple variables. Existing LLM-based time series forecasting studies primarily focus on univariate approaches, which have limitations in effectively capturing correlations be-tween variables inherent in multivariate time series data. In practice, time series data in various domains such as environment, finance, and energy form complex relationships where multiple variables influence each other, necessitating the modeling of such relation-ships. To address this challenge, we propose a novel multivariate time series forecasting methodology that can effectively reflect inter-variable correlations while maintaining the representational power of pre-trained LLMs. Specifically, the proposed methodology di-vides time series data into patch units, models dependencies between variables through a Patch Encoder, and converts them into text representations that LLMs can process through Patch Reprogramming to perform pre-trained LLM-based time series forecasting. To eval-uate the effectiveness of the proposed method, we conducted experiments on the ETT (Electricity Transformer Temperature) dataset. Experimental results demonstrate that our approach outperforms baseline models in both short-term forecasting and univariate fore-casting tasks in terms of MAE and MSE metrics.

목차 (Table of Contents)

• 제1장. 서론 1
• 제2장. 관련 연구 4
• 2.1. 딥러닝 기반 시계열 예측 모델 4
• 2.2. 사전학습 LLM을 활용한 시계열 예측 기법 5
• 제3장. 제안 방법론 8
• 3.1. 방법론 개요 8
• 3.2. 데이터 전처리 및 프롬프트 구축 11
• 3.3. 패칭 및 패치 인코딩 14
• 3.4. 패치 리프로그래밍 및 프롬프트 통합 17
• 3.5. 학습 및 최종 모델 도출 20
• 제4장. 실험 22
• 4.1. 실험 개요 22
• 4.2. 실험 데이터 구축 24
• 4.3. 다변량 예측 성능 평가 25
• 4.4. 단변량 예측 성능 평가 27
• 제5장. 결론 30
• 본인의 이전 저작물 활용 고지 32
• 참고문헌 33
• Abstract 41