시계열 예측에서 트랜스포머의 입력부를 위한 시간 임베딩 레이어 = Temporal Embedding Layer for the Transformer Input in Time-Series Forecasting

국문 초록 (Abstract)

Transformer 기반 시계열 예측 모델은 전통적으로 NLP 구조를 그대로 차용하여, 입력 값을 Value Embedding(VE)으로 투영한 뒤 Positional Encoding(PE)을 추가하는 방식을 사용해 왔다. 그러나 텍스트와 달리 시계열 데이터는 명확한 시간 순서를 본질적으로 내재하고 있으며, 이러한 데이터에 대해 PE 기반의 입력 구조가 필수적인지에 대한 의문이 제기되고 있다. 본 연구에서는 Transformer 입력 스택의 역할을 재검토하고, 기존 VE와 PE를 분리된 구 성 요소로 유지하는 대신 이를 하나의 신경망 기반 모듈로 통합한 Neural Temporal Embedding(NTE)을 새롭게 제안한다. 제안한 NTE는 기존 신경망 기반 연산자들을 활용하여 Transformer의 입력부 구조를 재해석하고, 시계열의 시간적 특성을 입력 단계에서 직접 인코딩하도록 설계된 통합 임베딩 모듈이다. NTE는 Fully Connected Layer(FC), Long Short-Term Memory(LSTM) 및 1D Convolution(Conv1D) 등 다양한 신경망을 활용하여 변수 단위의 시간 패턴을 직접 학습하며, Transformer 인코더나 전체 모델 구조를 변경하지 않고도 입력부만을 대체하는 최소한의 수정으로 적용 가능하도록 설계되었다. 이를 통해 명시적인 PE 없이도 적응형 시간 표현을 생성할 수 있다. 제안된 NTE는 대표적인 Transformer 기반 백본인 iTransformer와 PatchTST에 적용되었으며, 총 10개의 다변량 시계열 벤치마크(ETT 계열, Weather, ECL, Traffic, Solar-Energy 등)를 대상으로 장·단기 예측 실험을 수행하였다. 실험 결과, NTE는 기존 입 력 구조 대비 전반적으로 더 나은 예측 성능 또는 최소한 기존 성능을 안정적으로 유지하는 결과를 달성하였다. 특히 Linear Embedding이 시간적 구조를 충분히 반영하지 못하는 환경에서 NTE는 뚜렷한 성능 향상을 보였으며, 이는 입력부 설계만의 변화로도 성능 개선이 가능함을 시사한다. 본 연구는 시계열 예측에서 오랫동안 당연하게 사용되어 온 VE+PE 구조가 필수적이지 않음을 실험적으로 입증하며, Transformer 성능 향상이 반드시 복잡한 백본 수정에 의존하지 않아도 됨을 보여준다. 제안된 NTE는 단순하면서도 효과적인 통합 입력 스택으로서, 다양한 Transformer 백본과 높은 호환성을 유지하며 시계열 데이터의 특성과 보다 잘 부합하는 새로운 입력부 설계 방향을 제시한다.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1.1 연구의 배경 및 필요성 1
• 1.2 기존 연구의 한계 및 문제 제기 3
• 1.3 연구 목적 3
• 1.4 연구 내용 및 구성 4
• Ⅱ. 관련 연구 6
• 2.1 Transformer 기반 시계열 예측 모델 6
• 2.2 시계열 예측에서의 입력 구조 변화 8
• Ⅲ. 연구 방법론 11
• 3.1 방법론 개요 11
• 3.2 사용된 신경망 임베딩 16
• 3.3 Neural Temporal Embedding의 시간 구조 학습 원리 20
• Ⅳ. 실험 및 분석 22
• 4.1 실험 설계 요소 22
• 4.2 Transformer 기반 백본에서 NTE 적용에 따른 성능 비교 27
• 4.3 iTransformer 백본에서 NTE의 경쟁력 평가 35
• 4.4 절제 실험 41
• 4.5 단기 시계열 예측 44
• 4.6 표현 분석 48
• 4.7 예측 길이에 따른 데이터셋의 예측 시각화 50
• Ⅴ. 결론 55
• 5.1 연구의 한계 55
• 5.2 결론 55