Unified Modeling of Dependency and Missingness in Asynchronous Time Series Forecasting = 비동기 시계열 예측에서의 의존성과 결측의 통합 모델링

다국어 초록 (Multilingual Abstract)

Real-world time series data are inherently multivariate, often exhibiting complex inter-channel dependencies. Each channel is typically sampled at its own period and is prone to missing values due to various practical and operational constraints. These characteristics pose three fundamental challenges involving channel dependency, sampling asynchrony, and missingness, all of which must be addressed simultaneously to enable robust and reliable forecasting in practical settings. However, existing architectures typically address only parts of these challenges in isolation and still rely on simplifying assumptions, leaving unresolved the combined challenges of asynchronous channel sampling, test-time missing blocks, and intricate inter-channel dependencies. To bridge this gap, we propose ChannelTokenFormer, a Transformer-based forecasting framework with a flexible architecture designed to explicitly capture cross-channel interactions, accommodate channel-wise asynchronous sampling, and effectively
handle missing values. Extensive experiments on public benchmark datasets reflecting practical settings, along with one private real-world industrial dataset, demonstrate the superior robustness and accuracy of ChannelTokenFormer under challenging real-world conditions.

국문 초록 (Abstract)

실제 세계의 시계열 데이터는 본질적으로 다변량이며, 종종 복잡한 채널 간 의존성을 보입니다. 각 채널은 일반적으로 고유한 주기로 샘플링되며, 다양한 실용적 및 운영상의 제약으로 인해 결측값이 발생하기 쉽습니다. 이러한 특성은 채널 의존성, 샘플링 비동기성, 결측성과 관련된 세 가지 근본적인 과제를 제기하며, 실제 환경에서 견고하고 신뢰할 수 있는 예측을 수행하기 위해서는 이 모든 문제를 동시에 해결해야 합니다.
그러나 기존 아키텍처들은 일반적으로 이러한 과제의 일부만을 개별적으로 다루거나 단순화된 가정에 의존하고 있어, 비동기 채널 샘플링, 테스트 시점의 결측 블록, 그리고 복잡한 채널 간 의존성이 결합된 문제는 여전히 해결되지 않은 상태로 남아 있습니다.
이러한 격차를 해소하기 위해, 우리는 ChannelTokenFormer를 제안합니다. 이 는 교차 채널 상호작용을 명시적으로 포착하고, 채널별 비동기 샘플링을 수용하며, 결측값을 효과적으로 처리하도록 설계된 유연한 아키텍처를 갖춘 트랜스포머 기반 예측 프레임워크입니다. 실제 환경을 반영한 공개 벤치마크 데이터셋과 하나의 비공개 실제 산업 데이터셋에 대한 광범위한 실험을 통해, 까다로운 실제 조건 하에서 ChannelTokenFormer의 우수한 견고성과 정확성을 입증하였습니다.

목차 (Table of Contents)

• Abstract i
• Contents ii
• Chapter 1 Introduction 1
• Chapter 2 Related Works 5
• 2.1 Channel-Dependent (CD) Strategies 5
• 2.2 Irregularity of Multivariate Time Series 6
• 2.3 Missing Value Handling for Time Series and Test-time Missing Intervals 6
• Chapter 3 Problem Setting 8
• 3.1 Asynchronous Channel-wise Observations 8
• 3.2 Test-time Missing Intervals 9
• Chapter 4 Our Method 10
• 4.1 Repurposing Channel Tokens 10
• 4.2 Channel-wise Frequency-based Dynamic Patching and Tokenization 11
• 4.3 Training-Time Proxying for Test-Time Missingness via Channel-wise Patch Masking 12
• 4.4 A Unified Mask-Guided Attention with Channel Tokens for Real-World Challenges 13
• Chapter 5 Experiments 16
• 5.1 Datasets 16
• 5.2 Baselines 17
• 5.3 Setup and Implementation Details 17
• 5.4 Main Results 18
• 5.4.1 Case 1: Channel-wise Asynchronous Forecasting 18
• 5.4.2 Case 2: Channel-wise Asynchronous Forecasting with Test time Missing Blocks 19
• 5.4.3 Ablation Study 20
• Chapter 6 Analysis 22
• 6.1 Analysis 22
• 6.1.1 Understanding the Optimal Number of Channel Tokens 22
• 6.1.2 Robustness to Input Length Variability 23
• 6.1.3 Frequency Bias Analysis in Predicted Time Series 24
• Chapter 7 Conclusion 26
• 7.1 Conclusion 26
• Chapter 8 Appendix 39
• 8.1 Implementation Details 39
• 8.1.1 Dataset Configuration under Multi-Source Asynchrony 39
• 8.1.2 Implementation Details 44
• 8.2 Spectral Distortion Induced by Interpolation 49
• 8.2.1 Background 49
• 8.2.2 Linear Interpolation-induced Frequency Domain Distortion 50
• 8.3 Further Analysis 54
• 8.3.1 Additional Ablations 54
• 8.3.2 Comparison of Attention Masking Strategies 55
• 8.3.3 Scalability Analysis 59
• 8.3.4 Analysis of Handling discrete missingness 61
• 8.4 Forecast Visualization 62
• Abstract (In Korean) 65