LSTM 게이트의 시간적 기여도 정량화: BiNO-LSTM = Quantifying the Temporal Attributions of LSTM Gates: BiNO-LSTM

국문 초록 (Abstract)

데이터가 방대해지고 복잡해지면서 시계열 데이터를 분석하는 데 있어서 딥 러닝 기반의 방법론이 제시되었다. RNN의 장기 의존성 문제를 해결하며 등장한 LSTM은 딥러닝 시계열 분석의 핵심 모델로 자리 잡았다. 그러나 Transformer 와 같은 최신 모델들이 주목받는 현재에도, LSTM의 각 게이트의 근본적인 역 할에 대한 체계적인 분석은 부족하다. 본 연구는 이 지점에서 출발하여, LSTM 내부 게이트의 역할을 정량화하고 그 통찰을 바탕으로 더 효율적인 모델 구조를 제안하는 것을 목표로 한다. 이를 위해 두 가지 분석을 수행했다. 첫째, 게이트를 제거한 여러 변형 모델의 성능을 비교하는 제거 실험을 통해 각 요소의 중요도를 평가했다. 둘째, 특정 시점의 게이트 값을 변경하여 출력의 민감도를 측정하는 독자적인 게이트 기여도 분석을 통해 게이트의 동적인 역할을 파악했다.
분석 결과, 망각 게이트는 과제와 무관하게 장기 의존성 학습에 가장 핵심적 인 요소였으며, 출력 게이트의 기여도는 예측 직전의 국소적인 구간에 집중됨을 확인했다. 이 발견에 근거하여, 출력 게이트를 제거하고 양방향 문맥 정보를 결 합하여 효율성과 성능을 동시에 개선한 BiNO-LSTM을 제안했다.
S&P, JSB, HAR 그리고 두 종류의 합성 데이터에서 성능을 평가한 결과, 제 안 모델은 실제 시계열 데이터에서 RNN 계열 모델 대비 전반적으로 우수하거나 동등한 성능을 보였다. 반면 전체 비교모델 관점에서는 과제별로 최고 성능을 보인 구조가 달랐는데, S&P와 JSB에서는 TCN이, 덧셈 및 메모리 복사 과제 에서는 Transformer가 가장 우수한 성능을 기록하였다. 과제 특성에 맞는 모델 선택의 중요성을 재확인했다. 결론적으로, 본 연구는 게이트의 역할을 분석하는 새로운 프레임워크와 함께, 실제 예측 문제에서 실용적 이점을 갖는 경량화된 모델 구조를 성공적으로 제시했다.

다국어 초록 (Multilingual Abstract)

As data complexity grows, deep learning models like Long Short-Term Memory (LSTM) have become fundamental for time series analysis. However, despite the emergence of newer architectures, a systematic analysis of the func- tional roles of LSTM’s internal gates is lacking. This study addresses this gap by quantifying the importance of each gate to develop a more efficient model. We employ two analytical approaches: ablation studies to assess component necessity and a novel gate attribution analysis to measure output sensitivity to temporal gate perturbations. Our findings reveal that the forget gate is uni- versally critical for learning long-term dependencies, while the output gate’s attribution is concentrated in local intervals preceding prediction. Based on these insights, we propose BiNO-LSTM, an architecture that removes the out- put gate and incorporates bidirectional context to improve both efficiency and performance. Across five benchmarks, BiNO-LSTM performs comparably to or better than other RNN-based models on real-world datasets, while the best overall architecture varies by task (e.g., TCN on S&P/JSB and Transformer on Adding/Copying). This work contributes a new framework for interpreting gate dynamics and a lightweight yet powerful model structure.

목차 (Table of Contents)

• 초록 i
• 목차 iii
• 표 목차 v
• 그림 목차 vi
• 제1장 서론 1
• 1.1 연구 배경 및 목적 1
• 1.2 논문 구성 3
• 제2장 배경 이론 및 관련 연구 4
• 2.1 배경 이론 4
• 2.1.1 용어정리 4
• 2.1.2 순환 신경망 (RNN) 5
• 2.1.3 장단기 메모리 구조 (LSTM) 7
• 2.2 관련 연구 10
• 2.2.1 Peephole LSTM 10
• 2.2.2 게이트 순환 유닛 (GRU) 11
• 2.2.3 양방향 LSTM (BiLSTM) 12
• 2.2.4 시간 합성곱 신경망 (TCN) 13
• 2.2.5 Transformer 14
• 제3장 LSTM 게이트의 영향 분석 18
• 3.1 분석 설계 18
• 3.1.1 제거 실험 설계 18
• 3.1.2 게이트 기여도 20
• 3.2 데이터 및 전처리 21
• 3.3 실험 조건 23
• 3.4 결과 23
• 3.4.1 제거실험 결과 23
• 3.4.2 게이트 기여도 분석 결과 25
• 제4장 제안 방법 및 실험 31
• 4.1 아이디어 및 제안 모델 31
• 4.2 데이터 셋 32
• 4.3 실험 조건 33
• 4.4 실험 결과 34
• 제5장 결론 39
• 참고문헌 41
• Abstract 44