Numerical Analysis of HiPPO-LegS ODE for Deep State Space Models = 심층 상태공간모형을 위한 HiPPO-LegS 상미분방정식의 수치해석

국문 초록 (Abstract)

최근 딥러닝에 도입된 상태공간모형 (state space models)에 사용되는 HiPPO (High-order Polynomial Projection Operators) 메모리 유닛은 특수한 상미분방정식(ODE)을 통해 입력 함수의 연속시간 궤적을 근사한다. 이러한 기법은 긴 입력 시퀀스에서 장기 의존성(long-range dependency)을 포착하는 데 실험적으로 큰 성공을 거두었다. 그러나 특이성을 가지는 HiPPO-LegS(Legendre Scaled) 상미분방정식의 수학적 기반 및 수치적 이산화에 관한 연구는 아직 충분히 이루어지지 않았다. 본 연구에서는 이러한 공백을 메우기 위해, HiPPO-LegS 상미분방정식이 비록 특이성을 가지지만 (임의의 초기조건을 자유롭게 선택할 수는 없다는 제약 하에) 해가 존재하고 유일하다는 것을 보인다. 또한 리만 적분 가능한 입력 함수에 대해, 실험적으로 사용되는 다양한 이산화 기법의 수렴성을 증명한다.

다국어 초록 (Multilingual Abstract)

In deep learning, the recently introduced state space models utilize HiPPO (High-order Polynomial Projection Operators) memory units to approximate continuous-time trajectories of input functions using ordinary differential equations (ODEs), and these techniques have shown empirical success in capturing long-range dependencies in long input sequences. However, the mathematical foundations of these ODEs, particularly the singular HiPPO-LegS (Legendre Scaled) ODE, and their corresponding numerical discretizations remain unsettled. In this work, we fill this gap by establishing that HiPPO-LegS ODE is well-posed despite its singularity, albeit without the freedom of arbitrary initial conditions. Further, we establish convergence of the associated numerical discretization schemes for Riemann integrable input functions.

목차 (Table of Contents)

• Abstract i
• Contents ii
• List of Figures iv
• 1. Introduction 1
• 1.1 Related works 3
• 1.2 Problem setting and preliminaries 4
• 2. LegS is well-posed 9
• 3. Convergence of LegS discretization schemes 16
• 3.1 Convergence for smooth f 16
• 3.2 LegS discretizations are quadratures of f 18
• 3.3 Convergence for Riemann integrable f 19
• 4. Convergence rate analysis 28
• 5. Numerical experiments 35
• 6. Appendix 36
• 6.1 Proof of Lemma 3.2 36
• 6.2 Proof of Corollary 2.2.1 37
• 6.3 Proof of Lemma 3.1 39
• 6.4 Remaining Proof of Lemma 3.4 43
• Bibliography 47
• 초록 50
• 감사의 글 51