Exit Time Analysis For Kesten's Stochastic Recurrence Equations = Kesten 확률 재귀 방정식의 이탈 시간 분석

국문 초록 (Abstract)

Kesten의 확률 재귀 방정식은 확률론 및 그 응용 분야의 고전적인 연구 주제이다. 최근에
는 이 방정식이 손실 함수가 이차 함수로 주어졌을 때의 확률적 경사 하강법(Stochastic
Gradient Descent)을 따르는 입자의 움직임을 표현하는 식으로서, 두꺼운 꼬리 분포를
가지는 특징과 관련하여 주목받고 있다. 이 학위논문에서는 리아푸노프(Lyapunov)
지수의 부호에 따라 나누어 이 방정식의 점근적 행태에 대해 다룬다. 구체적으로, 탈출
반경이 증가함에 따라 확률적 경사 하강법을 따르는 입자의 탈출 시간이 리아푸노프
(Lyapunov) 지수의 부호가 음수, 양수일 때 각각 다항함수적, 로그함수적 크기로 증가
함을 보인다.

다국어 초록 (Multilingual Abstract)

Kesten’s stochastic recurrent equation is a classical subject of research in probability
theory and its applications. Recently, it has garnered attention as a model for stochastic
gradient descent with a quadratic objective function and the emergence of heavy-tailed
dynamics in machine learning. This context calls for analysis of its asymptotic behavior
under both negative and positive Lyapunov exponents. This paper studies the exit times
of the Kesten’s stochastic recurrence equation in both cases. Depending on the sign of
Lyapunov exponent, the exit time scales either polynomially or logarithmically as the
radius of the exit boundary increases.

목차 (Table of Contents)

• Abstract i
• 1 Introduction 1
• 2 Preliminaries 5
• 2.1 Known results 6
• 3 Main Results 10
• 3.1 Main results for the contractive regime 10
• 3.2 Main results for the explosive regime 13
• 4 Applications 16
• 4.1 Stochastic gradient descent on a quadratic loss function 16
• 4.2 Time series models 18
• 5 Preliminary Results for contractive Regime 20
• 5.1 Coupling 20
• 5.2 Finiteness of exit time 21
• 5.3 Scattering property of Πn 25
• 6 Escape Time Analysis for contractive Regime 30
• 6.1 Control of escaping location 31
• 6.2 Moment estimates 32
• 6.3 Upper bound of mean exit time 36
• 6.4 Lower bound of mean exit time 38
• 6.5 Proof of Lemma 6.4.1 41
• 6.6 Univariate case 43
• 7 Proofs of Main Results: Explosive Regime 47
• 7.1 Preliminary results 47
• 7.2 Lower bound 49
• 7.3 Upper bound 54
• 7.4 Proof of Theorem 3.2.1 59
• iii
• A Verifications of Assumptions for Example Models 60
• A.1 Model review 60
• A.2 Lyapunov exponent 61
• A.3 Assumptions for contractive regime 62
• A.4 Assumptions for explosive regime 66
• Abstract (in Korean) 73
• Acknowledgement (in Korean) 74