Derivative Estimation via a Pre-processing Framework = 전처리 프레임워크를 활용한 미분추정

다국어 초록 (Multilingual Abstract)

In this thesis, we study derivative estimation via a pre-processing framework. We propose the pre-processed derivative estimator (PPDE) for estimating mixed partial derivatives in nonparametric regression. The key idea is to separate regression and derivative estimation: an arbitrary regression estimator is first trained as a pre-processing, and derivatives are then recovered by applying one-dimensional local polynomial regression to slices of the pre-processed function and iterating these sliced operators to obtain mixed derivatives. We develop both L2- and L∞-PPDE, derive risk bounds that connect the error of the pre-processing to the error of the derivative estimator, and show that if the pre-processing attains minimax-optimal rates over Hölder classes, then PPDE achieves the minimax-optimal rates for mixed partial derivatives in both norms. Furthermore, when deep neural networks are used as pre-processings, PPDE inherits their structural adaptivity to low intrinsic dimensionality, enabling efficient estimation even when the data dimension is high. Simulation studies in low- and high-dimensional settings and for mixed derivatives compare PPDE with existing seminal works, and show that PPDE is competitive and remains numerically stable in higher dimensions.

국문 초록 (Abstract)

본 학위논문에서는 전처리 프레임워크(pre-processing framework)를 활용한 도함수 추정 방법을 연구한다. 우리는 비모수 회귀 모형에서 혼합 편도함수(mixed partial derivatives)를 추정하기 위한 방법으로 전처리된 도함수 추정량(PPDE)을 제안한다. 이 방법론의 핵심 아이디어는 회귀 분석과 도함수 추정 과정을 분리하는 데 있다. 우선 임의의 회귀 추정량을 전처리 단계로서 학습시킨다. 이후 전처리된 함수의 단면(slice)에 일차원 국소 다항 회귀(one-dimensional local polynomial regression)를 적용하고, 이러한 연산자를 반복적으로 적용함으로써 혼합 편도함수를 추정한다. 본 연구에서는 L2-PPDE와 L∞-PPDE를 모두 개발하였으며, 전처리 단계의 오차와 도함수 추정량의 오차를 연결하는 위험 상한(risk bound)을 유도하였다. 또한, 만약 전처리 과정이 횔더(Hölder) 함수 공간에서 최소최대 최적(minimax-optimal) 수렴 속도를 달성한다면, PPDE 역시 두 가지 노름(norm) 하에서 혼합 편도함수에 대해 최소최대 최적 수렴 속도를 달성함을 증명하였다. 나아가 심층 신경망(Deep Neural Networks)이 전처리 모델로 사용될 경우, PPDE는 데이터의 낮은 내재적 차원(intrinsic dimensionality)에 대한 구조적 적응성을 상속받게 되며, 이를 통해 고차원 데이터에서도 효율적인 추정이 가능하다. 저차원 및 고차원 설정에서 혼합 편도함수에 대한 시뮬레이션 연구를 통해 PPDE를 기존의 주요 연구들과 비교 분석하였으며, 그 결과 PPDE가 경쟁력 있는 성능을 보이고 고차원에서도 안정적인 계산 및 추정이 가능함을 입증하였다.

목차 (Table of Contents)

• Abstract i
• 1 Introduction 1
• 2 Literature Review 4
• 2.1 Preliminaries 4
• 2.1.1 Notations 4
• 2.1.2 Assumptions 5
• 2.1.3 Estimand 6
• 2.2 Review: Derivative Estimation 7
• 2.2.1 Local polynomial regression 8
• 2.2.2 Spline regression 9
• 2.2.3 Kernel ridge regression and plug-in derivatives 9
• 2.2.4 Deep Neural Networks 10
• 2.2.5 Summary and motivation 11
• 3 Proposed Method 13
• 3.1 Introduction 13
• 3.2 Pre-processing 14
• 3.3 PPDE: Pre-processed Derivative Estimator 15
• 3.3.1 Sliced operators 15
• 3.3.2 Mixed-derivative PPDE 16
• 3.3.3 L2-PPDE 17
• 3.3.4 L∞-PPDE 18
• 3.4 Algorithms 18
• 4 Theoretical Results 20
• 4.1 L2 convergence 20
• 4.1.1 Numerical integral of \widetilde{f} 22
• 4.1.2 Structural adaptivity in Deep Neural Network 24
• 4.2 L∞ convergence 25
• 4.3 Mixed partial convergence 27
• 5 Experimental Results 30
• 5.1 Methods 30
• 5.2 Simulation setup 32
• 5.2.1 Measures 32
• 5.2.2 Simulation 1: Low-dimensional comparison 32
• 5.2.3 Simulation 2: Growing dimension 33
• 5.2.4 Simulation 3: Mixed partial derivative 33
• 5.2.5 Simulation 4: Structural adaptivity of PPDE 34
• 5.3 Results: Simulation 1 (low dimension) 35
• 5.3.1 L2 risk across methods 35
• 5.3.2 L2 risk: PPDE with different pre-processings 36
• 5.3.3 L∞ risk across methods 36
• 5.3.4 L∞ risk: PPDE with different pre-processings 37
• 5.4 Results: Simulation 2 (growing dimension) 38
• 5.5 Results: Simulation 3 (mixed partial derivative) 39
• 5.6 Results: Simulation 4 (structural adaptivity of DNNs) 40
• 5.7 Computational Complexity Analysis 41
• 6 Conclusion 45
• Appendices 47
• Appendix A Tables 48
• Appendix B Proofs 53
• B.1 Proof of Theorem 4.1 53
• B.2 Proof of Theorem 4.5 58
• B.3 Proof of Lemma 4.4 60
• B.4 Proof of Theorem 4.6 62
• Bibliography 64
• Abstract (in Korean) 67