Towards interpretable machine learning : A methodology for screening interactions in functional ANOVA model = 해석 가능한 머신러닝 모형을 위한 functional ANOVA model의 교호작용 스크리닝 방법론

다국어 초록 (Multilingual Abstract)

In this thesis, we propose a post-process interpretation method. Recently, machine learning has received great attention due to its remarkable predictive accuracy in various fields. Despite their strong predictive performance, machine learning models have usually lack of interpretability since this improvement in predictive performance has been achieved through increased model complexity. This makes it difficult for people to understand the models.
So, We develop a new post-process interpretation method called Meta-ANOVA, which interprets a given predictive model. To interpret the model, we devise a framework for detecting interactions in the model. Moreover, we propose an efficient learning algorithm for the functional ANOVA model when the interactions are given.

국문 초록 (Abstract)

본 학위 논문에서는 새로운 post-process interpretation 방법인 Meta-ANOVA를 제안한다. 최근 다양한 분야에서 머신러닝
모형이 주목 할만큼 좋은 예측 성능을 보이고 있다. 그러나 머신러닝 모형의 좋은 예측 성능에도 불구하고 최근에 개발된 머신러닝 모형은 일반적으로 설명력이 부족하다. 그 이유는 좋은 예측 성능을 보이는 모형들은 모형의 복잡도 또한 높기 때문이다. 이러한 복잡도는 사람들이 해당 모형을 이해하기 어렵고 따라서 다양한 분야에서 사용되는 것을 방해한다.
따라서 우리는 복잡한 모형을 해석하기 위해 Meta-ANOVA라는 새로운 post-process 방법론을 제안하였다. 주어진 모형을 이해하고 설명하기 위해 우리는 해당 모형이 가지고 있는 교호작용을 찾는 새로운 알고리즘을 제안하였다. 뿐만 아니라 우리는 모형이 가진 교호작용을 찾은 뒤 이를 이용하여 주어진 모형을 효과적으로 학습하는 새로운 functional ANOVA model의 학습 알고리즘을 제안하였다.

목차 (Table of Contents)

• 1 Introduction 1
• 2 Review 3
• 2.1 Review : Post-process interpretation methods 3
• 2.1.1 Globalinterpretation 4
• 2.1.2 Localinterpretation 5
• 2.2 Review : Learning algorithms of functional ANOVA model 8
• 2.2.1 Smoothing Spline-ANOVA [Gu, 2013] 9
• 2.2.2 COSSO [Lin and Zhang, 2006] 9
• 2.2.3 MARS[Friedman, 1991] 10
• 2.2.4 ANOVA-Boosting [Kim et al., 2005] 11
• 3 Proposed Method 13
• 3.1 Introduction 13
• 3.2 Step1: Search for interactions 15
• 3.2.1 Continuous input variables 15
• 3.2.2 General input variables 17
• 3.2.3 Threshold selection 19
• 3.2.4 Choice of Qj and Qjc 20
• 3.3 Step 2 : Learning approximation model 21
• 3.3.1 Modified ANOVA-boosting 22
• 3.3.2 Synthetic dataset 23
• 3.3.3 Interpreting black-box model via Meta-ANOVA 24
• 4 Experiments 26
• 4.1 Simulated data 26
• 4.2 Real data 30
• 4.3 Ablation studies 34
• 4.3.1 Comparison with other learning algorithm of functional ANOVA model 35
• 4.3.2 Sensitive analysis of gamma 38
• 4.3.3 The effect of bumping method 39
• 4.3.4 The effect of synthetic dataset 41
• 5 Conclusion 42
• Bibliography 44
• A Appendix 48
• A.1 Proof of Theorem3.2.1 48
• A.2 Extension to categorical input variables 49
• A.3 Additional results for Simulated data 51
• A.4 Additional results for Real data 53
• A.5 Comparison with local interpretation models 61

참고문헌 (Reference)

1. Smoothing spline ANOVA models, Chong Gu, volume 297, , 2013

2. Sparse spatial autoregressions, R Kelley Pace, Ronald Barry, 33(3):291–297, , 1997

3. Predictive learning via rule ensembles, Bogdan E Popescu, Jerome H Friedman, 2(3):916– 954, , 2008

4. Multivariate adaptive regression splines, Jerome H Friedman, 19(1):1–67, , 1991

5. Boosting on the functional anova decomposition, Yongdai Kim, Yuwon Kim, Sunghoon Kwon, Sangin Lee, Jinseog Kim, 2(3):361–368, , 2009

6. Letter recognition using hollandstyle adaptive classifiers, Peter W Frey, David J Slate, 6(2):161–182, , 1991

7. South german credit data: Correcting a widely used data set, Ulrike Gr¨omping, 4:2019, , 2019