결측자료 분석에서의 일반화 부스팅 및 랜덤 포레스트를 이용한 벌칙 스플라인 성향 점수 대체방법의 성능 비교 = Comparison of the penalized spline propensity prediction imputation methods between generalized boosting and random forest for missing data analysis

국문 초록 (Abstract)

목적 : 결측자료의 분석에서 결측값의 대체 후 추정량의 불편성이 성립되지 않으면 추정량의 효율이 떨어지게 된다. 결측값을 대체하는 일반적인 모형 기반의 접근법은 선형 회귀와 같은 모수적 모형을 이용한 대체 방법이다. 이 방법은 독립변수와 종속변수의 관계를 나타내는 모형이 맞게 설정된 임의결측 가정 하에서는 효율적이다. 하지만, 모형 설정이 잘못된 경우 큰 편향을 야기하는 문제가 발생한다. 이에 대한 대안으로, 강건한 모형기반의 벌칙 스플라인 성향점수 대체방법을 사용할 수 있다. 하지만, 결측값 대체방법에 사용되는 성향점수는 응답성향을 추정하는 모형에 민감하여, 응답성향을 추정하는 모형이 맞지 않는 경우 추정치에 편향이 발생할 수 있는 단점이 있다. 따라서 본 논문은 응답성향 예측모형에 있어 강건한 모형 기반의 기계학습 방법인 일반화 부스팅과 랜덤 포레스트의 성능을 비교하고 평가한다.

방법 : 일반적으로 성향점수를 이용하는 통계적 분석은 두 군을 비교하는 관찰연구에서 매칭 등의 방법으로 알려져 있지만, 결측값 대체방법으로도 사용할 수 있다. 응답성향을 추정할 때 종속변수가 이산적인 값을 갖기 때문에 모수적 응답성향 예측모형인 로지스틱 회귀모형을 고려하고, 준모수적 모형으로는 일반화 가법모형을 고려한다. 추가적으로 일반화 부스팅과 랜덤 포레스트의 응답성향 예측모형을 기계학습 방법으로 고려한다. 결측값을 대체하기 위해, 각 모형으로 추정한 성향점수를 벌칙 스플라인 성향점수 대체모형에 적용한다. 결측값을 대체한 후, 자료의 편향과 평균제곱오차의 결과를 비교하여 네 가지 응답성향 예측모형의 성능을 평가한다.

결과 : 성향점수를 추정한 뒤 벌칙 스플라인 성향점수 대체방법을 적용한 모의실험의 결과, 벌칙 스플라인 성향점수 대체방법으로 강건한 추정치를 만들 수 있다. 특히, 응답모형이 가법적인 경우, 로지스틱 회귀모형을 제외한 일반화 가법모형, 일반화 부스팅, 랜덤 포레스트 모두 강건한 추정치를 만들었다. 응답모형이 비가법적일 때, 일반화 부스팅과 랜덤 포레스트가 일반화 가법모형보다 편향이 최소화 된 추정치를 갖는 결과를 보였다. 특히, 비가법항의 크기가 커질수록, 랜덤 포레스트의 추정치가 편향과 평균제곱오차 모두 감소하는 결과를 보였다.

결론 : 응답성향점수를 이용하는 결측값 대체 방법은 응답성향점수의 예측모형이 잘못 설정되면 심각한 편향을 발생시킬 수 있다. 이 문제를 해결하기 위한 방법으로 강건한 모형 기반의 기계학습 방법을 이용한 응답성향 예측모형을 통한 벌칙 스플라인 성향점수 대체방법은 응답모형이 가법적 또는 비가법적인 경우 모두 편향이 최소화 된 추정치를 제공한다. 실제 자료에서는 결측이 어떤 메커니즘에 따라 발생하는지 밝히는 것이 어렵다. 따라서 가법적 응답모형 뿐만 아니라 비가법적 응답모형에서도 강건한 모형 기반의 일반화 부스팅과 랜덤 포레스트를 응답성향 예측모형으로 사용하는 것을 제안한다.

다국어 초록 (Multilingual Abstract)

Objectives : In the analysis of missing data, the efficiency of the estimator is reduced if it becomes biased after the replacement of these missing values. An imputation method using a parametric model such as linear regression is a general model-based approach to replace missing values. Under MAR assumption, this method is efficient when the model showing the relationship between a dependent variable and independent variables is specified correctly. However, the method produces bias when the model is misspecified. As an alternative, the penalized spline propensity prediction imputation method with robust inference of missing data can be used. However, the propensity score used in missing value imputation method is sensitive to the propensity model, so that it can not yield robust inference when the propensity model is misspecified. Therefore, this study compares and evaluates the performance of generalized boosting and random forest based on machine learning when estimating the efficacy of the propensity model.

Methods : In general, statistical analysis using a propensity score is known as matching in observational studies that compare two groups, but it can also be used as a missing value imputation method. Since the dependent variable is discrete, the logistic regression model is considered as a parametric propensity model, and the generalized additive model is considered as a semi-parametric propensity model when the propensity score is being estimated. In addition, the generalized boosting and the random forest are considered as the propensity models that use machine learning. To replace the missing values, the propensity score estimated by each model fits to the penalized spline propensity prediction imputation model. After replacing the missing values, the performance of the four propensity models is evaluated by comparing the results of empirical bias and mean squared error.

Results : As a result, by fitting the penalized spline propensity prediction imputation method, it was possible to yield robust inference. In particular, when the response model was additive, all the propensity models except for the logistic regression model yielded robust inference. When the response model was nonadditive, generalized boosting and random forest offered more robust inferences than the generalized additive model. In particular, as the influence of the nonadditive term got greater, the more robust the random forest estimates were, both in the bias and the mean squared error.

Conclusion : The imputation method using a propensity score can cause serious bias if the propensity model is misspecified. As a method to solve this problem, the penalized spline propensity prediction imputation method conducted through the machine learning propensity model produces robust inference for both additive and nonadditive response models. In actual data, it is difficult to discern the mechanism from the missing data. Therefore, I propose to use generalized boosting and random forest as response models, which offer robust inference, in addition to the additive response model as well as the nonadditive response model.

목차 (Table of Contents)

• Abstract i
• Ⅰ. 서론 1
• Ⅱ. 연구대상 및 방법 4
• 1. 결측자료의 메커니즘 4
• 2. 결측값 대체방법 6
• Ⅲ. 모의실험 18
• 1. 모의실험의 설계 18
• 2. 무응답 대체방법 적용 20
• 3. 모의실험 결과의 평가 23
• 4. 모의실험 결과 23
• Ⅳ. 사례연구 32
• Ⅴ. 고찰 35
• Ⅵ. 결론 37
• 참고문헌 39
• 국문요약