생존자료에서 기계학습 모형 및 모형 평가 방법에 대한 연구

다국어 초록 (Multilingual Abstract)

Objectives: Better predictions in survival prediction models are an
important challenge that can reduce economic waste and patient pain and
increase survival probability through the rapid diagnosis of events of concern
such as disease. In actual data, it is not often followed by proportional hazard
assumptions. Therefore, considering the nine machine learning models that are
flexible and highly accurate in predictive models, we would like to
comprehensively compare predictive performance in various survival data
through simulations and compare and evaluate the existing proposed
performance evaluation methods for survival prediction models.

Methods: This study assume three situation. 1) the change in hazard is
constant, 2) a rapidly changing hazard, and 3) the change of hazard is symmetric
similar to the normal distribution. Fitting was done to generated simulation dat
using Cox proportional hazard model and nine machine learning models(Cox
proportional hazards deep neural network (DeepSurv) model, Random survival
forest model, Survival gradient boosting decision tree (SurvXGBoost) model,
Conditional inference forest time-varying (CIF-TV) model, Relative risk forest
time-varying (RRF-TV) model, Transformation forest time-varying (TSF-TV)
model, 3 types stacking ensemble model). Next, comparison and evaluation
based on five evaluation methods which are Time-dependent brier score,
Kaplan-Meier based Time-dependent AUROC, Average positive predictive
value based Time-dependent AUROC, c-index, Greenwood-Nam-D’Agostino
Calibration. Thisstudy also compare and evaluate whether these five evaluation
methods are reliable.

Results: The Cox proportional hazard model, Cox proportional hazards
deep neural network (deepSurv) model, showed almost equally excellent
performance regardless of the change in hazard and the censoring rate. Even if
the proportional hazard assumption was not satisfied to a certain extent, the
performance of the Cox proportional hazard model did not deteriorate. Among
the many machine learning models, the Cox proportional hazards deep neural
network (deepSurv) model has the highest performance followed by
transformation forest time-varying (TSF-TV) model. In addition, for the
survival prediction model performance evaluation method, the evaluation of the
time-dependent brier score was correctly measured except for the high
censoring rate. Average positive predictive value based Time-dependent
AUROC, Kaplan-Meier based Time-dependent AUROC evaluates
performance correctly regardless of the censoring rate when the hazard changes
rapidly, but the performance decreased when the change in hazard is constant
and censoring rate is high, when the change of hazard is similar to normal
distribution symmetry and censoring rate is low. c-index evaluates performance
correctly regardless of the censoring rate when the hazard changes rapidly, but
the performance decreased when the change in hazard is constant and censoring
rate is high(30%). Also, the performance decreased regardless of the censoring
rate when the change in hazard is similar to normal distribution symmetry. The
calibration measurement method based on the Greenwood-Nam-D’Agostino
test results has decreased performance evaluation, regardless of the scenario
and censoring rate.

Conclusion: Under the assumption that you want to find a better predictive
model for complex survival data, we propose to use the Cox proportional
hazards deep neural network (deepSurv) model and a transformation forest
time-varying (TSF-TV) model of machine learning models. Also, this study
suggests fitting the Cox proportional hazard model together, even if the
proportional hazard assumption is not somewhat satisfactory. And since the
performance evaluation ability of the survival prediction model can vary
depending on changing of hazard and the censoring rate, it is proposed to use
the time-dependent brier score, the average positive predictive value based
time-dependent AUROC, Kaplan-Meier based time-dependent AUROC, and cindex together to evaluate from multiple perspectives.

국문 초록 (Abstract)

목적 : 생존 예측 모형에서 더 나은 예측은 질병과 같은 관심 사건의 빠른 진단을 통해 경제적 낭비와 환자의 고통을 감소시킬 수 있고 생존 가능성을 증가시킬 수 있는 중요한 과제이다. 실제 자료에서 비례위험 가정과 같은 가정을 따르는 경우는 많지 않다. 따라서 유연하게 사용 가능하고 예측 모형의 정확성이 뛰어난 기계학습 모형 9가지를 고려하여 모의실험을 통해 다양한 생존 자료에서 종합적으로 예측 성능을 비교하고 생존 예측 모형에 대해 기존에 제안된 성능 평가 방법들을 비교 및 평가하고자 한다.

방법 : 생성된 모의실험 자료에 대해 콕스 비례위험 모형과 생존 기계학습 모형인Cox proportional hazards deep neural network (DeepSurv) , Random survival forest , Survival gradient boosting decision tree (SurvXGBoost), Conditional inference forest time-varying (CIF-TV), Relative risk forest time-varying (RRF-TV) , Transformation forest time-varying (TSF-TV), 스태킹 앙상블(stacking ensemble) 모형을 적합하고 Time-dependent brier score, Kaplan-Meier based Time-dependent AUROC, Average positive predictive value based Time-dependent AUROC, c-index, Greenwood-Nam-D’Agostino Calibration을 생존 예측 모형 평가 방법으로 고려하여 예측 성능을 비교한다. 그리고 이 5가지 평가 방법들이 모형 예측 성능을 올바르게 평가하는지 비교 및 평가한다.

결과 : 위험의 변화와 중도절단율과 관계없이 콕스 비례위험 모형, Cox proportional hazards deep neural network (deepSurv) 모형이 거의 동일하게 우수한 성능을 나타냈다. 비례위험 가정이 어느정도 만족하지 않더라도 콕스 비례위험 모형의 성능이 떨어지지 않음을 보였다. 또, 여러 기계학습 모형들 중에는 Cox proportional hazards deep neural network (deepSurv) 모형의 성능이 가장 높았고, 그 다음으로 Transformation forest time-varying (TSF-TV) 모형의 성능이 높았다. 생존 예측 모형 성능 평가 방법에 대해서는 Time-dependent brier score는 중도절단율이 높은 경우를 제외하고 올바르게 측정했다. Average positive predictive value based Time-dependent AUROC, Kaplan-Meier based Time-dependent AUROC는 위험이 급격하게 변하는 경우에서는 중도절단율과 관계없이 올바르게 성능을 평가했으나 위험의 변화가 일정한 경우와 위험의 변화가 정규분포와 비슷한 대칭인 경우에서는 각각 중도절단율이 높거나 낮은 경우에 성능 평가력이 떨어졌다. c-index는 위험의 변화가 급격하게 변하는 경우에서는 중도절단율과 관계없이 올바르게 성능을 평가하나 위험의 변화가 일정한 경우에서는 중도절단율이 높은 경우 평가력이 떨어졌고 위험의 변화가 정규분포와 비슷한 대칭인 경우에서는 중도절단율에 관계없이 모두 값이 일정하게(monotone) 나타나 평가력이 떨어졌다. Greenwood-Nam-D’Agostino 검정 결과에 기반한 교정 측정 방법은 시나리오와 중도절단율에 관계없이 성능 평가력이 떨어졌다.

결론 : 복잡한 생존 자료에 대해 더 나은 예측 모형을 찾고자 한다는 가정하에, 기계학습모형인 Cox proportional hazards deep neural network (deepSurv), Transformation forest time-varying (TSF-TV) 모형을 사용하는 것을 제안하고 비례위험 가정이 어느정도 만족하지 않더라도 콕스 비례위험 모형을 함께 적합해볼 것을 제안한다. 그리고 생존 예측 모형의 성능 평가 방법으로 위험의 변화와 중도절단율에 따라 성능 평가력이 달라질 수 있기 때문에 Time-dependent brier score, Average positive predictive value based Time-dependent AUROC, Kaplan-Meier based Time-dependent AUROC, c-index를 함께 비교하여 여러 관점에서 평가하는 것을 제안한다.

목차 (Table of Contents)

• 초록 i
• ABSTRACT v
• 목차 viii
• 표 목차 xi
• 그림 목차 xiv
• 기호 설명 xv
• 1장. 서론 1
• 2장. 연 구 방법 4
• 2.1 모형 4
• 2.1.1 콕스 비례위험 모형 4
• 2.1.2 Cox proportional hazards deep neural network (DeepSurv) 모형 5
• 2.1.3 Random survival forest 모형 7
• 2.1.4 Survival gradient boosting decision tree (SurvXGBoost) 모형 10
• 2.1.5 시간 가변(time-varying) 앙상블 모형 12
• 2.1.5.1 Conditional inference forest time-varying (CIF-TV) 모형 15
• 2.1.5.2 Relative risk forest time-varying (RRF-TV) 모형 16
• 2.1.5.3 Transformation forest time-varying (TSF-TV) 모형 17
• 2.1.6 스태킹 앙상블(Stacking ensemble) 모형 18
• 2.1.6.1 Random survival forest & DeepSurv 19
• 2.1.6.2 SurvXGBoost & DeepSurv 20
• 2.1.6.3 (RSF + SurvXGBoost) & DS 21
• 2.2 모형 평가 22
• 2.2.1 Time-dependent Brier score 22
• 2.2.2 Time-dependent AUROC 23
• 2.2.2.1 Kaplan-Meier based Time-dependent AUROC 25
• 2.2.2.2 Average positive predictive value based Time-dependent AUROC 26
• 2.2.3 c-index 28
• 2.2.4 Greenwood-Nam-D’Agostino (GND) test 28
• 2.3 사례 연구 31
• 2.3.1 사례 자료 설명 31
• 2.3.2 사례 분석 결과 31
• 3장. 모의실험 & 사례연구 35
• 3.1 모의실험 목적 35
• 3.2 모의실험 설계 35
• 3.3 모의실험 결과 평가 기준 40
• 3.4 모의실험 결과 40
• 3.4.1 모형 성능 평가 및 비교 41
• 3.4.2 모형 성능 평가 방법의 평가 및 비교 45
• 4장. 고찰 101
• 5장. 결론 105
• 참고문헌 108