생존 자료에서 새로운 인자의 예측력을 평가하는 방법의 비교

다국어 초록 (Multilingual Abstract)

There are a variety of statistical methods to predict the presence or absence of disease in medical research. When a new factor is added to the existing prediction model, the improvement of the predictive power can be evaluated using c-index or net reclassification index (NRI). For binary outcome data, a number of studies show that NRI is more sensitive to detect an improvement in predictive ability of the added factor. For survival outcome data, however, such an evaluation has not been done thoroughly. In this study, we compare several methods estimating the improvement of the added predictive power for survival outcome data through a simulation study under various scenarios. We consider c-index (Harrell, 1982), iAUC (integrated area under the ROC curve) (Heagerty, 2005), c-index (Uno, 2011), NRI (Pencina, 2011), and NRI (Uno, 2013). The simulation study results demonstrate that there is an inflation of the type I error rate for c-index and iAUC, while NRIs are very conservative. We also compare the results of the five methods applied to a real data example.

국문 초록 (Abstract)

임상 분야에서 질병의 유무를 예측하는 다양한 통계적 방법이 존재한다. 특히, 기존의 예측모형에 새로운 인자가 추가 되었을 때의 예측력 향상을 평가하기 위해 c-index와 net reclassification index(NRI)를 이용한다. 예측력을 의미하는 c-index를 각 모형에서 구하여 비교할 수 있고, 새로운 모형에서 질병의 유무를 더 잘 분류했는지를 NRI를 통해 판단할 수 있다. 하지만 종속변수가 이분형이 아닌 생존 자료일 때는 중도절단을 고려하여 평가해야 한다. 생존 자료에서 예측력 향상을 평가하는 방법으로 Harrell의 c-index, Heagerty의 시간종속 ROC curve를 이용한 iAUC(integrated Area Under the Curve), Uno의 c-index, Pencina의 NRI, Uno의 NRI 등이 제안되었다. 기존 모형과 새로운 인자가 추가된 예측모형에서의 c-index 또는 iAUC 값을 각각 구하여 그 차이를 통해 예측력을 비교할 수 있으며, 두 예측모형으로부터 NRI 값을 구하여 새로운 모형이 생존여부를 더 잘 분류하는지를 판단할 수 있다.
본 연구는 다양한 상황을 가정한 모의실험을 통해 생존 자료에서 예측력 향상을 평가하는 통계적인 방법들의 성능을 비교하였고, 실제 자료에 적용해 보았다. 질병의 유무를 예측하는 두 예측모형의 예측력을 비교하는 데 있어 더 민감하다고 알려진 NRI가 생존 자료의 특성에 맞게 변화되었을 때는 Harrell과 Uno의 c-index, Heagerty의 AUC에 비해 덜 민감한 결과를 나타냈다.