혼합 효과를 고려한 경시적 부스팅 모형

국문 초록 (Abstract)

의학 및 사회과학 분야에서는 같은 개체를 시간에 따라 반복하여 측정하는 경시적 데이터(longitudinal data)가 흔히 관찰된다. 최근 예측 모형에 대한 수요가 커지면서, 혼합효과 랜덤포레스트(Mixed Effects Random Forest; MERF)나 혼합효과 경사 부스팅(Mixed Effects Gradient Boosting; MEGB)과 같이 경시적 데이터를 대상으로 한 기계학습(machine learning) 예측 모형들이 개발되고 있다. 그러나 기존 혼합효과 기반 트리 모형들은 임의효과가 개체 내 상관을 전부 설명한다고 가정하여 오차항들이 독립이라고 간주한다. 이러한 강력한 가정은 경시적 데이터에서 자주 발견되는 개체 내 시간 상관(serial correlation)이나 이분산(heteroscedasticity)이 존재하는 경우 예측 성능을 저하시킬 수 있다. 이에 본 연구에서는 경사 부스팅 알고리즘에 개체별 공분산행렬을 반영한 혼합효과 기반 트리 모형과 경시적 부스팅(longitudinal boosting)을 제안한다. 제안하는 모형은 개체-특정적(subject-specific) 및 시간 공변량을 활용해 오차 공분산행렬의 구조를 명시적으로 학습함으로써, 오차항의 독립성 가정에 의존하지 않는 유연한 예측을 가능하게 한다. 제안하는 모형의 성능은 선형 및 비선형 구조 모두에서 다양한 결측 데이터 메커니즘 및 임의효과 크기를 적용한 광범위한 모의실험을 통해 검증된다. 더 나아가, 본 연구에서는 실제 데이터를 활용한 성능 평가를 통해 경시적 부스팅의 현실 적용 가능성 또한 입증한다.

다국어 초록 (Multilingual Abstract)

Longitudinal data, which measures the same subjects repeatedly over time, is commonly used in medical and social sciences. Machine learning models for correlated data, such as mixed effects random forest and mixed effects gradient boosting, have been proposed as the demand for prediction models grows. However, existing mixed effect-based tree models assume residuals are independent, implying that random effects account for all within-subject correlations. This assumption may degrade predictive performance in the presence of within-subject serial correlation or heteroscedasticity, which are inherent characteristics of longitudinal data. To address this limitation, we propose a longitudinal boosting model with mixed effects that incorporates subject-specific covariance matrices into the gradient boosting algorithm. The proposed model enables flexible prediction by explicitly modeling the error covariance matrices through subject-specific and time covariates. The performance of the model is verified through extensive simulations by applying various missing data mechanisms and random effect sizes in both linear and nonlinear structures. We further demonstrate the practical applicability of the proposed model via performance evaluation on real-world datasets.

목차 (Table of Contents)

• 1. 서론 1
• 2. 문헌 연구 4
• 2.1 선형 혼합 모형 4
• 2.1.1 고정 효과와 랜덤 효과 벡터의 추정 5
• 2.1.2 공분산행렬의 추정 7
• 2.1.3 EM Algorithm 7
• 2.2 부스팅 알고리즘 10
• 2.2.1 Gradient Boosting Machine (GBM) 11
• 2.3 혼합효과 트리 모형 13
• 3. 방법론 20
• 3.1 경시적 부스팅(Longitudinal Boosting) 20
• 3.2 고정 효과 추정 21
• 3.2.1 제약이 있는 트리의 추정 22
• 3.2.2 부스팅 알고리즘 29
• 3.2.3 변수 중요도 30
• 3.3 공분산 행렬의 모수 추정 31
• 3.4 예측 36
• 4. 모의실험 41
• 4.1 모의실험 설명 및 데이터 생성 41
• 4.1.1 완전임의결측과 임의결측 43
• 4.2 모의실험 결과 47
• 5. 실증 자료 분석 56
• 5.1 데이터 설명 56
• 5.2 분석 방법 57
• 5.3 분석 결과 59
• 6. 결론 64
• 참고문헌 67
• 부록 70
• ABSTRACT 83