고등교육 맞춤형 학습 지원을 위한 데이터 기반 혼합효과 머신러닝 예측모형 학습 및 평가 = Data-Driven Training and Evaluation of Mixed-Effects Machine Learning Models for Personalized Learning Support in Higher Education|RISS 상세보기

국문 초록 (Abstract)

본 연구는 대학생의 학업성과인 학업성공과 학업실패를 내재적 구조를 반영한 GMERF 모델을 학습, 검증하고 소수 집단인 학업성과 변수들을 보정하기 위해 계층적 오버샘플링(h-resampling) 기법을 적용하고 실제적 사례에 교육적 개입의 토대를 마련하기 위해 수행되었다. 먼저 GMERF와 랜덤포레스트를 비교하기 위해서 종속변수는 2학기 시점의 '학업 성공(모든 과목 4.0 이상)'과 '학업 실패(평점 1.75 미만)'로 설정하였으며, 독립변수는 입학 초기의 기초학력평가(영어, 수학, 물리), 핵심역량 진단(창의융합, 도전리더, 나우리인성), 그리고 1학기 학업 성취도(전공, MSC, HRD, 교양 평점)로 구성하였다. 또한, 학생이 소속된 학과의 맥락적 효과를 고려하기 위해 학과를 집단 변수로 설정하여 두 모델을 비교 분석하였다.
2021년부터 2024년까지의 입학생 코호트를 대상으로 2학기 학업 성과를 예측한 결과, 데이터의 구조적 불균형으로 인한 예측모델의 한계가 확인되었다. 2학기는 1학기 학사 정보가 존재하여 비교적 데이터가 풍부한 시점임에도 불구하고, 학업 성공 및 학업실패 집단은 소수집단이였다. 이로 인해 오버샘플링을 적용하지 않은 랜덤포레스트와 GMERF 모델은 0.95 이상의 높은 정확도를 보였으나, 실제 예측의 핵심 지표인 재현율은 학업성공에서는 0.05~0.10, 학업실패에서는 0.08에 머물렀다. 이는 모델이 다수 클래스인 집단 중심으로 학습됨에 따라 소수 클래스인 성공 및 실패 학생을 제대로 식별하지 못하는 현상을 보여주었다.
이러한 불균형 문제를 개선하기 위해 SMOTE와 계층적 리샘플링(h-resampling) 기법을 적용한 결과, 예측 시점과 데이터 특성에 따라 그 효과가 다르게 나타났다. 데이터가 충분히 확보된 2학기 시점에서는 오버샘플링 기법 적용 시 재현율이 유의미하게 향상되었다. 학업 성공 예측의 경우, H-Resampling을 적용한 GMERF 모델의 재현율이 0.116에서 0.744로 상승하여 비교 모델 중 가장 우수한 성능을 보였다. 학업 실패 예측 또한 GMERF와 H-Resampling 결합 시 재현율이 0.236에서 0.709로 상승하여, 학업 위기 학생을 선별하는 데 효과적인 대안임이 확인되었다. 비록 오탐(False Positive)의 증가로 전체 정확도는 다소 낮아졌으나, 잠재적 대상자를 놓치지 않고 포착한다는 연구 목적에는 부합하는 결과를 보였다.
반면, 데이터가 부족하거나 희소성이 높은 시점(1학기 및 6학기)에서는 GMERF와 H-Resampling의 적용 효과가 제한적이었다. 1학기 시점은 입학 직후로서 예측에 필수적인 학사 정보가 부재하여, H-Resampling을 적용했음에도 학업성공 재현율 0.144과 학업실패 재현율 0.394로 예측 성능이 모두 저조하게 나타났다. 이는 단순히 알고리즘이나 오버샘플링 기법만으로는 데이터 자체의 정보 부족 문제를 극복하기 어려움을 시사한다.
6학기 시점은 누적된 학사 정보는 충분하나, 학업성공 및 학업실패 사례 자체가 드문 희소 데이터로 나타났다. 이로 인해 높은 정확도(0.933~0.982)에 비해 재현율(성공 0.182, 실패 0.500)은 낮게 나타나, 고학년 단계에서의 예측 모형 수립을 위해서는 표본 수 확보나 추가적인 변수 발굴 등 선행 조건이 충족되어야 함을 보여주었다.
가장 유의미한 성능을 보인 2학기 예측 모델(GMERF + H-Resampling)을 대상으로 SHAP(shapley additive explanations) 기법을 활용한 상세 분석 결과는 다음과 같다.
첫째, 분산분할계수(VPC) 분석 결과, 학업 성공 모델의 VPC는 5.76%로 나타나 학과 간 교육 환경의 차이가 학생의 성공에 일정 부분 영향을 미침을 확인하였다. 반면, 학업 실패 모델의 VPC는 1.80%로 매우 낮아, 학업 실패는 학과적 맥락보다는 개인의 학업 태도나 역량 등 개별적 요인에 의해 더 크게 좌우되는 경향을 보였다.
둘째, 변수 중요도 및 SHAP Summary 분석 결과, 학업 성공과 실패 모두에서 '전공 평점'과 '교양 평점' 등 실제 교과 성취도가 가장 결정적인 예측 변수였다. 성적이 높을수록 성공 확률은 증가하고 실패 확률은 감소하는 뚜렷한 경향성이 확인되었다. 기초학력이나 핵심역량 변수들은 전체적인 경향보다는 성적만으로 설명되지 않는 일부 경계선 학생들을 식별하는 보조적 역할을 수행하였다.
셋째, 학과별 히트맵(Heatmap) 분석을 통해 학과마다 주요 영향 요인이 상이함을 확인하였다. 대다수 학과에서 전공 평점이 핵심 요인이었으나, 특정 학과에서는 기초수학이나 MSC 교과목의 중요도가 상대적으로 높게 나타나, 학과별 특성에 맞춘 차별화된 지원 전략이 필요함을 시사하였다.
넷째, 개별 학생에 대한 Waterfall Plot 분석은 AI 모델의 예측 근거를 구체적으로 제시해 주었다. 우수 학생 사례에서는 높은 전공·교양 성적의 긍정적 기여가 뚜렷했고, 위기 학생 사례에서는 저조한 성적이 실패 위험을 높이는 결정적 요인임이 시각적으로 확인되었다. 또한 성적은 유사하나 기초역량의 차이로 인해 예측 결과가 달라지는 사례들은 다차원적 데이터 분석의 중요성을 입증하였다.
결론적으로 본 연구에서 사용한 GMERF와 H-Resampling 결합 모델은 데이터가 충분히 확보된 시점 2학기에서는 교육 데이터의 불균형 문제를 완화하고 소수 집단 탐지 성능인 재현율을 높였다. 그러나 정보가 부족하거나(1학기) 사례가 희소한 경우(6학기)에는 그 효과가 제한적이므로, 시점별 데이터 특성에 맞는 접근 전략이 필요하다. 또한, 학업 성공은 학과적 환경 요인에, 학업 실패는 개인적 요인에 더 민감하게 반응한다는 비대칭적 특성을 규명함으로써 맞춤형 학생 지도와 교육 정책 수립을 위한 실증적 근거를 제시하였다.

번역하기

본 연구는 대학생의 학업성과인 학업성공과 학업실패를 내재적 구조를 반영한 GMERF 모델을 학습, 검증하고 소수 집단인 학업성과 변수들을 보정하기 위해 계층적 오버샘플링(h-resampling) 기법...

목차 (Table of Contents)