프로세스 데이터 활용 수학 학업성취도 예측 변인 비교 : 선형회귀와 랜덤 포레스트 접근|RISS 상세보기

다국어 초록 (Multilingual Abstract)

With the advancement of technology, the shift from traditional paper-based assessments to computer-based testing (CBT) has accelerated, enabling the efficient collection of diverse process data. In the field of learning analytics, such data are increasingly used to predict students' academic achievement and design intervention strategies to prevent dropouts—especially in online learning environments, where their importance is even more pronounced. To interpret process data reliably, it is essential to recognize that students' response patterns may vary depending on item characteristics such as cognitive level, item type, discrimination, and difficulty. Accordingly, this study categorizes process data based on these characteristics and constructs prediction models for mathematics achievement. Linear regression and random forest techniques are applied to compare model performance and identify key predictors, with the aim of improving both predictive accuracy and interpretability. This approach holds significance in its effort to capture the interaction between item characteristics and process data more precisely—distinguishing it from previous studies.
This study utilized data from Korean students who participated in the mathematics domain of the PISA 2022, focusing on CBT items. The dependent variables were the ten plausible values (PVs), and for each PV, prediction performance metrics (RMSE, MAE, MSE, R2) were calculated. The final model evaluation was based on the average of these ten values. Independent variables included 27 background variables identified through a systematic literature review by Wang et al.(2023), as well as process data reconstructed by item characteristics (cognitive level, item type, discrimination, and difficulty). The process data were generated by computing average response times and the average number of actions for each item category. Variables with multicollinearity issues were excluded from the analysis. A total of six models were constructed based on different combinations of item characteristics and analysis methods, allowing for comparative analysis of model performance and key predictors.
Missing data were addressed using a combination of listwise deletion and K-nearest neighbors(KNN) imputation. After determining the optimal k values, 39 variables with low missing rates were imputed with k=10, while a variable with a high missing rate (ST293Q01JA) was imputed with k=5. For continuous variables with high skewness or kurtosis, log transformation was applied, and all continuous independent variables were standardized for linear regression only.
Using the refined dataset, mathematics achievement prediction models were constructed in Python utilizing linear regression and random forest algorithms. The dataset was randomly split into training (80%) and test (20%) sets. Linear regression was implemented with default settings, while hyperparameter tuning for the random forest model involved adjusting n_estimators (100, 300, 500, 1,000) and max_features ('sqrt', 'log2') using GridSearchCV and five-fold cross-validation. Model performance was evaluated based on RMSE, MAE, MSE, and R2.
Finally, the consistency between the two methods was assessed using top-10 and top-20 variable overlap rates and Spearman’s rank correlation coefficients across the six models. Key predictors were further examined by ranking standardized coefficients in linear regression and feature importances in random forest. Repeatedly influential variables and method-specific predictors were analyzed for each item characteristic-based model, offering insights into both shared and distinct factors influencing mathematics achievement.
The main findings derived using the above methodology are summarized as follows. First, a comparison between linear regression and random forest in predicting mathematics achievement revealed that random forest consistently outperformed linear regression. In all six models, random forest exhibited lower error metrics (RMSE, MAE, MSE) and higher R2, suggesting that non-linear models such as random forest are particularly advantageous when handling complex, non-linear interactions among predictor variables—such as those involving item characteristics and process data.
Second, when comparing the predictive performance of models based on item characteristics, models 2 through 6 consistently outperformed model 1. Model 1, which included only student background variables, showed the lowest performance across all metrics. In contrast, models 2 through 5, which incorporated process data classified by cognitive level, item type, discrimination, and difficulty, each demonstrated a consistent improvement in predictive power. Although model 6—an integrated model including process data classified by all item characteristics—contained the largest number of predictors, its performance showed only a marginal improvement compared to models 2–5. Chi-square and Cramér’s V analyses revealed significant correlations among process data classified by cognitive level, item difficulty, and item discrimination, indicating that overlapping variables may have weakened the independent contribution of each factor, thereby limiting the model’s overall predictive performance.
Third, the top 20 predictors identified in each item-characteristic-based model using linear regression showed that process data held strong predictive power in models 2 through 6. With few exceptions, all process variables ranked within the top 20 across models. In particular, the average response time on high-cognitive-level items, average response time on low-discrimination items, and average number of actions on high-difficulty items emerged as strong predictors across all models. At the individual level, mathematics self-efficacy consistently ranked first and even surpassed process data in predictive strength. At the family level, socioeconomic status maintained a high ranking in all models, while at the school level, average school-level ESCS was consistently ranked between second and fifth place, indicating a stable and significant influence.
Fourth, in the random forest models, all process data variables included in models 2 through 6 ranked within the top 20 predictors, reaffirming their strong predictive power. In particular, the average response time for high-difficulty items, low-discrimination items, and high-cognitive-level items were among the most influential predictors across all models. At the individual level, basic/applied mathematics self-efficacy consistently ranked first or second, often showing predictive power equal to or greater than that of the process data. Although mathematics self-efficacy related to reasoning and 21st-century competencies ranked slightly lower, it was still identified as an influential predictor. At the family level, both ESCS and home possessions showed moderate but stable predictive power. At the school level, average school-level ESCS remained among the top three to eight predictors across all models, highlighting its strong and consistent impact.
Fifth, a quantitative comparison of variable consistency between the linear regression and random forest models revealed a moderate to high degree of agreement. On average, 6.5 to 8 variables overlapped within the top 10 predictors across models, and 14.2 to 15.7 variables overlapped within the top 20. The Spearman’s rank correlation coefficient for overall variable importance rankings ranged from 0.54 to 0.58 for models 2 through 6, indicating a generally strong level of similarity between the two methods.
Sixth, an analysis of the top 10 predictors across models 1 to 6 showed that process data variables representing response behavior consistently appeared among the most important predictors in both linear regression and random forest models. Specifically, variables such as the average response time on high-cognitive-level items, the average number of actions on high-difficulty items, the average response time or number of actions on low-discrimination and the average response time of low-cognitive items were consistently ranked within the top 10. These findings suggest that students’ response behaviors vary according to item characteristics such as cognitive level, difficulty, and discrimination, and these behaviors are closely associated with achievement outcomes.
At the individual level, mathematics self-efficacy ranked first or second in all models, emerging as a powerful single predictor. At the family level, socioeconomic status was a common predictor in models 1 to 5. While other family-level indicators such as home possessions were considered, ESCS was the most consistently important predictor of students’ socioeconomic background. At the school level, average school-level ESCS was consistently identified as a top predictor across all models.
Seventh, an analysis of variables identified exclusively by either linear regression or random forest revealed method-specific patterns. While process data variables showed no strikingly different selection patterns between the methods, differences were notable in background variables. At the individual level, linear regression repeatedly identified math anxiety and tardiness as key predictors in models 2, 3, and 4. In contrast, random forest consistently selected reasoning and 21st-century-related self-efficacy across all models. At the family level, the highest level of parental education emerged as a key variable in linear regression, whereas home possessions was prioritized in random forest. At the school level, linear regression emphasized quantitative opportunity indicators such as weekly math instruction time, while random forest emphasized qualitative engagement indicators, such as participation frequency in class discussions.
In summary, this study empirically confirmed that process data derived from item characteristics function as stable and consistent predictors of mathematical achievement, regardless of the analysis method employed. Models 1 through 6 demonstrated that process data based on various item attributes—such as cognitive level, item type, discrimination, and difficulty—significantly contributed to prediction accuracy. Notably, even though model 6 integrated multiple item characteristics, its performance did not substantially improve, suggesting that process data based on a single characteristic can still yield highly effective predictions.
Mathematics self-efficacy also emerged as the most influential predictor across all models, underscoring the strong connection between learners' perceived competence and their actual performance. This finding highlights the need for instructional strategies that not only deliver content but also support students' cognitive beliefs and emotional engagement.
Furthermore, both household- and school-level predictors that consistently ranked in the top 10 were related to socioeconomic status, indicating that economic factors operate structurally across individual, family, and institutional contexts in shaping academic achievement. This supports existing research showing that economic disparities persist as a significant driver of educational inequality.
Differences in predictor selection across method-models also reflect the structural characteristics of each analysis method, suggesting limitations in relying on a single modeling approach. For more robust and nuanced predictions, future research should adopt multiple analytical techniques and conduct integrated interpretations that consider both common and method-specific predictors. In particular, the superior performance of random forest in capturing complex, nonlinear interactions implies that advanced machine learning techniques may be more suitable for analyzing process data.
Based on these findings, several directions for future research are proposed. First, a broader range of modeling techniques—including XGBoost, SVM, and other modern algorithms—should be compared. Second, while this study focused on total response time and the number of action, future work should incorporate other types of PISA process data (F, V, VS variables) and sequential/time-series information. Third, because item characteristics can be perceived differently depending on the learner's ability, motivation, and strategy, prediction models should reflect learner-centered item characteristics’ classifications. Finally, as this study included only a limited set of background variables, future studies should expand to incorporate more emotional and psychological factors, especially within the family context.

번역하기

국문 초록 (Abstract)

최근 기술 발전에 따라 전통적인 지필 평가에서 컴퓨터 기반 평가로의 전환이 가속화되면서, 다양한 프로세스 데이터를 손쉽게 수집할 수 있게 되었다. 학습분석학에서는 이러한 데이터를 활용해 학업성취를 예측하고 중도탈락을 방지하는 개입 전략을 설계하며, 이는 특히 온라인 학습 환경에서 그 중요성이 더욱 부각되고 있다. 이러한 데이터를 신뢰도 있게 해석하기 위해서는 문항의 인지 수준, 유형, 변별도, 난이도에 따라 학습자의 반응 양상이 달라질 수 있음을 고려하여, 문항 특성에 따른 세분화된 분석이 필요하다. 이에 본 연구는 다양한 문항 특성에 따라 프로세스 데이터를 구분하고, 이를 기반으로 수학 학업성취 예측모형을 구축한 뒤, 분석 기법(선형회귀, 랜덤 포레스트)에 따라 모형 성능과 주요 예측 변인을 비교·분석함으로써 예측의 정확성과 해석력을 높이고자 한다. 이러한 접근은 문항 특성과 프로세스 데이터 간의 상호작용을 정교하게 반영하여 학업성취를 예측했다는 점에서 기존 연구와의 차별성을 지니며 의의가 있다.
본 연구는 국제 대규모 평가인 PISA 2022의 수학 영역 중 한국 학생이 응답한 컴퓨터 기반 검사 데이터를 활용하였다. 종속변수는 PISA에서 제공하는 수학 성취수준 10개 유의 측정값이며, 각 측정값별로 예측 성능 지표(RMSE, MAE, MSE, R2)를 산출한 후, 그 평균값을 최종 성능지표로 사용하였다. 독립변수는 Wang et al.(2023)의 체계적 문헌고찰을 기반으로 선정한 27개의 학습자 배경변인과, 인지 수준, 문항 유형, 변별도, 난이도에 따라 재구성한 프로세스 데이터로 구성된다. 프로세스 데이터는 문항 특성별로 응답시간과 동작횟수의 평균값을 산출해 생성되었으며, 다중공선성이 확인된 일부 변인은 제외하였다. 최종적으로 설계된 6개의 모형은 문항 특성에 따라 구분되며, 분석 방법별, 문항 특성에 따른 모형별로 예측 성능과 주요 변수의 차이를 비교 분석하였다.
결측치 처리는 완전제거법과 KNN 보간법을 병행하여 적용하였으며, 최적의 k값 탐색 후 결측률이 낮은 변수 39개는 k=10, 높은 변수(ST293Q01JA)는 k=5로 별도로 보간하였다. 이후 연속형 변수 중 왜도와 첨도가 높은 변수에 대해서는 로그 변환을 수행하였고, 모든 연속형 독립변수는 선형회귀에 한해 표준화를 통해 스케일을 통일하였다.
정제된 데이터를 활용해 Python을 기반으로 수학 학업성취 예측모형을 구축하였으며, 선형회귀와 랜덤 포레스트 기법을 활용하였다. 8:2 비율로 훈련용과 테스트용으로 분할한 후, 선형회귀는 기본 설정으로, 랜덤 포레스트는 n_estimators(100, 300, 500, 1,000)와 max_features(‘sqrt’,‘log2’)를 대상으로 하이퍼파라미터 튜닝을 실시하였다. GridSearchCV와 5겹 교차검증을 통해 최적 조합을 도출하고, RMSE를 기준으로 성능을 평가하였다. 이를 통해 도출된 최적의 예측모형에 대한 평가는 RMSE, MAE, MSE, 결정계수(R2)를 활용하여 이루어졌다.
최종 예측모형을 분석 방법별, 문항 특성별로 상위 10개 및 20개 변수의 일치율과 Spearman 순위 상관계수를 활용해 두 기법 간 일관성을 검토하였다. 또한 예측모형별 주요 변인을 분석하기 위해, 선형회귀에서는 표준화 회귀계수의 절댓값을, 랜덤 포레스트에서는 변수 중요도를 기준으로 반복적으로 중요하게 나타난 핵심 변수와 기법별로 특화된 차별 변인을 문항 특성별 모형에 따라 분석하였다.
위의 방법을 활용하여 도출한 주요 결과들을 정리하면 다음과 같다. 첫째, 수학 학업성취도 예측을 위해 선형회귀와 랜덤 포레스트를 비교 분석한 결과, 랜덤 포레스트가 선형회귀보다 더 우수한 예측 성능을 보이는 것으로 나타났다. 모든 모형 1~6에서 랜덤 포레스트는 선형회귀에 비해 오차 지표(RMSE, MAE, MSE)가 낮았으며, 결정계수(R2)는 더 높게 나타났다. 이는 문항 특성 및 프로세스 데이터와 같이 변수 간 상호작용이 복잡하고 비선형적인 구조를 내포한 변인들에서는, 랜덤 포레스트와 같은 비선형 기반 모델의 장점이 더욱 발휘될 수 있다는 점을 보여준다.
둘째, 문항 특성별 예측모형의 성능을 비교하였을 때, 모형 1에 비해 모형 2~6의 예측 성능이 더 뛰어난 것으로 드러났다. 먼저, 학습자 배경변인만을 활용한 모형 1은 모든 분석 지표(RMSE, MAE, MSE, R2)에서 가장 낮은 성능을 보였다. 반면, 모형 2~5는 각각 문항의 인지적 수준, 문항 유형, 변별도, 난이도를 기준으로 프로세스 데이터를 세분화하여 구성된 모형으로, 모형 1에 비해 예측 성능이 일관되게 향상되었다. 한편, 모형 6은 모형 2~5에 투입된 여러 문항 특성에 따른 프로세스 데이터를 통합한 종합모형으로 가장 많은 독립변인을 포함하였지만, 예측 성능은 모형 2~5 대비 소폭의 향상에 그쳤다. 카이제곱 검정 및 Cramér’s V 분석 결과, 인지적 수준과 문항 난이도에 따른 프로세스 데이터, 문항 난이도와 문항 변별도에 따른 프로세스 데이터 간에 유의미한 상관이 존재하는 것으로 나타났다. 이는 모형 내에서 발생한 변수 간 중복성이 변수의 독립적 영향력을 약화시켜 모형의 예측 성능의 개선 폭이 제한되었다는 점을 보여준다.
셋째, 선형회귀 분석 기반 문항 특성별 예측모형별 상위 20개 예측 변인을 파악한 결과, 문항 특성별 프로세스 데이터는 모형 2~6에서 특히 강력한 예측력을 보였다. 이러한 프로세스 데이터는 전반적으로 일부 변인을 제외하고 모두 상위 20위권 안에 포함된다. 그 중에서도 고차 인지 문항 평균 총 응답시간, 낮은 변별도 문항 평균 총 응답시간, 높은 난이도 문항 평균 총 동작횟수는 모형 전반에서 높은 예측력을 보였다. 개인 수준에서는 수학 자기효능감(기초/응용)이 대부분의 모형에서 1위에 위치하며, 프로세스 데이터보다도 높은 예측력을 보인 핵심 변수로 나타났다. 가정 수준에서는 사회경제문화적 지위가 모든 모형에서 높은 순위를 유지하며, 학교 수준에서는 학교 평균 사회경제문화적 지위가 모든 모형에서 2~5위에 위치하며 일관된 중요도를 보였다.
넷째, 랜덤 포레스트 기반 문항 특성별 예측모형별 상위 20개 예측 변인을 파악한 결과, 모형 2~6에서 투입된 모든 프로세스 데이터 변인들이 상위 20위 안에 포함되며 전반적으로 문항 특성에 따라 분류된 프로세스 데이터가 가장 강력한 예측력을 가지는 변수군으로 나타났다. 특히, 높은 난이도 문항 평균 총 응답시간, 낮은 변별도 문항 평균 총 응답시간, 고차 인지 문항 평균 총 응답시간은 모형 전반에서 강력한 예측력을 보였다. 개인 수준에서는 수학 자기효능감(기초/응용) 변인이 모든 모형에서 1~2위를 차지하며, 프로세스 데이터와 유사하거나 더 높은 예측력을 보였고, 수학 자기효능감(추론/21C역량)도 기초/응용 수학 관련 자기효능감에 비해 순위는 낮으나 영향력 있는 예측 변인으로 확인되었다. 가정 수준에서는 사회경제문화적 지위와 가정 내 자원 보유 수준이 중위권에서 일정한 예측력을 보였다. 학교 수준에서는 학교 평균 사회경제문화적 지위가 가장 영향력 있는 변수로서 모든 모형에서 상위 3~8위에 안정적으로 포함되었다.
다섯째, 선형회귀와 랜덤 포레스트 예측모형 간의 중요 변수 일치율과 변수 중요도 순위의 유사성을 정량적으로 분석한 결과, 중간 수준 이상의 일치율이 확인되었다. 상위 10위 기준에서 모형별로 평균 6.5~8개의 변수가 일치하였으며, 상위 20위 기준에서는 평균 14.2~15.7개의 변수 일치를 보였다. 전체 변수 순위 간 Spearman 순위 상관계수를 활용한 분석에서는, 모형 2~6이 0.54~0.58 수준의 중간 이상의 상관을 보였으며 전체적으로 높은 수준의 유사성을 나타냈다.
여섯 번째, 문항 특성별 예측모형 1~6에서 도출한 상위 10개 주요 예측 변인을 기준으로 선형회귀와 랜덤 포레스트 두 분석 기법에서 공통적으로 도출된 중요 예측 변인을 정리한 결과 응답 행동으로 구성된 프로세스 데이터 변인이 모든 모형에서 가장 일관되게 상위 중요 변수로 도출되었다. 특히 고차 인지 문항 평균 총 응답시간, 높은 난이도 문항 평균 총 동작횟수, 낮은 변별도 문항 평균 총 응답시간, 저차 인지 문항 평균 총 응답시간, 낮은 변별도 문항 평균 총 동작횟수는 모형 2~6에서 공통적으로 상위 10위 안에 포함되었다. 이러한 결과는 문항의 인지 수준, 난이도, 변별도와 같은 문항 속성에 따라 학습자의 반응 특성이 달라지며, 이러한 반응 특성이 학업성취도와 밀접한 관련을 맺고 있다는 점을 시사한다.
개인 수준에서는 수학 자기효능감(기초/응용)이 모든 모형에서 1~2위를 차지하며, 단일 변수임에도 불구하고 매우 강력한 예측력을 가진 핵심 변인으로 확인되었다. 가정 수준에서는 사회경제문화적 지위가 모형 1~5에서 공통 변수로 도출되었지만, 통합 모형인 모형 6에서는 제외되었다. 가정 수준에서 학생의 사회경제적 지위를 나타내는 지표로는 가정 내 자원 보유 수준 변수도 존재하지만, 사회경제문화적 지위만이 공통 변수로 등장한 것으로 볼 때, 분석 방법의 특징에 관계없이 일관되게 중요한 변수로서, 학생의 사회경제적 수준을 나타내는 변인은 사회경제문화적 지위임을 보여준다. 학교 수준에서는 학교 평균 사회경제문화적 지위가 모든 모형에서 공통적으로 상위 변수로 도출되었다.
일곱 번째, 문항 특성별 예측모형 1~6에서 도출한 상위 10개 주요 예측 변인을 기준으로 선형회귀와 랜덤 포레스트 두 분석 기법에만 중요 변수로 선정된 예측 변인을 정리한 결과, 프로세스 데이터 변인은 전체적으로 분석 방법 간 일관된 패턴이 두드러지지는 않았다. 개인 수준 변인에서는 선형회귀는 수학 불안과 지각 빈도 변인을 특정 모형(2, 3, 4)에서 반복적으로 주요 변수로 도출한 반면, 랜덤 포레스트에서는 수학 자기효능감(추론/21C역량)이 모든 모형에서 중요 변수로 일관되게 선택되었다. 가정 수준에서는 선형회귀에서 부모의 학력이 반복적으로 도출되었고, 랜덤 포레스트에서는 가정 내 자원 보유 수준이 모든 모형에서 주요 변수로 포함되었다. 학교 수준 변수의 경우, 선형회귀는 주당 수학 수업시간과 같이 정량적 기회 지표를 주요 변수로 도출하였으며, 반면 랜덤 포레스트는 수업 내 토론 참여 빈도와 같은 정성적 참여 및 태도 관련 변인을 주요 예측 변인으로 도출하였다.
이상의 결과를 종합하면, 본 연구는 문항의 정보를 담고 있는 프로세스 데이터가 분석 기법에 관계없이 가장 안정적이고 일관된 핵심 예측 변수군으로 작용함을 실증적으로 확인하였다. 특히 모형 1~6의 분석을 통해, 문항의 인지적 수준, 유형, 변별도, 난이도 등 다양한 특성에 기반한 프로세스 데이터가 모두 학업성취도를 높은 수준으로 예측할 수 있는 것으로 나타났다. 또한 모형 6이 여러 문항 특성을 통합했음에도 성능 향상이 제한적이었던 점은, 단일 문항 특성만을 반영하더라도 프로세스 데이터를 활용한 예측이 효과적임을 시사한다.
수학 자기효능감(기초/응용)도 프로세스 데이터와 마찬가지로 모든 분석 모형에서 일관되게 최상위 예측 변수로 도출되었는데, 이는 학습자의 성취 기대와 과제에 대한 자기 인식이 실제 수행 결과와 밀접하게 연관되어 있음을 의미한다. 이러한 결과는 단순한 지식 전달을 넘어서, 학습자의 인지적 신념을 강화할 수 있는 교수 전략과 정서적 지원이 병행되어야 함을 시사한다.
아울러, 가정 수준과 학교 수준에서 공통적으로 상위 10위 내에 위치한 변인이 모두 사회경제적 지위를 반영하는 지표였다는 점은, 경제적 변인의 영향력이 단지 개인 차원에 국한되지 않고 가정과 학교 환경 전반에서 구조적으로 작용하고 있고, 개인의 학업성취를 예측할 수 있다는 점을 의미한다. 이미 여러 선행연구에서도 경제적 격차가 학업 격차로 이어진다는 결과가 지속적으로 제시되어 왔으며, 본 연구 결과는 이러한 다차원적인 경제적 격차가 학업 성취 예측에서도 유효함을 보여준다.
또한 분석 기법의 특성에 따라 선택되는 주요 예측 변인이 달라질 수 있다는 점은, 예측모형 설계 시 단일 분석 방법에만 의존하는 것에 한계가 있음을 시사한다. 보다 정교하고 포괄적인 예측을 위해서는 다수의 분석 기법을 병행하여 활용하고, 공통 변인과 차별 변인을 모두 고려한 통합적 해석이 필요하다. 특히 본 연구에서 선형회귀에 비해 랜덤 포레스트의 성능이 우수하게 나타난 점은, 프로세스 데이터처럼 변수 간 상호작용이 복잡하고 비선형적인 구조를 효과적으로 포착할 수 있는 분석 기법의 활용할 필요성이 있음을 뒷받침한다.
이러한 시사점을 바탕으로 후속 연구를 위한 제언은 다음과 같다. 첫째, 분석 기법 측면에서 선형회귀와 랜덤 포레스트에 한정되었으며, XGBoost, SVM 등 다양한 최신 머신러닝 기법과의 비교가 향후 필요하다. 둘째, 프로세스 데이터는 총 응답시간과 동작횟수에만 초점을 맞췄으나, 향후에는 PISA의 다양한 프로세스 데이터(F, V, VS 등)과 시계열·순차적 정보도 함께 고려할 필요가 있다. 셋째, 문항 특성은 실제 학습자 체감 수준과 전략적 반응에 따라 학습자에게 다르게 작용할 수 있으므로, 향후 연구에서는 학습자 중심의 문항 특성 분류 기준을 반영한 예측모형 설계가 필요하다. 마지막으로, 본 연구는 개인, 가정, 학교 수준 배경변인을 제한적으로 포함하였기에, 특히 가정 수준에서의 정서·심리적 요인 등을 고려한 분석이 요구된다.

번역하기

최근 기술 발전에 따라 전통적인 지필 평가에서 컴퓨터 기반 평가로의 전환이 가속화되면서, 다양한 프로세스 데이터를 손쉽게 수집할 수 있게 되었다. 학습분석학에서는 이러한 데이터를 ...