학생들의 인종과 사회경제적 지위, 교사들의 교직경력과 방과후 수업준비 정도 및 학위 분야가 학생들의 수학 성적과 과학 성적에 미치는 효과

유진은 ( Jin Eun Yoo ) 한국아동교육학회 2008 아동교육 Vol.17 No.1

The Influence of Students" Background, Classroom Practice, and Schools" Environmental Factors on Mathematics Achievement - Using the Third International Mathematics and Science Study-Repeat Indiana Data with Structural Equation Modeling

Yoo Jin Eun(유진은) 한국열린교육학회 2007 열린교육연구 Vol.15 No.3

  Third International Mathematics and Science Study-Revisited (TIMSS-R)은 전세계 38 개국 중학교 2학년(13-14세) 학생들의 수학 과학 성취도를 비교하면서 학생, 교사, 학교 교장으로부터 수학과학 교육 과정, 가정 환경, 학교 특성에 대해 포괄적인 정보를 수집했다. 미국에서는 별도의 13개 주가 TIMSS-R 연구에 참여하였는데, 이 연구는 그 중의 한 주인 미국 인디애나 주에서 학생들의 가정 환경, 수업 과정, 학교 환경 등이 학생의 수학 성적에 미치는 영향을 구조방정식을 통하여 검토하였다.<BR>  2단계 계층화 표본 방식을 통해서 표본을 모았는데, 1단계에서 크기비례확률 (probability-proportional-to- size:PPS) 방식으로 학교를 뽑았고, 2단계에서 학급을 뽑았다. 이 방식으로 모두 2046명의 학생, 102명의 수학교사, 67명의 학교 교장이 이 연구에 참여했다. 뽑힌 학생들은 수학 과학 시험을 보았고, 가정 환경, 수학과 과학에 대한 태도, 학교 환경에 대해 설문지에 응답했다. 이 학생들의 수학 교사와 과학 교사, 그리고 교장이 각각 교사용, 교장용 설문지에 답했다. 총 2046명 중 1064명이 여자였고, 981명이 남자였다. 평균 연령은 14.4세였으며, 백인이 1621명, 흑인이 242명, 히스패닉 58명, 기타 42명, 아시안이 28명, 미국 인디언이 14명이었다. 구조방정식 (structural equation modeling) 방법을 사용하기 위해 행해진 행삭제 (listwise deletion) 이후의 표본 수는 1228명이었다.<BR>  학생의 수학에 대한 자아 개념, 학생 어머니가 느끼는 교육에 대한 중요성 정도, 부모의 교육 수준, 소규모 학습 빈도, 학급에서 컴퓨터 이용 빈도, 학생이 느끼는 부정적 학교 환경, 교장이 느끼는 부정적 학교 환경이라는 일곱 개의 독립 변인이 학생의 수학 성적이라는 종속 변인을 설명할 것이라는 가설이 선행 연구에 기초해 세워졌다. 학생 설문지의 절도 빈도, 결석 빈도가 학생이 느끼는 부정적 학교 환경이라는 요인을 나타내는 지표로 쓰였고, 교장이 응답한 설문지의 학교 환경에 대한 특징들 (예, 교과서/교실/학교 건물/운동장이 부족하다)이 교장이 느끼는 부정적 학교 환경을 나타내는 지표로 쓰였다. 각각의 변인에 대해 크론바흐 알파 (Cronbach’s alpha)를 통해 신뢰도를 계산했는데, 0.70에서 0.90 사이였다.<BR>  데이터가 이 이론적 모델에 들어맞는지 알아보기 위해 확인적 요인분석 (confirmatory factor analysis)이행해졌다. 카이 자승치의 p값이 작았으나 (p = 0.00), 이는 이 연구의 표본 수가 1228명이었고, 카이 자승치가 표본 수에 민감하기 때문인 것으로 분석된다. 적합도 지수는 모두 양호했고 (RMSEA = 0.059, GFI = 0.95, NFI = 0.96, CFI = 0.96), 이는 이론적 모델이 데이터를 잘 설명한다는 것을 의미한다.<BR>  독립 변인 중, 학생 어머니가 느끼는 교육에 대한 중요성 정도, 교장이 느끼는 부정적 학교환경, 학급에서의 컴퓨터 이용 빈도는 통계적으로 유의미하지 않았다. 그러한 통계적으로 의미 있지 않은 경로를 제거한 후 재분석한 결과에 따르면, 학생의 자아개념이 높고 부모의 교육 수준이 높을수록 학생의 수학 성적이 높았고, 소규모 학습 빈도가 높을수록, 그리고 학생이 느끼는 결석/절도 빈도가 높을수록 학생의 수학 성적이 낮았다.<BR>  Timss에 참가한 주나 콘소시엄(consortium)단위의 데이터는 알반에 공개되지 않는다. 이 연구의 의의는 일반에 공개되지 않는 주(state) 단위의 데이터를 사용한 데 있는데, 한 나라안에서의 학생의 수학성적에 영향을 미치는 지역적 경향에 대한 후속 연구가 행해질 필요가 있다. 또한 Timss에 참가한 한국 학생들에게 이 연구의 모델을 적용해 보는 것도 의미있는 후속 연구가 될 것이다.   The Third International Mathematics and Science Study-Repeat (TIMSS-R) compared mathematics and science achievement of 8th grade students at international levels. States and consortia interested in improving their students" mathematics and science achievement volunteered in the study. The state of Indiana was one of the participants. The purpose of this study was to determine the extent of the direct influence of students" background, classroom practice, and schools" environmental factors on mathematics achievement of Indiana students, using TIMSS-R data. Structural equation modeling (SEM) was conducted for this study. Student" background and mathematics self-concept had strong, positive effects on mathematics achievement. Nagative school environment, school resources shortage, and small group practice showed negative relationship with mathematics achievement.

반복측정 자료를 다루는 교육 연구 실태 분석

유진은(Yoo Jin Eun) 한국열린교육학회 2014 열린교육연구 Vol.22 No.4

반복측정 자료를 분석하는 교육 연구에서 ANCOVA와 rANOVA(또는 mixed-ANOVA)가 대중적인 방법임에도 불구하고, 어떤 경우에 어떤 방법이 더 나은지 분명하게 설명한 연구를 찾기 힘들다. 본 연구는 각 방법에 대하여 자료 구성에서부터 시작하여 통계 모형, 통계적 가정, 연구 문제와 가설 검정 등을 고찰하고, ANCOVA와 비교 시 rANOVA의 특징을 논하였다. 특히 ANCOVA와 rANOVA의 특징적인 가정인 공변수에 대한 가정과 구형성 가정을 자세히 설명하였다. 구획분할 설계의 일종인 rANOVA는 실험설계에 따라 통계적 가정이 더 적으며, 다양한 실험설계에도 무리 없이 적용될 수 있다는 장점이 있다. 또한 rANOVA는 집단과 측정 시점 간 상호작용까지 검정할 수 있으므로 교육 연구에서 ANCOVA보다 rANOVA로 반복측정 자료를 분석하는 것이 일반적으로 더 나은 선택이라고 여겨진다. 마지막으로, 본 논문은 『교원교육』, 『학습자중심교과교육연구』, 『열린교육연구』에 수록된 ANCOVA, rANOVA 논문을 분석하고, 이를 바탕으로 연구자들을 위한 ANCOVA, rANOVA 이용 시 함의점을 논하였다. Although ANCOVA and rANOVA(also known as mixed-ANOVA) have been widely used in experimental designs, quite a few practitioners have a difficulty choosing which method to use in their research designs. This study compared data composition, statistical model, assumptions, and hypotheses of the two methods, which naturally lead to discussions of methodological strengths of the two. Particularly, the characteristic assumptions of ANCOVA and rANOVA, which are assumptions on covariate and the sphericity assumption, respectively, were explained in detail. In conclusion, rANOVA, a split-plot design, appears to exert greater leverage over ANCOVA in terms of statistical assumptions and methodological resiliency, depending on experimental designs. Lastly, ANCOVA and rANOVA studies in Korean Journal of Teacher Education, Journal of Learner-Centered Curriculum and Instruction, and Journal of Yeolin Education were reviewed, based upon which implications for practitioners were discussed.

미국 초,중등학교 학급수준 학생평가 실태: 수학 과목을 중심으로

유진은 ( Jin Eun Yoo ) 부산대학교 과학교육연구소 2014 교사교육연구 Vol.53 No.2

최근 미국에서는 CCSS(Common Core State Standards)라는 국가공통기준을 만들어 유치원부터 고등학생까지 학생의 수학과 영어 표준을 국가 차원에서 제시하고 있다. 기초 기능에 치중했던 과거 NCLB(No Child Left Behind)에서 벗어나 실제 사회생활에 필요하다고 여겨지는 지식과 기능을 중시하는 방향으로 전반적인 교육과정과 교육평가의 틀이 크게 변하고 있는 것이다. 이러한 맥락에서 프로젝트 평가와 같은 수행평가가 미국 수학교과에서 그 중요도가 높아지고 있다. 미국 초·중등학교 학급수준 학생평가 실태 분석 결과, 큰 틀에서는 미국의 학생평가와 우리나라의 학생평가가 큰 틀에서는 차이가 없었으나, 프로젝트 학습과 평가가 강조되는 점이 우리나라 수학과 평가와의 차이점이었다. 프로젝트 평가는 CCSS에서 강조하는 4C(비판적 사고, 의사소통, 협업, 창의성)와 자연스럽게 연결되어 학생의 지적 영역뿐만 아니라 정의적 영역까지도 통합적으로 평가할 수 있다는 장점이 있다. 그러나 프로젝트 평가의 경우 학생과 교사 모두에게 시간과 노력을 많이 투입하도록 요구하는 부분이 있으며, 과제 개발자이자 평가자로서 교사의 부담이 상대적으로 클 수 있다는 것을 인식해야 한다. 우리나라의 경우 대학 입시를 앞둔 중등학교에서 프로젝트 평가를 도입하려면 채점의 객관성·공정성, 교사의 평가권 보장 등의 과제가 선결될 필요가 있다. Education in the United States has recently been undergoing major changes in its curriculum. The Common Core State Standards (CCSS) was developed for 45 participating states and has been implemented in some states including California. This study aimed to capture the student evaluation practices in this time of curriculum reform and to provide insights and/or implications to the Korean settings. Focusing on K-12 mathematics, this study investigated student evaluation practices at a classroom level rather than at a national level. Student evaluation instruments included evaluation forms, teachers’ guidebooks, and internet documents which were extensively researched and selected specifically for this study. Telephone and email interviews were conducted with a school principal and a mathematics teacher to elicit detailed feedback on student evaluation practices. Among others, project evaluation was found to be one of the foremost methods for student evaluation, closely adhering to the 4Cs (Critical thinking, Communication, Collaboration, Creativity) of the CCSS core values. Project evaluation in the current Korean educational system, particularly in the high-stakes testing contexts, appears to have quite a controversial impact. Prerequisites to the successful landing of project evaluation are discussed.

Group Mnet 기계학습 기법을 통한 중학생의 끈기(grit) 관련 변수 탐색

유진은(Yoo, Jin Eun),김형관(Kim, Hyeong Gwan),노민정(Rho, Minjeong) 한국청소년정책연구원 2020 한국청소년연구 Vol.31 No.1

청소년의 끈기(그릿)에 대한 기존 연구는 이론적으로 확인된 소수의 변수에 대하여 전통적인 분석기법을 적용한 연구가 대부분이었다. 그러나 청소년의 끈기와 관련 있는 변수를 총체적인 관점에서 탐색하고 파악하여 새로운 변수를 발굴할 필요가 있다. 특히 한국아동․청소년패널조사(KCYPS) 2018은 끈기를 측정하는 문항을 새롭게 수집함으로써 청소년의 끈기 연구에 획기적인 계기를 제공하였다. 본 연구는 기계학습 기법을 통하여 KCYPS 2018의 수백 개의 변수를 한 모형에서 탐색함으로써 끈기와 관련 있는 변수를 총체적으로 파악하는 동시에 예측력이 높은 모형을 구축하고자 하였다. 기계학습 기법 중 벌점회귀모형은 예측력을 고려하면서도 상대적으로 해석하기 쉽고 설명하기 쉬운 모형을 도출한다. 벌점회귀모형 중 최신 기법인 Group Mnet은 LASSO의 회귀계수 불일치성 문제와 MCP의 다중공선성 문제를 다루며, 범주형 변수 또한 처리할 수 있다는 장점이 있다. 본 연구에서는 자료 분할로 야기되는 임의성을 통제하고자 100번의 반복을 통하여 선택계수(selection counts)를 구하고, 그 결과 301개의 설명변수 중 42개의 변수를 최종적으로 선택하였다. 선택된 변수들 중 선행연구에서 사용되었던 변수들은 학업 열의, 학업 무기력, 삶의 만족도, 행복감, 창의적 성격, 건강상태, 양육방식, 친구관계, 교사관계, 성별 등이었다. 선행연구에서는 찾아 볼 수 없었으나 선택된 변수로 자아존중감, 협동심, 우울, 주의집중, 공격성, 스마트폰 관련 변수, 팬덤 활동 빈도 등이 있었다. 본 연구의 의의를 기계학습 기법의 특징과 관련하여 논하고, 후속 연구 과제를 제시하였다. Previous studies on adolescents’ grit focused on testing the relationships of a small number of variables based on literature reviews, utilizing traditional statistical techniques. The purpose of this study was to explore the hundreds of KCYPS(Korean Children and Youth Panel Survey) 2018 variables and to construct a prediction model via a machine learning technique, group Mnet. Mnet is categorized as penalized regression among machine learning techniques, and deals with the inconsistency and multicollinearity problems of LASSO and MCP, respectively. Group Mnet also handles categorical variables. Specifically, this study repeated 100 times of model building after random data-splitting, and 42 variables were selected out of 301 after selection counts. Variables measuring academic lethargy, life satisfaction, happiness, creative personality, health status, parenting style, gender, and relationships with friends as well as teachers had been investigated in previous research, and were also selected in this study. Newly found variables included predictors relating to self-esteem, cooperation, depression, attention, aggression, smartphone usage, and fandom activities. The significance and implications of the study as well as future research topics were discussed.

Group lasso를 통한 중학생의 삶의 만족도에 영향을 미치는 변수 탐색

유진은(Yoo, Jin Eun),노민정(Rho, Minjeong) 한국청소년정책연구원 2017 한국청소년연구 Vol.28 No.1

한국청소년정책연구원의 KCYPS 패널 자료가 수백 개의 변수들을 제공함에도, 선행 연구들은 그 중 십여 개의 변수 또는 요인만을 선정하여 청소년의 삶의 만족도를 모형화해왔다. 그러나 복잡다단한 인간을 대상으로 하는 사회과학 연구는 기존 이론에 근거한 몇 가지 변수 또는 요인만을 이용하는데서 벗어나, 다른 새로운 변수들을 파악함으로써 기존 이론을 정비할 필요가 있다. 특히 KCYPS가 제공하는 변수들은 그 이론적·실제적 타당성을 다수의 전문가들이 연구 설계에서부터 고려하여 수집된 변수들이다. 따라서 본 연구는 KCYPS 6차년도 초4 패널 자료 전체를 이용하여 중학생의 삶의 만족도에 영향을 미치는 변수를 탐색하고자 벌점 회귀모형 기법인 group lasso를 적용하였다. 벌점 회귀모형은 비벌점 회귀모형이 투입변수가 증가함에 따라 모형안정성이 떨어지는 문제에 대하여 해결책을 제시한다. 또한 본 연구에서 group lasso를 적용함으로써 모형에서 연속형 변수뿐만 아니라 범주형 변수를 함께 다룰 수 있었다. 그 결과 338개 변수 중 15 개 변수가 선택되었으며, 이 때 모형의 예측 정확도는 78.25%였다. 선택된 변수 중 자아인식, 정서문제, 양육방식, 전체성적 만족도, 지역사회인식, 가정경제수준 평가 관련 문항은 선행연구에서 이용된 바 있으며, 그 회귀계수 방향 또한 선행연구 결과와 전반적으로 일치하였다. 선행연구에서 다루어지지 않았으나 벌점 회귀모형에서 선택된 변수로 공부시간, 여가시간, 숙달목적 지향성 학습습관, 학교 체육시간 관련 문항이 있었다. 본 연구는 국내 사회과학 패널 자료에 group lasso를 적용한 최초의 연구일 것으로 사료된다. This study explored predictors affecting KCYPS middle school students’ life satisfaction levels, via penalized regression, specifically the group lasso. Among 338 KCYPS predictors after data cleaning had been conducted, a total of 15 were selected in the group lasso model. The prediction accuracy was determined to be 78.25%. Self-concept, depression, parental rearing styles, overall academic satisfaction, community recognition, gender, and home economic status were found to have an effect on students life satisfaction, consistent with the findings of previous research. Study hours, mastery goal orientation, and students’ perceived physical education hours were newly explored predictors, not yet investigated in previous research. As one of the first group lasso studies making use of social science panel data, this study successfully included categorical predictors as well as continuous ones in one group lasso model.

연속형 변수가 모형화될 때 Hosmer-Lemeshow 검정을 이용한 로지스틱 회귀모형의 모형적합도

유진은(Jin Eun Yoo) 한국교육평가학회 2013 교육평가연구 Vol.26 No.3

일반화 선형모형 중 종속변수가 예/아니오 등의 이항형일 때 로짓 링크(logitlink)를 이용하는 로지스틱 회귀모형이 가장 많이 쓰인다. 연속형 독립변수를 로지스틱 회귀모형에서 이용하는 경우에 가정 위배 문제가 야기되므로, Pearson 카이제곱 검정이나 이탈도 등을 통하여 모형적합도를 알아볼 수 없다. 이 경우 Hosmer-Lemeshow검정을 이용할 수 있으나,이에 대한 이해가 부족한 형편이다. 본 연구에서는 Monte Carlo 모의실험을 통하여 표본 크기, 모형 설정, 변수 간 상호작용 강도,Hosmer-Lemeshow검정의 집단 수 등에 따라 기각률(rejectionrate)이 어떻게 달라지는지 연구하였다. 연구 과, Hosmer-Lemeshow 검정이 주효과 항과 상호작용 효과 항이 누락된 모형에 대하여 잘 감지하지 못한다는 것을 알 수 있었다. 표본 크기가 2000으로 큰 경우에도 Hosmer-Lemeshow검정의 집단 수를 20으로 상향하는 것이 기각률에 그다지 영향을 끼치지 못하였다. Hosmer-Lemeshow의 대체 검정법 연구는 물론이고, Hosmer-Lemeshow 검정을 순서형 또는 다항형 변수로 확장하는 방법에 대한 연구도 필요하다. Conventional test statistics such as Pearson chi-squares or Deviance are no more a viable option for testing goodness-of-fir, when continuous explanatory variables are included in the logistic regression model. Hosmer-Lemeshow statistics has been the most popular goodness-of-fit statistics in this cast, but little has been investigated. This Monte Carlo simulation study examined the effect of sample size, model specification, degrees of interactions among variables, and number of groups on the Hosmer-Lemeshow statistics’ rejection rates. Overall, the Hosmer-Lemeshow statistics was quite conservative. "When the sample size was 2000 and the interaction among explanatory variables was as high as 0.90, the Hosmer-Lemeshow statistics rejected the interaction-term-omitted model at the rare below 10%. The rejection tarts of the main-effect-omitted model were even lower, ranging between 4~5%. Further studies are warranted regarding better approaches.

기계학습: 대용량/패널자료와 학습분석학 자료 분석으로의 활용

유진은 ( Jin Eun Yoo ) 한국교육공학회 2019 교육공학연구 Vol.35 No.S

컴퓨터공학을 비롯한 여러 학문에서 주목을 받고 있는 기계학습 기법은 전자상거래, 유전체학, 자연어 분석, 의료영상처리, 자율주행자동차 등의 다양한 분야에 성공적으로 응용되고 있다. 반면, 기계학습을 이용한 교육 연구는 상대적으로 많지 않으며, 기계학습 자체에 대한 교육 분야 연구자들의 이해 또한 높지 않다. 본 연구는 기계학습의 정의로부터 시작하여 주요 개념인 추론과 예측, 과적합, 편향-분산 상충 관계, 교차검증, 지도학습과 비지도학습 등을 설명하며 기계학습을 전반적으로 개관하였다. 이어서 2019년 현재 교육분야에서 기계학습 기법을 쓴 연구와 학습분석학 자료를 활용한 연구를 정리·분석함으로써, 교육 분야 연구자들의 기계학습에 대한 이해도를 높이고 교육 연구에서 기계학습의 저변을 넓히고자 하였다. 분석 결과, 기계학습 기법 중 지도학습 기법인 벌점회귀모형과 랜덤포레스트가 다양한 교육 대용량/패널 자료 분석에 활용되었으며 비지도학습의 경우 온라인 텍스트 자료 분석 위주로 실시된 것을 확인하였다. 학습분석학 자료의 경우 아직 기계학습 기법이 충분히 활용되지 못한 것으로 보인다. 마지막으로 기계학습을 활용하는 교육 연구의 향후 과제를 교육 대용량/패널자료의 특징과 연계하여 고찰하고, 학습분석학자료 분석과 관련한 기계학습 기법의 활용 방안을 논하였다. Mainly developed in computer engineering/science, machine learning not only has been gaining popularity in academics, but also has been successfully applied to various fields of life including online retail business, genomics/health care, natural language processing, and self-driving cars. Nonetheless, there have been only a handful of machine learning studies in education, and accordingly educational researchers are not well-informed about machine learning. Starting with an overview of machine learning including its definition and key concepts such as prediction and overfitting, this article reviewed machine learning studies in education, which will help improve understanding of and propagate applications of machine learning techniques in the educational research community. Specifically, penalized regression and random forests have been employed to analyze large-scale/panel data as supervised learning, and text mining with LDA (Latent Dirichlet Allocation) has been frequently used as unsupervised learning in the field of education. Applying machine learning techniques to learning analytics data appears to need much improvement. Lastly, future research topics are discussed, particularly for researchers using large-scale/ panel data and learning analytics data.

기계학습 기법을 활용한 플립러닝 강좌의 LMS 로그파일 분석 사례 연구

유진은(Jin Eun Yoo) 한국열린교육학회 2020 열린교육연구 Vol.28 No.5

COVID-19 사태로 원격 수업은 이미 전세계적인 현상이 되며 온라인 자료를 활용한 학습분석학 연구의 중요성이 한층 더 강조되고 있다. 이러한 시대에 기계학습 기법을 활용하여 LMS (learning management system) 로그파일과 같은 빅데이터를 분석함으로써 학습자의 성공을 위한 예측모형을 구축할 필요가 있다. 온라인 학습에서 특히 자기조절학습이 중시되며 총 로그인 횟수 또는 평균 접속 시간과 같은 집계 변수(aggregate variable)로 모형에 활용되어 왔는데, 실제 학습시점에서의 자기조절학습 관련 변수를 측정하고 모형화할 필요가 있다. 본 연구의 목적은 플립러닝으로 이루어진 대학원 ‘기초통계’ 수업에서 학습자의 강의동영상 시청 양상을 파악하고, 기계학습 기법을 활용하여 학업성취도를 예측하는 변수를 탐색하는 것이었다. LMS 로그파일로부터 수업 전후 동영상 시청 빈도를 추출하고 학습자 배경 변수와 병합한 후 100개 설명변수를 활용하여 학업성취도 예측모형을 구축하였다. 본 연구는 기계학습 기법 중 벌점회귀모형으로 분류되는 Enet(elastic net)을 활용함으로써 상대적으로 해석하기 쉬운 예측모형을 도출하였다. 기존 연구 방식으로는 중간고사 또는 적어도 쪽지시험과 같은 평가 후에야 학습자의 수준을 가늠할 수 있었던 반면, 본 연구는 평가 자료 없이도 빠르게는 2~3주차부터 성취도를 예측하는 변수를 파악할 수 있었다. 사전학습 과제였던 조별 질문 생성이 학습자들의 사전학습을 효과적으로 촉진하였다는 것 또한 확인할 수 있었다. 단, 학습자의 배경지식이 깊지 않고 내용 자체가 어려운 강좌의 경우 무작정 강의동영상을 많이 보라고 학습자들을 독려하는 것이 적절하지 않을 수 있다. 대학원 수준 통계와 같은 상대적으로 어려운 강좌에서 플립러닝을 효과적으로 적용할 수 있는 방안 및 다양한 배경변인 및 학습 관련 변인을 수집하고 모형에서 활용하는 방안 등을 후속 연구과제로 논하였다. The Learning Management System (LMS) provides big data for analysis with machine learning techniques to create prediction models for student success. In particular, self-regulated learning has been emphasized in online learning, and measured as login frequencies or login time. However, aggregate variables such as total login frequencies or average login time have been typically utilized, mainly due to analytical limitations of conventional techniques. More detailed indicators of self-regulated learning such as students’ watching frequencies of online lectures before and after each class need to be measured and modeled to predict students’ academic success via machine learning. This study aimed at exploring important variables for the prediction model as well as capturing students’ watching behaviors of online lectures. Students’ watching frequencies were coded using LMS log data from a graduate-level flipped classroom (FC). Combined with students’ background information, the final data for analysis consisted of 100 predictors in a course on introductory statistics. Enet (penalized regression) was employed among machine learning techniques mainly due to its interpretability. Without a quiz or an exam, the frequencies of video watching were important variables to predict students’ academic achievement as early as the first 2~3 weeks of the course. However, merely watching the instructional videos repeatedly did not contribute to students’ academic success. Further studies are warranted on designing effective FC with heavily loaded courses covering unfamiliar content as well as collecting and modeling other important study-related or background information variables relevant to students’ academic success in FC.

랜덤 포레스트

유진은(Yoo Jin Eun) 한국교육평가학회 2015 교육평가연구 Vol.28 No.2

랜덤 포레스트는 최근 관심의 대상이 되고 있는 데이터 마이닝 기법으로, 의사결정나무 모형을 기저로 하며 무작위성을 최대로 부여함으로써 예측오차를 줄인다. 본 연구에서는 의사결정나무와 랜덤 포레스트의 이론적 배경, 특징, 장단점 등을 설명하고, 한국청소년패널조사(KYPS VI) 자료를 이용하여 두 기법을 비교ㆍ분석하였다. 랜덤 포레스트는 특히 설명변수 개수가 많은 고차원 자료의 경우 예측력이 매우 높다는 장점이 있다. 연구 결과, 조율모수에 대한 고민 없이도 랜덤 포레스트의 정분류율이 가지치기 후 의사결정나무의 정분류율과 비슷하였다. 랜덤 포레스트와 같은 방법은 기존 통계분석 방법으로 처리하기 힘든 빅데이터 뿐만 아니라, 회귀모형, 분류, 생존분석 등을 망라하는 기존 통계분석 방법으로 처리할 수 있는 자료에도 적용될 수 있다. 생물의학, 데이터베이스 마케팅, 신용평가, 금융예측 등의 다양한 분야에서 랜덤 포레스트 기법이 활발하게 적용되며 연구되고 있는 반면, 2015년 현재 교육 관련 연구에서 랜덤 포레스트 방법은 아직 제대로 소개조차 되지 못했다. 이러한 현실에서 앞으로 우리 교육 관련 연구에서의 랜덤 포레스트 기법 확산에 본 연구가 도움이 될 수 있기를 기대한다. Random forests, a data mining technique, recently has been gaining popularity in various fields of study, including bioinformatics, database marketing, credit scoring, and etc. Random forests, consisting of a number of decision trees, reduces prediction error via maximizing randomness. This study investigated the strengths and weaknesses of decision tree modeling and random forests, respectively, and examined the statistical properties of the two techniques with KYPS VI panel data. A well-known strength of random forests is its high prediction rates, particularly with high dimensional data, which was consistent with the results of this study. The accuracy of the random forests, without special considerations on its tuning parameters, was similar to that of the decision tree after pruning. Random forests can also be used for regression, classification, and survival analysis, as well as for big data techniques. This study aims to spread this superior technique, random forests, to professionals in education and others.