The Effect of Unbalanced Design and Estimation Methods in Multilevel Modeling

정혜원(Hyewon Chung),김지선(Jiseon Kim),박령선(Ryoungsun Park) 한국교육평가학회 2012 교육평가연구 Vol.25 No.3

이 시뮬레이션 연구는 불균형 자료가 다층모형의 모수 추정과 신뢰구간에 미치는 영향을 살펴보았다. 본 연구의 목적을 수행하기 위해 계층 내 상관계수(ICC), 그룹의 수, 그리고 불균형 표본 형태의 조건들이 고려되었다. 또한 다층모형 추정의 정확성을 검사하기 위해서 iterative generalized least squares(이하 IGLS)과 Markov chain Monte Carlo(이하 MCMC)두 추정 방법이 사용되었다. IGLS 추정방법을 사용하였을 때, 상대편의 (Relative Bias)와 신뢰구간이 그룹의 수와 불균형 표본 형태에 영향을 받는 것으로 나타났다. 그룹의 수가 증가할수록, 상대편의가 작아지는 경향을 보였다. 심각한 불균형 표본 조건에서는, 95% 신뢰구간을 과소 추정하였다. 일반적으로 MCMC 추정방법을 사용하였을 경우에 IGLS에 비해, 모든 조건에서 적은 상대편의를 나타냈다. This simulation study examines how unbalanced designs affect parameter estimates and their confidence intervals in multilevel modeling. To perform the purpose of the current study, the following conditions were examined: intra-class correlation, number of groups, and unbalanced design. Two estimation procedures were used to test the accuracy of multilevel model estimation: iterated generalized least squares (IGLS) and Markov chain Monte Carlo (MCMC). Relative bias of parameter estimates and confidence intervals were found to be sensitive to the number of groups and unbalanced design under IGLS. As the number of groups increased, the relative biases tended to decrease. With severely unbalanced design, the 95% confidence interval had substantial under-coverage. In general, use of MCMC estimation resulted in less bias across all conditions as compared to IGLS estimation.

A Simulation Study on Cross-classified Multiple Membership Random Effects Modeling Estimation

정혜원(Hyewon Chung),전현정(Hyeonjeong Jeon),박소영(Soyoung Park) 한국교육학회 2023 敎育學硏究 Vol.61 No.3

혁신학교 진학에 따른 중학생의 학업성취도와 진로성숙도 변화 및 영향요인 분석: 경향점수매칭과 잠재전이분석 적용

정혜원(Chung, Hyewon),김예림(Kim, Yerim),박소영(Park, Soyoung) 한국열린교육학회 2019 열린교육연구 Vol.27 No.1

본 연구는 혁신학교 진학에 따른 중학생의 학업성취도와 진로성숙도의 변화양상을 파악하고 학업성취도 및 진로성숙도 잠재계층과 잠재계층 전이에 영향을 미치는 요인을 탐색하고자 하였다. 이를 위해 경기교육종단연구(Gyeonggi Education Panel Study: GEPS)의 4-6차년도(중1-중3) 자료를 사용하였으며, 학업성취도 및 진로성숙도 잠재계층의 변화양상과 영향요인을 확인하기 위해 3단계 접근법(3-step approaches, Asparouhov & Muthén, 2014)을 적용한 잠재전이분석(Latent Transition Analysis)을 실시하였다. 분석 결과, 중학교 1학년 시기의 학업성취도 및 진로성숙도 잠재계층은 ‘고성취-고성숙 집단’과 ‘저성취-저성숙 집단’으로 분류되었으며, 중학교 3학년 시기의 학업성취도 및 진로성숙도 잠재계층도 ‘고성취-고성숙 집단’과 ‘저성취-저성숙 집단’으로 분류되어 각각 두 개의 잠재계층으로 구분 되었다. 중학교 1학년 시기에서 중학교 3학년 시기까지의 잠재계층의 전이에 영향을 주는 요인을 검증한 결과, 중학교 1학년 시기에 ‘저성취-저성숙 집단’인 경우 자발적 주도성 창의성과 부모애착 신뢰가 높을수록 중학교 3학년 시기에 ‘고성취-고성숙 집단’으로 변화하는 집단에 속할 확률이 높은 것으로 나타났다. 이러한 연구결과를 토대로 본 연구의 시사점 및 후속연구를 위한 제언을 논의하였다. This study was designed to investigate the changes of academic achievement and career maturity of middle school students after entering innovation middle school, and to explore the factors affecting latent classes and transitions of latent classes over middle school years. Data were utilized from 「Gyeonggi Education Panel Study: GEPS 2012 (4th and 6th waves)」, latent transition analysis with 3 step approaches was used. The results highlighted two latent classes in both 1st and 3rd grade in middle school which were identified:‘low-achievement and low-maturity’and‘high-achievement and high-maturity’, respectively. The higher autonomous creativity and relationship with parents for‘low-achievement and low-maturity group’in the 1st grade in middle school, the higher the probability of transferring to ‘high-achievement and high-maturity group’n the 3rd grade in middle school. Based on the results of this current study, the implications and the suggestions for the future research were discussed.

혼합효과 랜덤 포레스트를 적용한 중학생의 학업성취도 설명 변인 탐색 : 국가수준 학업성취도 평가 결과를 중심으로

정혜원(Hyewon Chung),김아름(Arum Kim),백예은(Yeheun Baek) 한국교육평가학회 2022 교육평가연구 Vol.35 No.1

본 연구는 중학생의 국어, 수학, 영어 학업성취도의 주요 설명 변인을 탐색하고자 수행되었다. 이를 위해 한국교육과정평가원에서 제공하는 2020년 국가수준 학업성취도 평가의 중학생 자료를 활용하였으며, 학생이 학교에 내재된 다층 구조의 속성을 고려한 머신러닝 기법인 혼합효과 랜덤 포레스트(Mixed-effects random forest)기법을 적용하였다. 주요 연구 결과는 다음과 같다. 국어, 수학, 영어 공통적으로 ‘스스로 공부하는 시간’, ‘수업시간 집중도’, ‘운동 빈도’와 관련된 문항과 더불어 ‘학습 자료를 읽다가 혼돈되는 부분이 있을 때 되돌아가 이해하려고 노력한다’와 같은 학습 태도와 관련된 문항이 주요 설명 변인으로 도출되었다. 또한 교과별로 특징적으로 나타난 결과를 확인할 수 있었는데, 수학과 영어의 경우 ‘사설기관에서 제공하는 강의 참여 정도’와 관련된 문항과 각각의 교과 태도에서 교과에 대한 자신감과 끈기와 관련된 문항이 도출되었으나 국어의 경우 도출되지 않았다. 이 외에 국가수준 학업성취도 평가에서 제공하는 다양한 학생, 교사, 학교장 수준의 다양한 설문문항을 활용함으로써 도출된 분석 결과를 바탕으로 중학생의 국어, 수학, 영어 교과의 균형 있는 학업성취를 위한 시사점을 논의하였다. This study aimed to explore the variables explaining middle school students’ academic achievement in Korean, math, English based on National Assessment of Educational Achievement(NAEA). For this purpose, the Mixed-effects random forest, a machine learning technique that considers multi-level data structure was used. The main results are as follows. First, the questions related to ‘study time on my own’, ‘concentration of class time’, ‘frequency of exercise’ and the questions related to the overall learning attitude, such as ‘I try to return and understand when there is confusion while reading learning materials’ were commonly selected as important explanatory variables in Korean, math, English. On the other hand, questions related to ‘participation in lectures provided by private institutions’, ‘confidence and persistence in subjects’ were selected as explanatory variables in math and English only, but not Korean. In addition, based on the analysis results derived by using various questions at the level of students, teachers, and principals provided in the national-level academic achievement evaluation, implications for balanced academic achievement of middle school students’ Korean, math, and English were discussed.

The Impact of Sample Size on Three-Level Quadratic Cross-Classified Multiple Membership Growth Curve Modeling Estimation

정혜원(Hyewon Chung),전현정(Hyeonjeong Jeon),박소영(Soyoung Park) 한국교육학회 2022 敎育學硏究 Vol.60 No.7

본 연구에서는 종단연구에서 비순수 위계적 자료의 속성을 고려하고 비선형 변화를 모형에 반영한 3수준 이차함수 교차분류 다중소속 다층성장모형을 제안하고자 수행되었다. 또한 3수준 이차함수 교차 분류 다중소속 성장모형의 안정적인 모수 추정을 위한 표본크기를 제시하기 위하여 모의실험 연구를 수행하였다. 모의자료 생성 시 측정 횟수(4, 5, 6), 집단 수(30, 50, 100, 200), 집단 크기(10, 30, 50), 다중 소속 자료 비율(20%, 40%)의 조건들이 고려되었다. 모의실험 결과, 본 연구의 모든 실험조건에서 고정효과와 1수준 분산의 추정치에서는 상대편의가 나타나지 않았다. 그러나 학교 간 분산의 추정치의 경우 초기값, 1차 성장률, 2차 성장률에 대한 분산이 과대 추정되는 경향이 나타났으며, 집단 수가 작을수록 상대편의성이 커지는 경향을 보였다. 또한 고정효과의 95% 신뢰구간 포함 비율은 대부분의 모의 실험 조건에서 명목수준인 5%를 충족하는 것으로 나타났으나, 집단 수(n=30)와 집단 크기(n=10)가 작은 조건의 경우, 95% 신뢰구간 포함 비율이 명목수준인 5%를 충족하지 못하는 것으로 나타났다. 본 연구결과를 바탕으로 3수준 이차함수 교차분류 다중소속 다층 성장모형의 안정적인 추정을 위해서 5번 반복측정, 200이상인 집단 및 집단 당 30명 이상의 자료를 사용할 것을 제시하였다. This study proposes a new model, termed the “three-level quadratic cross-classified multiple membership growth curve model,” which includes a quadratic growth curve to fit a non-linear growth curve to cross-classified multiple membership data in the presence of student mobility. Moreover, to provide guidelines for a minimum sample size requirement for the three-level quadratic cross-classified multiple membership growth curve modeling, this study employed a simulation under a variety of conditions including the number of measurement occasions (4, 5, and 6), the number of groups (30, 50, 100, and 200), average group size (10, 30, and 50), and multiple membership rates (20% and 40%). Across all of the simulated conditions, no substantial bias was found for the fixed effect and level-one variance component estimates. However, in some conditions, substantial biases were found for between-school variance component estimates for intercept, slope, and quadratic slope. In some of the smallest number of groups (n = 30) and group size (n = 10), coverage rates of 95% credible interval for the school variance component were not less than 5% (i.e., the nominal non-coverage rate). It is recommended that researchers apply three-level quadratic cross-classified multiple membership growth curve modeling to data with five repeated measures and at least 200 groups with 30 participants each.

국가수준 학업성취도 평가 결과에 기반한 고등학생의 학업성취도 예측 변인 탐색

정혜원 ( Hyewon Chung ),김아름 ( Arum Kim ),백예은 ( Yeheun Baek ) 경북대학교 중등교육연구소 2021 중등교육연구 Vol.69 No.4

본 연구는 고등학생의 국가수준 학업성취도 평가의 2018년, 2019년, 2020년 자료를 활용하여 원격수업을 통한 비대면 수업이 진행된 2020년에 특징적으로 나타난 학업성취도 예측 변인을 탐색하고자 하였다. 분석에는 고등학생의 최근 3개년 국가수준 학업성취도 평가 자료를 활용하였으며, 학생이 학교에 내재된 자료의 구조를 반영하여 머신러닝 기법 중 자료의 다층적 구조를 고려한 혼합효과 랜덤포레스트 기법을 적용하였다. 2018년, 2019년과 비교하여 2020년에 나타난 특징적인 결과는 다음과 같다. 2020년 국어, 수학, 영어 학업성취도 공통적으로 ‘방과 후 활동’ 영역에서 사설 기관에서 제공하는 강의 참여도와 관련한 문항이 도출되었으며 국어와 영어 학업성취도의 경우 ‘학습 관련 정의적 특성’ 영역에서 학생의 학업동기와 관련한 문항이, ‘원격수업 환경 변화’에서 학교에 대한 소속감과 관련한 문항이 주요 변인으로 도출되었다. 또한 수학과 영어에서 ‘방과 후 활동’ 영역에서 EBS 교육방송 시청 시간과 관련 문항이 공통적으로 도출되었다. 이러한 결과를 통해 고등학생의 학업성취도 향상을 위한 시사점을 논의하고 후속 연구를 제언하였다. The purpose of this study is to explore the variables predicting achievement of high school students in 2020 when online classes were conducted. To do this, the mixed-effects random forest, one of machine learning techniques considering the multi-level data structure, was applied to data from 2018, 2019, and 2020 of high school students' National Assessment of Educational Achievement(NAEA). The main results are as following. In 2020 academic achievement, the questionnaire related to lecture participation provided by private institutions in ‘after-school activities’ was commonly selected for Korean, mathematics and English achievements. In both Korean and English achievements, the questionnaires related to students’ academic motivation and sense of belonging to school in ‘learning-related affective characteristics’ and ‘online class environment' were selected as important variables. In addition, the questionnaire related EBS education broadcasting viewing time in ‘after-school activities' was commonly selected for both mathematics and English. Based on the result, implications for improving high school students' academic achievement were discussed.

다층자료에 대한 벌점화 회귀모형의 모수추정값과 예측성과 비교 연구

정혜원(Hyewon Chung),박소영(Soyoung Park) 한국교육평가학회 2021 교육평가연구 Vol.34 No.1

This simulation study investigated the effects of mis-specifying multilevel data structure in penalized regression models. The simulation conditions were considered as follows: intra-class correlation coefficient (0.1, 0.2, and 0.4), level-2 sample size (200, 300, 400, and 500), and level-1 sample size (20, 30, and 50). This study compared the relative biases of parameter estimates and prediction performance between glmmLasso model (generalized linear mixed model by-penalized estimation, Groll & Tutz, 2014) that correctly models the multilevel data structure and traditional lasso regression model (least absolute shrinkage and selection operator, Tibshirani, 1996) that excludes level-2 random effects. The results are as follows. The fixed effects were substantially negatively biased under the lasso regression model across all conditions. In addition, the glmmLasso model showed better prediction performance than traditional lasso regression model across all conditions investigated in the current study. 본 연구는 다층자료 구조를 반영하지 못한 벌점화 회귀모형의 명세화 오류 영향을 탐색하고자 수행되었다. 이를 위해 다양한 집단 내 상관계수(0.1, 0.2, 0.4), 2수준(200, 300, 400, 500) 및 1수준(20, 30, 50) 표본크기 조건을 고려하여 생성한 모의자료에, 다층자료 구조를 고려한 벌점화 회귀모형인 glmmLasso(generalized linear mixed model by-penalized estimation) 모형을 준거모형으로 설정하고, 다층자료 구조를 반영하지 못하는 전통적인 lasso(least absolute shrinkage and selection operator) 모형을 비교모형으로 설정하여 모수추정 값의 상대편의성과 예측성과를 비교하였다. 모의실험 결과, 모든 조건에서 다층자료 구조를 반영하지 못한 전통적인 lasso 모형을 적용하였을 때 독립변수의 모수추정값이 과소 추정되는 것으로 나타났다. 또한 모든 모의실험 조건에서 준거모형인 glmmLasso 모형이 비교모형인 전통적인 lasso 모형에 비해 예측성과가 높은 것으로 나타났다.

3수준 다중소속 다층자료에 대한 모형의 명세화 오류가 모수추정값과 모형적합도에 미치는 영향: 모의실험 연구

정혜원(Hyewon Chung) 한국교육평가학회 2018 교육평가연구 Vol.31 No.3

본 연구는 2수준에서 다중소속이 발생한 3수준 다중소속 다층자료 구조를 적절하게 모형화할 수 있는 3수준 다중소속 다층모형을 소개하고, 이러한 다중소속 다층자료의 구조를 적절하게 반영하지 못한 모형을 적용한 경우 모수추정값 및 모형적합도에 미치는 영향을 탐색하였다. 본 연구의 목적을 수행하기 위해 다중소속 비율(10%, 20%, 40%), 3수준 표본크기(30, 50, 100), 2수준 표본크기(10, 20), 1수준 표본크기(15, 30)의 조건들을 고려하여 모의자료를 생성하였고, 3수준 다중소속 다층모형을 준거모형으로 하고 다중소속 고정효과 적용모형, 전통적 3수준 다층모형을 적용하였다. 모의실험결과 2수준에서 발생한 다중소속을 무시할 경우 다중소속과 관련된 고정효과 및 2수준 임의효과 분산의 과소추정이 나타났으며, 하위수준인 1수준 임의효과 분산이 과대추정되었다. 모든 실험설계 조건에서 3수준 다중소속 다층모형을 적용하는 것이 더 적절한 것으로 나타났다. This study introduced the 3-level multiple membership multilevel modeling and investigated the impact of mis-specifying facets of 3-level multiple membership multilevel data structures where the multiple membership occurred at the intermediate level. Simulation conditions were considered as follows: multiple membership rate (10%, 20% 40%), level-3 sample size (30, 50, 100), level-2 sample size (10, 20), and level-1 sample size (15, 30). This simulation study compared parameter estimates and model fit indices across three multilevel models that ignored one or more facets of 3-level multiple membership multilevel data structure, including a conventional 3-level multilevel modeling (i.e. ignoring both random effect variance and fixed effects associated with multiple membership), a mis-specified multilevel modeling (i.e. ignoring random effect variance associated with multiple membership but correctly modeling fixed effects associated with multiple membership), and a 3-level multiple membership multilevel modeling (i.e. correctly modeling both variance and fixed effects associated with multiple membership). Ignoring a multiple membership at the intermediate level causes under-estimation of the predictor coefficient and variance components associated with the multiple membership, as well as over-estimation of variance component at level 1. Across all conditions, the selection of 3-level multiple membership random effects modeling was supported.

청소년의 그릿 및 학업열의에 대한 잠재프로파일 분류와 영향요인 검증

정혜원(Chung, Hyewon),전현정(Jeon, Hyeonjeong),김아름(Kim, Arum) 한국청소년정책연구원 2021 한국청소년연구 Vol.32 No.1

본 연구는 초등학생과 중학생의 그릿과 학업열의 수준을 확인하여 잠재프로파일을 분류하고 학교급별 잠재프로파일 구분에 영향을 미치는 다양한 개인, 부모, 친구, 교사요인을 분석하기 위해 수행되었다. 이를 위해 한국청소년정책연구원에서 수집하는 한국아동 · 청소년패널조사 2018(Korean Children and Youth Panel Survey 2018; KCYPS 2018)의 초등학교 5학년(초4패널, 2차년도) 자료와 중학교 2학년(중1패널, 2차년도) 자료를 활용하였고, 잠재프로파일 분류 및 다양한 영향요인을 검증하기 위해 잠재프로파일 분석의 3단계 접근법을 활용하였다. 이에 대한 주요 분석결과는 다음과 같다. 초등학교 5학년과 중학교 2학년 그릿 및 학업열의 잠재프로파일 유형을 도출한 결과, ‘낮은 그릿 및 학업열의 집단’, ‘중간 그릿 및 학업열의 집단’, ‘높은 그릿 및 학업열의 집단’의 3개 집단으로 구분되었다. 또한 그릿 및 학업열의 잠재프로파일 분류에 영향을 미치는 요인으로 개인요인의 주관적 성적만족도, 삶의 만족도와 교사관계(접근가능성, 신뢰성, 수용성)가 초․중학교 학교급에 관계없이 공통적인 특징을 보이는 요인으로 확인되었다. 다음으로 초등학교 5학년에서만 나타난 특징적인 영향요인으로는 부모양육태도(자율성지지)가 나타났다. 한편 중학교 2학년의 경우 개인요인의 긍정적인 창의적 성격, 긍정적 친구관계가 특징적인 영향요인으로 확인되었다. 마지막으로, 각 주요 연구결과를 중심으로 청소년의 그릿 및 학업열의를 증진시킬 수 있는 방안과 함께 본 연구의 제한점 및 후속연구를 위한 제언을 논의하였다. The purpose of this study is to classify the latent profiles of adolescents’ grit and academic engagement and to test the effect of factors which may influence the identified latent profiles. For this purpose, a latent profile analysis with a three-step approach was conducted on the data from the 2nd wave of the elementary school year 4 panel(5th grade, n = 2,471) and the middle school year 1 panel(8th grade, n = 2,590) of the Korean Children and Youth Panel Survey 2018 collected by the National Youth Policy Institute. According to the analysis, 5th and 8th graders were classified into three latent profiles : ‘low grit and academic engagement group’, ‘middle grit and academic engagement group’ and ‘high grit and academic engagement group’ respectively. In addition, 5th and 8th graders’ “subjective achievement satisfaction”, “life satisfaction”, and “relationship with teacher” and 5th graders’ “parenting attitude”, 8th graders’ “creative personality”, “positive relationship with peer” were found to be significant determinants of the identified latent profiles. Based on the results, the implications of the current study and suggestions to improve adolescents’ grit and academic engagement are discussed.

청소년의 학업성취도와 핵심역량 유형 분류 및 영향요인 검증

정혜원(Chung, Hyewon),원정은(Won, Jungeun),박소영(Park, Soyoung) 한국청소년정책연구원 2018 한국청소년연구 Vol.29 No.2

본 연구는 청소년의 학업성취도와 핵심역량 수준에 따른 이질적인 잠재계층을 분류하고, 학생, 부모, 학급, 학교변인들이 잠재집단 구분에 미치는 영향력을 탐색하는 데 그 목적이 있다. 이를 위해 「한국교육종단연구2013」(Korea Education Longitudinal Study 2013: KELS2013)의 4차년도 중학교 2학년 5,294명을 대상으로 잠재 프로파일 분석(Latent profile analysis)과 다항 로지스틱 회귀분석(Multinominal logistic regression)을 실시하였다. 청소년의 국어, 영어, 수학 학업성취도와 6대 핵심역량(자기관리역량, 지식정보처리 역량, 창의적 사고 역량, 심미적 감성 역량, 의사소통 역량, 공동체 역량)을 이용하여 잠재 프로파일 분석을 실시한 결과, 4개의 이질적인 잠재계층(최저성취-최저역량, 고성취-중간역량, 저성취-저역량, 중간성취-고역량)을 확인하였다. 이후 다항 로지스틱 회귀분석을 실시한 결과, 학생변인으로는 성별, 자아개념, 또래애착, 학생회활동, 동아리활동, 학생참여 및 방과 후 활동(운동시간, 학교숙제, 사교육, 독서, 텔레비전 시청, 집안일)이, 부모변인으로는 부모양육태도와 부모 상호작용이, 학급변인으로는 수업분위기 및 교사와의 관계가, 학교변인으로는 학교 소재지의 도시규모가 도출된 잠재계층 구분에 유의미한 영향을 미치는 변인으로 나타났다. 이러한 결과는 잠재계층에 따라 학업성취도와 핵심역량을 함양하기 위해 학생, 부모, 학급 및 학교 측면에서 다양한 개입이 필요함을 시사한다. 또한 잠재계층 별로 처방적인 활동, 교육 및 프로그램이 차별적으로 제공될 필요가 있음을 의미한다. 끝으로 본 연구의 제한점을 기술하고 이에 따른 후속연구를 위한 제언을 제시하였다. The purpose of this study was to classify latent profiles of adolescent academic achievement and core competencies and to test the effects of student, parent, class and school factors on such profiles. To do this, latent profile analysis and multinominal logistic regression analysis were applied to the 4th wave(8th grades) of data taken from the KELS2013. Based on the results of the latent profile analysis, four latent profile classes were identified: a lowest achievement-lowest competence, high achievement-middle competence, low achievement- low competence and middle achievement-high competence. Multinominal logistic regression analysis revealed that student (gender, self-concepts, peer attachments, student-council activities, student circle activities, student engagement, after school activity), parent (parenting attitude, parent interaction), class (class atmosphere, teacher relationship) and school(urban size) were relevant factors which impact upon the profiles. The findings of the current study indicated that a different level of intervention needs to be applied to the identified latent classes. Additionally, activities, education, and programs should be differentiated by the identified latent classes. Finally, the limitations of the current study and suggestions for future research were discussed.