A Logistic Crossed Multilevel Model for Analyzing Data with Binary Outcomes

Sang-Jin Kang(강상진) 한국교육평가학회 2006 교육평가연구 Vol.19 No.2

  다층모형은 지난 20여년간 교육연구방법의 중핵적인 통계방법으로 성장하였다. 다층모형 방법론자들은 다양한 다층구조를 모형에 반영하고, 또한 다양한 유형의 종속변수를 분석하기 위한 다층모형들을 개발하여 왔다. 이 연구는 전통적인 다층모형과 달리 수준-2에서 무선효과를 갖는 집단단위가 두 가지이며, 수준-1의 관찰단위는 두 가지의 수준-2 요인이 교차하여 생성하는 칸에 내재하는 구조의 자료를 분석하기에 적절한 다층모형을 제시하기 위한 것이다. 동시에 이 연구에서 제시하는 모형은 수준-1에서의 성과변수가 연속변수가 아닌 이분변수인 경우의 자료분석을 위한 다층모형이다. 새로운 유형의 다층모형을 제시하기 위하여, 이 논문은 모형의 개념을 일반화 선형모형(generalized linear model)의 관점에서 로짓 연결함수를 사용한 다층모형의 개념으로 설명하였다. 추정방법은 PQL(penalized quasi likelihood) 방법과 경험적 베이시안 관점에서 제사하였다, 로지스틱 이원 다층모형(LCMM)의 고정효과와 무선효과의 모수 추정을 위한 계산은 EM 알고리즘을 적용하였으며, 예시용 분석은 54개 학교에 근무하는 1708명의 중학교 교사들의 사회적 환경 자료를 분석하였다.   Multilevel models have become the core of educational research methods in the past two decades. Researchers studying the multilevel modeling have challenged to account for various nested structures of educational data and for the various type of outcome variables. This study is to present a new multilevel model to account for more complex data structure where level-1 units are nested within the cells cross-classified by two macro units having random effects. On the other hand, the model addresses the estimation method when the data have binary outcomes given the cross-classified multilevel structure. The conceptualization of the model is described in the perspective of generalized linear model by using logit link function and the multilevel model with crossed random effects at level-2. Estimation method is briefly presented from the Penalized Quasi Likelihood method and from an empirical Bayes viewpoint. The computation is implemented via the EM algorithm and an illustrative application of the model was performed by analyzing the data of 1708 teachers from 54 middle schools.

중학생의 수학성취도에 대한 사교육 효과를 감소시키는 교수학습활동변인 탐색

신혜숙(Shin, Hye Sook),김민조(Kim, Min-Jo) 한국교육평가학회 2010 교육평가연구 Vol.23 No.2

본 연구의 목적은 학생의 수학성취도에 대한 사교육의 효과를 검증하고, 사교육 효과를 감소시키는 교수학습활동변인을 탐색하는데 있다. 이를 위하여 한국교육개발원의 종단연구 2005 자료를 활용하여, 중학교 2학년 학생의 수학성취도가 학생들의 사교육 기간에 따라 차이가 있는지를 검증하고, 이러한 사교육 효과가 학교 간에 차이가 있는지를 검증한 후에, 사교육 효과를 줄여주는 교수학습활동변인을 탐색하였다. 그 결과, 사전성취도와 학생배경변인을 통제하고도 사교육의 기간에 따라 학업성취도에 차이가 존재하였다. 사교육의 기울기의 무선효과를 허용하는 모형을 적용한 결과 이러한 사교육 효과는 학교 간에 유의미한 차이가 있는 것으로 나타났다. 학교 수준의 교수학습활동변인 중 ‘상호작용 및 개별화 활동’ 변인이 학생의 학업성취도를 전반적으로 높이는 것으로 나타났으며, 특히 사교육을 받지 않거나 단기간동안 받은 학생들에게 더욱 효과적이었다. 즉 상호작용 및 개별화 활동은 학생들의 사교육 기간에 따라 차별적인 효과가 있었다. The purpose of this study is to analyze the effect of private tutoring on math achievement and explore school/teacher factors that can reduce the achievement gap due to different durations of private tutoring. Using first and second round KELS dataset, we investigated the effect of private tutoring on the 8th graders' math achievement, examined whether this effect varies across schools, and explored instructional factors that can reduce the effect of private tutoring. Teacher-student Interaction and individualized teaching was found to have this kind of differential effects: it promoted the overall performance while it worked better for students with no tutoring and students who had took the tutoring for only a short-term period. More studies are recommended to explore various instructional activities that ‘raise the bar and close the gap’.

국내 여행사의 광고효과 크기 추정을 위한 메타분석 연구(Ⅰ) - 전체효과(summary effect) 크기를 중심으로 -

최인묵 한국관광학회 2017 관광학연구 Vol.41 No.2

This study initially attempted to estimate the size of advertising effectiveness of travel agencies through systemic reviews, specifically by using a meta-analysis. The related articles, associated with the keywords “travel agency” and “advertisement”, discussed 17 studies based on the screening process. This was followed by an application of PRISMA group guidelines, and the materials were listed or listed in candidate journals of the Korea Citation Index (KCI) from 1996 to 2015. Data obtained from the results of the studies were transferred into Cohen's d values for the current analysis. Consequently, the summary effect of advertising effectiveness for travel agencies in South Korea was estimated to be 23% (0.23). In addition, ranges with a 95% confidence interval (CI) from the lower to the upper bounds varied from the least value of 15% (0.15) to the greatest of 30% (0.30). In order to estimate the different effects, a random-effect model was conducted due to heterogeneous attributes of the outcomes from the materials. A rank correlation test was carried out for publication bias and to satisfy the symmetrical distribution (k=17). The study suggested that the estimated 23% refers to a possibly enhanced level of involvement through advertising methods for changing customer attitudes toward intentions to buy more decisively. 본 연구는 메타분석을 사용하여 국내 여행사 광고에 대한 전체효과크기 추정을 시도하였다. 메타분석은 개별연구들에 대한 체계적 리뷰를 통해서 정량적 데이터를 추출하게 되는데, 이를 위해 메타분석 지침에 권위를 가진 PRISMA 그룹의 가이드라인을 따라 자료를 스크리닝 하였으며, 최종적으로 1996년부터 2015년 사이에 KCI등재지 또는 후보지에 게재된 논문 17편의 데이터를 추출하였다. 자료합성을 위해 추출된 데이터는 Cohen’s d 값으로 변환하였으며, 최종합성결과 개별연구들이 말해주는 한국 여행사의 광고효과에 대한 전체 크기(summary effect)는 23%(0.23)로, 95%신뢰구간(CI)을 기준으로 최소 15%(0.15)에서 최대 30%(0.30)까지 효과 크기를 가지는 것으로 나왔다. 본 메타분석에 사용된 분석모델은 개별연구의 이질성을 고려하여 무선효과 모델(random-effect model)이 적용되었으며, 또한, 출간 편의 분석(publication bias)을 위하여 순위 상관테스트를 실시, 자료의 대칭성을 만족하는 것을 확인하였다(k=17). 제안된 23%의 광고효과크기는 해석에 있어서 광고의 관여로 소비자의 구매의사 태도를 변화시킬 수 있는 범위로 해석하는 것이 바람직하다는 권고를 담았다.

비행의 원인으로서 자기통제(self­control)에 대한 메타분석(meta­analysis)

박성훈,장안식,정혜원 한국형사법무정책연구원 2022 형사정책연구 Vol.129 No.-

Gottfredson and Hirschi’s General Theory of Crime has had a profound impact in criminology, and it is one of the better known theories in criminology. This theory has accumulated numerous empirical research, and the key element(low self­control) of the theory is considered as an important predictor of all kinds of delinquent and criminal behavior across all cultures, places, and times. However, as a general theory of crime, a systematic and comprehensive analysis on the theory has not been conducted in Korea and the time seems ripe to conduct a comprehensive meta­analysis. As a meta­analysis which is a snapshot in time, the current study examined the theoretical significance and empirical validity in a substantially larger collection of peer reviewed articles focused on self­control theory in Korea. In this study, we analyzed the effect size of self­control and explored the factors that can cause the difference in the effect size among different studies. As a result of the analysis, the effect size of self­control was not only statistically significant on average, but also in the individual studies. The findings of this study provides substantial support for the low self control and crime/deviance link in the context of Korea. However, the random effects model acknowledged that there was a significant amount of difference in the effect size among studies. This study found that there are causes of difference based on gender, types of delinquency, the types of self­control scale(whether it is attitudinal or behavioral), and the data sources. The effect size tends to bigger in the female only studies, in the studies of traditional delinquent behaviors compared to studies of cyber delinquency, and the studies measured both attitude and behavior compared to the studies measured only attitude as self­control. These results reaffirm that the meta­analysis provides a new approach in the field of criminological theories, because it can test criminological theories more systematically and comprehensively but also explain the differences among the studies. 자기통제이론은 국내・외를 막론하고 수많은 경험적 연구성과를 축적한 이론으로서 청소년비행은 물론 범죄와 일탈을 예측하는 중요한 요인으로 평가받고 있다. 그러나 ‘일반이론’으로서 자기통제이론에 대한 체계적이고 종합적인 분석은 여전히 연구의 공백으로 남아 있다. 이 연구는 자기통제이론이 함축하고 있는 이론적 중요성, 경험적 타당성에도 불구하고 개별 연구를 종합하는 메타연구가 부재하다는 사실에 주목하여 그동안 국내에서 발표된 연구를 수집하여 메타분석을 실시하였다. 이를 위해 자기통제가 비행에 미치는 효과크기를 분석하고, 연구마다 효과크기가 다르다면 어떤 요인에 의해 차이가 발생하는지 살펴보았다. 분석 결과, 자기통제의 평균 효과크기는 통계적으로 유의미할 뿐 아니라 개별 연구의 효과크기도 대부분 통계적으로 유의미한 것으로 나타났다. 이는 국내 청소년비행을 설명하는 데 있어 자기통제이론이 충분한 경험적 타당성을 지닌다는 점을 보여준다. 하지만, 효과크기에 대한 무선효과모형을 적용한 결과 개별 연구마다 효과크기는 상당한 차이가 있는 것으로 나타났다. 개별 연구의 효과크기는 성별유형, 비행유형, 척도유형, 자료생산기관에서 유의미한 차이가 발견되었다. 즉, 남녀 모두 조사한 연구보다 여자만 조사한 연구일수록, 디지털기술을 이용한 사이버비행보다 음주, 흡연, 가출, 절도, 협박 등 전통적인 비행유형일수록, 태도만 측정한 연구보다는 태도와 행위를 모두 측정한 연구일수록 자기통제의 효과가 더 높은 것으로 나타났다. 이러한 결과는 메타분석이 다양한 범죄학이론을 검증하기 위해 축적된 연구성과를 체계적이고 종합적으로 분석할 수 있을 뿐 아니라 개별 연구의 차이까지도 설명할 수 있는 새로운 연구 지평을 제시하는 접근방법이라는 사실을 재확인시켜 준다.

교육생산성에 미치는 요인에 대한 종단분석:학급규모를 중심으로

권용재,이광현 한국교육재정경제학회 2010 敎育財政 經濟硏究 Vol.19 No.4

We analyze the effects of educational inputs on students' academic achievements measured by scores of Korean, English, and Mathematics using the Korea Educational Longitudinal Study (KELS) data from 2005 to 2007. To implement the analysis, we use random effect model which is widely used for longitudinal data in economics. Through the analysis, we found that variables related to family background such as parents' income and parents' educational levels were significantly related to students' academic performances. Variables of teachers such as teachers' passion and degrees of educational training were also significantly related to the three test scores. It was interesting that coefficients on class size and squared class size variables were both statistically significant and that the coefficient on the class size was negative while the squared class size was positive. This result is similar to that reported in Kim and Han(2004). Why academic achievements start to increase when the class size reaches a certain level should be investigated by future research. We also found that expenditures on teaching and learning per student and on school education per student both were statistically insignificant variables. This finding partly contrasts with the one in Woo(2010). Similar to Woo(2010), however, we found that the expenditure on school education per student was not significant. This implicates that increases in expenditure on schools do not directly affect academic performances. This means that funds for schools and teachers should be used effectively for those related to students' academic achievements, for example, for enhancing teachers'passion and students' self-efficacy. 본 연구에서는 한국교육개발원의 한국교육종단조사(KELS) 1~3차년도 데이터를 사용하여 학급규모를 중심으로 한 교육투입요소들이 학생들의 국어,영어, 수학의 각 과목별 학업성취도에 미치는 영향을 분석하였다. 분석방법으로는 종단자료 분석에 많이 이용되는 무선효과모형(random effect model)을 이용하였다. 분석결과 학생의 가정배경변인, 부모의 교육수준과 소득수준의 학업성취도에 미치는 영향력이 높게 나타났다. 이 연구의 중요한 분석주제인 학교의 학급규모, 교사자원과 관련해서는 학생들이 인식한 교사의열의와 지식 변수가 국어, 영어, 수학 세 과목에서 대체로 일관되게 통계적으로 유의한 긍정적인 영향을 미치는 것으로 나타났다. 학급규모의 경우는제곱값의 변수를 동시에 투입해본 결과 일부 유의하게 나왔으며 학업성취도와의 관계가 세 과목에서 모두 U-모양인 것으로 나타나고 있었다. 이는김영철·한유경(2004)의 연구결과와 유사하지만 학급규모가 일정시점이상에서 증가할 경우 왜 학업성취도가 증가하는지에 대해서 추가적인 연구가 필요할 것으로 보인다. 한편 학생 1인당 교수학습비와 학생 1인당 학교교육비는 통계적으로 유의하지 않게 나타나고 있어서 우명숙(2010)의 연구결과와다소간 차이가 나고 있다. 이는 향후 추가 연구가 필요하겠지만 우명숙(2010)의 연구결과에서도 학생 1인당 학교교육비가 통계적으로 유의하지 않은 동일한 결과를 놓고 보면 단순한 학교교육비의 증가가 자동적으로 성취도의 증가로 이어지지 않음을 시사하며 더욱 효율적인 재정활용, 즉 교사의열의증진, 학생의 자기효능감 증진 등을 위한 방향으로 재정이 투자되어야함을 시사해주고 있다.

입학사정관제 전형 입학생들과 일반전형 학생들의 대학생활 비교 분석

이광현(Kwanghyun Lee),권용재(Yongjae Kwon) 고려대학교 교육문제연구소 2014 敎育問題硏究 Vol.27 No.2

본 연구에서는 한국교육개발원의 한국교육종단조사 7~8차년도 데이터를 사용하여 입학사정관제로 입학한 학생들과 일반전형으로 입학한 학생들간의 대학생활에 대한 비교 분석을 수행하였다. 연도별 중다회귀분석결과에서는 2011년도와 2012년도 모두 동일하게 학점만 통계적으로 유의하게 입학사정관제 입학생들이 낮게 나타났다. 그리고 경향점수매칭 분석결과에서는 2011년도에는 모든 종속변인들에 대해 통계적으로 유의하지 않게 나타나고 있었으며 2012년도에만 학점만 통계적으로 유의하게 낮게 나타나고 있었다. 한편 자료를 통합(pooling)하여 분석한 결과 중다회귀분석결과와 무선효과 모형 모두 통계적 유의성이 2011년도와 동일하게 학점에서만 유의하게 입학사정관제 입학생들이 낮은 것으로 나타났다. 경향점수매칭 모형 분석에서도 입학사정관 입학생들의 학점이 통계적으로 유의하게 낮은 것으로 나타났으며 2011년도와 2012년도 자료를 분리해서 분석한 결과와 동일하게 모든 대학생활관련 변인들에 입학사정관 입학여부가 통계적으로 유의하지 않은 것으로 나타났다. 이는 최석준, 김병수(2010)의 연구와 다소간 다른 분석결과로서 입학초기에는 입학사정관제 입학생들과 일반전형 입학생 간의 성취도의 차이가 1년이 지난 시점에서도 존재하고 있음을 시사해주고 있다. 한편으로는 입학사정관 전형 학생들이 일반 전형 입학생들과 비교해서 대학만족도 향상, 휴학, 자퇴 등이 감소 등이 이루어질 것이라 보았으나 이는 통계적으로 유의하지 않게 나타났다. 따라서 입학사정관제의 성과가 단기적으로는 나타나고 있지는 않은 상황이며 이는 대학이 입학사정관으로 입학한 학생들의 학습욕구, 동기 등을 잘 추수지도 하지 못하는 측면에 기인하는 것으로 여겨진다. We analyze university life of students admitted by the admission officer system (AOS hereafter) using Korean Education Longitudinal Study (KELS) database. Dependent variables are (1) school life satisfaction, (2) GPA, (3) intention to transfer, (4) intention to change major, (5) intention to take time off from school and (6) intention to drop out of school. Running multiple regressions, we find that the GPA of students admitted by AOS is significantly lower than the GPA of students admitted by non-AOS in 2011 and 2012 samples. However, we cannot find evidence that there is any difference in other variables between students admitted by AOS and students admitted by non-AOS. Applying propensity score matching to the dataset, we find that AOS variable is not statistically significant to all dependent variables in 2011 sample. In 2012 sample, however, AOS variable is statistically significant only to GPA. Applying multiple regressions and random effect model to pooled sample, we find that the GPA of students admitted by AOS is significantly lower than that of students admitted by non-AOS. Applying propensity score matching to the same sample, we find that there is no significant difference in all dependent variables between students admitted by AOS and students admitted by non-AOS. These results show that academic achievement between AOS and non-AOS students starts to differ not from freshman year but from sophomore year. This finding is quite different from that reported in Choi and Kim(2010). Our finding highlights that follow-up service is needed to students admitted by AOS. Also, we cannot find evidence that there is a significant difference in school life satisfaction, intention to change major and intention to drop out of school between AOS and non-AOS students. Based on the results, we conclude that the admission officer system has not succeed to produce outcomes yet. This is partly because university fails to provide follow-up service to students admitted by AOS properly.

서울시 고3학생들의 수학성취에 대한 개인 및 중·고등학교수준 영향요인 검증 : 교차분류무선효과 모형의 적용

노언경 ( No Unkyung ),임혜정 ( Lim Hyejung ),손수경 ( Son Soo Kyoung ),김수혜 ( Kim Suehye ) 안암교육학회 2020 한국교육학연구 Vol.26 No.2

본 연구는 서울시 학생들의 학업성취 영향요인을 개인 및 학교수준에서 보다 면밀히 파악하기 위해 수행되었다. 이를 위해 서울교육종단연구 초등학교 4학년 패널 4∼9차년도 자료를 활용하여 중학교와 고등학교 학교급을 동시에 고려한 교차분류무선효과모형(CCREM: Cross-Classified Random Effect Model)을 적용하였다. 본 연구는 중등교육의 최종 성취도인 고등학교 3학년 수학성취도에 대해 개인수준 및 중학교와 고등학교의 학교수준 요인의 영향력을 다음과 같이 확인하였다. 먼저, 고등학교 3학년 수학성취에 고등학교 시기의 사교육 시간과 자기주도학습이 긍정적인 영향을 미치는 반면, 중학교 시기의 교우관계와는 부적인 관련이 있음을 확인하였다. 또한, 고등학교 시기에 교사의 학생성취에 대한 기대 및 학교수준의 학생들의 학습태도 및 분위기가 고등학교 3학년 수학성취에 긍정적 영향을 미치는 것을 확인하였다. 이러한 결과를 토대로 본 연구는 서울시 학생들의 학업성취 격차 관련 학술적·정책적 시사점을 심도 있게 논의하였다. This study aims to identify individual and school related factors associated with academic achievement of students in Seoul city using data from 4th wave to 9th wave of the 4^th-grade panel in Seoul Education Longitudinal Study of 2010(SELS: 2010). In particular, we apply the Cross-Classified Random Effect Model(CCREM) into unpacking the black box of achievement gap from a detailed perspective of the input- Process-output model in which various factors affect the academic achievement at both individual and school levels. Because the SELS 2010 cohort students were cross-classified by the middle school as well as by the high school, the CCREM approach properly accounts for the cross-classified data structure. Drawing on a methodological rigor of the CCREM, our study analyzes multiple membership random effects on the academic achievement of students in Seoul city. Key findings of our study demonstrate that mathematics achievement of 12th graders is significantly associated with to what extent students have spent in private tutoring during their high school years. Also, self -directed learning ability is closely related to the high achievement of the mathematics assessment in the SELS 2010. Meanwhile, those with a strong peer attachment in the middle school years are likely to show a low achievement of the mathematics assessment. In terms of school effect, we find that teacher’s expectations and school climate seriously matter for mathematics achievement. Based on these results, we further discuss the implications for reducing achievement gap in Seoul city.

A Simulation Study on Cross-classified Multiple Membership Random Effects Modeling Estimation

정혜원(Hyewon Chung),전현정(Hyeonjeong Jeon),박소영(Soyoung Park) 한국교육학회 2023 敎育學硏究 Vol.61 No.3

서울시 학생들의 수학성취에 대한 개인 및 학교수준 영향요인 검증: 교차분류무선효과 모형의 적용

노언경,임혜정,손수경,김수혜 안암교육학회 2020 한국교육학연구 Vol.26 No.2

This study aims to identify individual and school related factors associated with academic achievement of students in Seoul city using data from 4th wave to 9th wave of the 4th grade panel in Seoul Education Longitudinal Study of 2010(SELS: 2010). In particular, we apply the Cross Classified Random Effect Model(CCREM) into unpacking the black box of achievement gap from a detailed perspective of the input process output model in which various factors affect the academic achievement at both individual and school levels. Because the SELS 2010 cohort students were cross classified by the middle school as well as by the high school, the CCREM approach properly accounts for the cross classified data structure. Drawing on a methodological rigor of the CCREM, our study analyzes multiple membership random effects on the academic achievement of students in Seoul city. Key findings of our study demonstrate that mathematics achievement of 12th graders is significantly associated with to what extent students have spent in private tutoring during their high school years. Also, self directed learning ability is closely related to the high achievement of the mathematics assessment in the SELS 2010. Meanwhile, those with a strong peer attachment in the middle school years are likely to show a low achievement of the mathematics assessment. In terms of school effect, we find that teacher’s expectations and school climate seriously matter for mathematics achievement. Based on these results, we further discuss the implications for reducing achievement gap in Seoul city. 본 연구는 서울시 학생들의 학업성취 영향요인을 개인 및 학교수준에서 보다 면밀히 파악하기 위해 수행되었다. 이를 위해 서울교육종단연구 초등학교 4학년 패널 4∼9차년도 자료를 활용하여 중학교와 고등학교 학교급을 동시에 고려한 교차분류무선효과모형(CCREM: Cross Classified Random Effect Model)을 적용하였다. 본 연구는 중등교육의 최종 성취도인 고등학교 3학년 수학성취도에 대해 개인수준 및 중학교와 고등학교의 학교수준 요인의 영향력을 다음과 같이 확인하였다. 먼저, 고등학교 3학년 수학성취에 고등학교 시기의 사교육 시간과 자기주도학습이 긍정적인 영향을 미치는 반면, 중학교 시기의 교우관계와는 부적인 관련이 있음을 확인하였다. 또한, 고등학교 시기에 교사의 학생성취에 대한 기대 및 학교수준의 학생들의 학습태도 및 분위기가 고등학교 3학년 수학성취에 긍정적 영향을 미치는 것을 확인하였다. 이러한 결과를 토대로 본 연구는 서울시 학생들의 학업성취 격차 관련 학술적・정책적 시사점을 심도 있게 논의하였다.

자유학기제가 중학생 역량 향상에 미치는 효과

황지원 핵심역량교육학회 2019 핵심역량교육연구 Vol.4 No.2

This study is designed to examine the capabilities of middle school students through a free semester satisfaction survey and explore various changes in student and school level that affect them. To this end, the results of the Free Semester Satisfaction Survey (pre-post-examination) were re-analyzed for the first time since the free semester system was fully implemented in all middle schools in 2016. Three competencies of future preparation, self-efficacy and career ability were established and analyzed based on students' competencies. In particular, the variance of competencies was divided at the student level and the school level, and analysis was conducted using a hierarchical linear model. The results of the analysis show that, first, the value of all competency variables has improved since the implementation of the free semester system. Second, most competency variations had a distribution of about 10 to 13 percent between schools. Third, activities such as satisfaction of classes, participating in classes, teacher relationships, friendships, and career exploration activities at the student level were mostly affecting the improvement of student competency. Fourth, school-level variables showed different effects, with the higher teachers' awareness of their competencies, the higher the self-efficacy of students, and the more students in townships, the more self-efficacy. Fifth, the random effects analysis showed that the school-level variables had a significant effect on the future capacity of friends in urban areas. Through these results, we presented suggestions such as establishing a customized operation strategy based on the effects of school-level changes, attention to student-course variation, monitoring of continuous school-level variations, and activating student competency diagnosis and related research. 본 연구는 자유학기제 운영만족도 조사를 통해서 중학생들의 역량을 검토하고, 여기에 영향을 미치는 학생 및 학교 수준의 변인들을 다양하게 탐색해 보기 위한 연구이다. 이를 위해 2016년에 모든 중학교에서 자유학기제가 전면시행된 후 처음으로 실시한 자유학기제 운영만족도 조사 결과(사전-사후 검사)를 재분석하였다. 학생의 역량을 중심으로 미래준비역량, 자기효능감, 진로역량의 세 가지 역량을 설정하여 분석하였으며, 특히 정책의 속성상 학교를 대상으로 하여 이루어진다는 점에 주목하여, 역량의 분산을 학생 수준과 학교 수준으로 분리하여 위계적 선형모형을 활용하여 분석을 실시하였다. 분석 결과를 보면, 첫째, 자유학기제 시행 이후 모든 역량 변인의 값이 향상된 것으로 나타났다. 둘째, 대부분의 역량 변인들은 약 10~13% 정도의 학교 간 분산을 갖고 있었다. 셋째, 학생 수준에서 수업만족, 수업참여, 교사관계, 교우관계, 진로탐색활동 등의 활동은 대부분 학생 역량 향상에 영향을 미치고 있었다. 넷째, 학교 수준의 변인들은 변인별로 상이한 효과를 보였는데, 교사들이 자신의 역량을 높게 인식할수록 학생들의 자기효능감이 높았고, 읍면지역의 학생일수록 자기효능감이 높은 것으로 나타났다. 다섯째, 종속변인에 대한 무선효과 분석 결과, 읍면지역일수록 교우관계가 미래준비역량에 미치는 영향이 큰 것으로 나타나는 등 학교 수준 변수의 차별적 효과가 나타나고 있었다. 이러한 결과를 통해 학교 수준 변인의 효과에 따른 맞춤형 운영 전략 수립, 학생 과정 변인에 대한 주목, 지속적인 학교 수준 변인의 모니터링, 학생 역량 진단 및 관련 연구의 활성화 등의 시사점을 제시하였다.