다층맥락모형과 다층성장모형 간 학교부가가치 모수 추정의 정확성 비교

이민호(Min-Ho Lee),강상진(Sang-Jin Kang),이규민(Guemin Lee) 한국교육평가학회 2018 교육평가연구 Vol.31 No.1

본 연구는 대표적 부가가치모형인 다층맥락모형(Multilevel Contextual Model; CM)과 다층성장모형 (Multilevel Growth Model; GM)의 학교 부가가치 모수 추정의 정확성을 비교한 모의실험 연구이다. 모의 실험의 상황을 실제 학교평가 상황과 유사하도록, 고정효과와 무선효과 모수값의 선정단계에서 전국 표본인 『한국교육종단연구 2005(KELS: 2005)』자료를 참조하였다. 모의실험을 통하여, 네 가지 부가가치 모형을 비교하였다: 다층맥락 기초모형(Unconditional Multilevel Contextual Model), 다층맥락 연구모형 (Conditional Multilevel Contextual Model), 다층성장 기초모형(Unconditional Multilevel Growth Model), 다층성장 연구모형(Conditional Multilevel Growth Model)이다. 또한 모추 추정의 정확성 평가 준거로 부가가치 모수 추정량의 양호도, 부가가치 모수와의 유사성, 그리고 등급 분류의 정확성을 활용하였다. 특히, 다층맥락모형과 다층성장모형의 차별적 요소인 자료의 반복측정횟수와 모형의 구조적 차이 중 어느 부분이 부가가치 모수 추정의 정확성에 더 큰 영향을 미치는 요인인지 확인하기 위해 다층성장모형은 3시점과 6시점 모형을 비교하였다. 연구 결과 다층성장모형이 다층맥락모형보다 부가가치 모수 추정에서 높은 정확성을 보이며, 두 모형의 구조적 차이가 모수 추정의 정확성에 더 큰 영향을 주는 요인으로 나타났다. 마지막으로 모형 간 부가가치 모수 추정의 정확성은 세 가지 평가준거에서 같은 경향을 보였다. This simulation study compared Multilevel Contextual Models(CM) and Multilevel Growth Models(GM) in the accuracy of the estimates for value-added school effects. This study compared four models specifically: which are Unconditional Multilevel Contextual Model, Conditional Multilevel Contextual Model, Unconditional Multilevel Growth Model, and Conditional Multilevel Growth Model. The study examined each of the four models by using the goodness of estimator, the similarity and the classification accuracy with predetermined parameter values. More specifically, this study compared the GM with three and six repeated measures along with CM in order to find out which was the more influential factors on the accuracy of the estimates between the number of repeated measures and the structural differences in the model specification. The results showed that GM is more accurate than CM in the estimates for value added school effects, and which is consistent both in the unconditional and in the conditional model. The structural difference of model specification was more influential factor on the accuracy of the estimates for value added school effects than the number of repeated measures. Moreover, the trends of the accuracy differences between the estimates from the models under comparison were consistent across the three criteria.

다중소속 다층자료에 대한 모형의 명세화 오류 연구

정혜원(Hye won Chung) 한국교육평가학회 2016 교육평가연구 Vol.29 No.4

본 연구는 교차분류 다중소속 다층모형을 소개하고, 교차분류 다중소속 다층자료에 대한 명세화 오류가 모수추정에 미치는 영향을 연구하였다. 구체적으로, 본 모의실험 연구는 이러한 교차분류 다중소속 다층자료의 특성을 무시하는 두 가지 다층모형(전통적 다층모형, 교차분류 다층모형)을 적용할 경우 발생되는 모수추정치의 상대편의성을, 교차분류 다중소속 다층자료를 올바르게 모형화한 교차분류 다중소속 다층모형의 모수추정치의 상대편의성과 비교하였다. 모의실험 결과 전통적 다층모형과 교차분류 다층모형을 적용하였을 경우, 다중소속과 관련된 고정효과가 상대적으로 과소 추정되었다. 임의효과 분산추정값은 교차분류 다중소속 다층자료의 특성을 올바르게 추정하지 못할 경우, 심각한 상대편의성이 발생하였다. 또한 모형적합도를 비교한 결과 모든 실험조건에서 준거모형인 교차분류 다중소속 다층모형이 비교모형인 두 가지 다층모형보다 교차분류 다중소속 다층자료에 더 적합한 것으로 나타났다. This study introduced a cross-classified multiple membership multilevel model and investigated the effects of mis-specifying cross-classified multiple membership multilevel data structure in multilevel modeling estimation. The simulation study compared the relative parameter biases across three multilevel models that ignored one or more facets of a cross-classified multiple membership multilevel data structure, including a conventional multilevel model and a cross-classified multilevel model to the biases of the correctly specified cross-classified multiple membership multilevel model. The results were as follows. The fixed effect associated with multiple membership exhibited negative biases under the conventional multilevel model and cross-classified multilevel model. Variance component estimates were substantially biased when any facet of the cross-classified multiple membership multilevel data structure was incorrectly modeled. Additionally, model fit values using deviance information criterion supported the cross-classified multiple membership multilevel model over the two multilevel models across all conditions.

A Logistic Crossed Multilevel Model for Analyzing Data with Binary Outcomes

Sang-Jin Kang(강상진) 한국교육평가학회 2006 교육평가연구 Vol.19 No.2

  다층모형은 지난 20여년간 교육연구방법의 중핵적인 통계방법으로 성장하였다. 다층모형 방법론자들은 다양한 다층구조를 모형에 반영하고, 또한 다양한 유형의 종속변수를 분석하기 위한 다층모형들을 개발하여 왔다. 이 연구는 전통적인 다층모형과 달리 수준-2에서 무선효과를 갖는 집단단위가 두 가지이며, 수준-1의 관찰단위는 두 가지의 수준-2 요인이 교차하여 생성하는 칸에 내재하는 구조의 자료를 분석하기에 적절한 다층모형을 제시하기 위한 것이다. 동시에 이 연구에서 제시하는 모형은 수준-1에서의 성과변수가 연속변수가 아닌 이분변수인 경우의 자료분석을 위한 다층모형이다. 새로운 유형의 다층모형을 제시하기 위하여, 이 논문은 모형의 개념을 일반화 선형모형(generalized linear model)의 관점에서 로짓 연결함수를 사용한 다층모형의 개념으로 설명하였다. 추정방법은 PQL(penalized quasi likelihood) 방법과 경험적 베이시안 관점에서 제사하였다, 로지스틱 이원 다층모형(LCMM)의 고정효과와 무선효과의 모수 추정을 위한 계산은 EM 알고리즘을 적용하였으며, 예시용 분석은 54개 학교에 근무하는 1708명의 중학교 교사들의 사회적 환경 자료를 분석하였다.   Multilevel models have become the core of educational research methods in the past two decades. Researchers studying the multilevel modeling have challenged to account for various nested structures of educational data and for the various type of outcome variables. This study is to present a new multilevel model to account for more complex data structure where level-1 units are nested within the cells cross-classified by two macro units having random effects. On the other hand, the model addresses the estimation method when the data have binary outcomes given the cross-classified multilevel structure. The conceptualization of the model is described in the perspective of generalized linear model by using logit link function and the multilevel model with crossed random effects at level-2. Estimation method is briefly presented from the Penalized Quasi Likelihood method and from an empirical Bayes viewpoint. The computation is implemented via the EM algorithm and an illustrative application of the model was performed by analyzing the data of 1708 teachers from 54 middle schools.

경향점수 추정 모형에 따른 매칭 및 인과효과 검정 결과 비교 : 다층자료의 모의분석

송승원(Seungwon Song),강상진(Sang-Jin Kang),이규민(Guemin Lee) 한국교육평가학회 2015 교육평가연구 Vol.28 No.3

이 연구는 경향점수의 추정과 인과효과 검정에서 분석 자료의 다층구조가 미치는 영향을 밝히고자 하였다. 동일한 모집단에서 반복 표집하여 생성한 모의표본 자료를 분석하는 실험을 통하여, 다층구조를 무시한 로지스틱 모형과 다층구조를 반영하는 로지스틱 다층모형으로 각각 추정한 경향점수에 어떠한 차이가 있는지 밝히고, 추정된 경향점수를 바탕으로 진행되는 경향점수매칭 및 인과효과 검정결과에서 어떠한 차이가 있는지 알아보았다. 연구 결과, 로지스틱 다층모형으로 추정된 경향점수가 로지스틱 모형으로 추정된 경향점수보다 더 큰 변산을 갖는 것으로 나타났으나, 해당 경향점수를 기준으로 매칭된 처치집단과 통제집단의 사례 수는 로지스틱 모형의 경우보다 더 작았다. 매칭 후 경향점수, 학교 및 학생수준 공변수의 처치집단과 통제집단 동등성 정도는 학생수준 공변수의 경우 로지스틱 모형이, 학교수준 공변수의 경우 로지스틱 다층모형이 두 집단의 분포를 보다 유사하게 만드는 효과가 있었다. 마지막으로 실시한 인과효과 검정 결과, 로지스틱 다층모형의 경우 대다수의 데이터 세트에서 처치효과가 없었다고 분석된 반면, 로지스틱 모형의 경우 100개의 데이터 세트 모두 처치효과가 있다고 분석되었다. 따라서 인과효과를 분석하고자 하는 비실험연구의 데이터가 위계적 구조의 자료인 경우, 두 모형은 전혀다른 결론에 도달한다는 증거가 발견되었다. 이 연구의 결과에서는 로지스틱 모형과 다층로지스틱 모형의 선택은 분명하지 않으며, 두 모형에 의한 교차타당화 작업이 요청된다. 또한 경향점수 추정에서 모형의 적절성을 평가할 수 있는 모의실험이 필요하다. This study examined the effect of multilevel structure of data on the estimation of propensity score and causal inference. By analyzing multilevel data sets repeatedly sampled 100 times from the statistically recovered population data, we investigated the differences of matching and those of causal inference when the logistic multilevel- and regression model were applied in estimating the propensity score. The results indicated that the distributions of propensity scores, and the number of matched data sets all differ when the propensity scores were estimated by the two models. In the case of matching students level covariates, logistic regression model performed better than logistic multilevel model in matching the covariate distributions between treatment and control groups. However, in case of school level covariates, we found the opposite results, in which multilevel model performed better. The results also showed two models influenced differently on the causal inference. Therefore this study reports that two models lead to different conclusion in causal inference via propensity score matching under the circumstance when the data are hierarchical. We suggest that cross validation is needed when causal inference is made based on propensity score matching in the analysis of multilevel data. Also, it is necessary to conduct a simulation study in order to evaluate the adequacy of a model to estimate the propensity score.

모의실험을 이용한 3-수준 다층성장모형과 3-수준 다중소속다층성장모형의 비교

정혜원,전현정 충남대학교 교육연구소 2015 교육연구논총 Vol.36 No.3

This study was investigated the impact of mis-specifying facets within 3-level multiple membership multilevel data structures. Multiple membership multilevel data structures are commonly encountered in longitudinal datasets but ignored in traditional hierarchical linear growth modeling analyses. This simulation study compared the relative biases and model fit indexes from the 3-level hierarchical linear growth models to those from correctly specified 3-level multiple membership multilevel growth models. The manipulated conditions were: multiple membership rate (10%, 20%), number of students per school (50, 100), and number of schools (100, 200). The results revealed the under-estimation of level-three variance components but also the over-estimation of level-two as well as level-one random effect variance components when the multiple membership data structure was ignored. The model fit values using deviance information criterion supported 3-level multiple membership multilevel growth models over traditional hierarchical linear growth modeling across all conditions. 본 연구는 3-수준 다중소속 다층자료의 명세화 오류 영향을 연구하고자 하였다. 종단연구에서 흔히 발생하는 다중소속 다층자료 구조는 전통적인 다층모형에서는 적절하게 모형화 될 수 없다. 이 모의실험 연구에서는 3-수준 다중소속 다층자료를 무시한 전통적인 3-수준 다층성장모형과 다중소속을 모형화한 3-수준 다중소속다층성장모형의 상대편의성 및 모수적합도를 비교하였다. 본 연구의 목적을 수행하기 위해 다중소속비율 (10%, 20%), 2-수준 표본크기 (50, 100), 3-수준 표본크기 (100, 200)의 조건들이 고려되었다. 모든 실험조건에서 두 모형의 고정효과의 추정에서는 상대편의가 나타나지 않았다. 그러나 다중소속 다층자료가 무시되었을 경우, 3-수준 무선효과 분산이 과소 추정되는 반면, 2-수준과 1-수준 무선효과 분산은 과대 추정되는 상대편의가 나타났다. 모든 실험조건에서, 3-수준 다중소속다층성장모형의 모형적합도(Deviance Information Criterion)가 3-수준 다층성장모형보다 더 적합한 것으로 나타냈다.

비선형 다층모형에 의한 다차원 문항반응 자료 분석

이명애(Lee Myung-Ae),민경석(Min Kyung-Seok) 한국교육평가학회 2006 교육평가연구 Vol.19 No.2

  비선형 다층모형을 이용한 검사자료의 분석은 문항 특성과 피험자 특성을 추정할 뿐만아니라 피험자의 배경 변수를 통제할 수 있다는 점에서 기존의 문항반응이론으로 대표되는 측정모형과 비교하여 장점을 갖는다. 그러나 현재까지 비선형 다층모형에 의한 문항 분석은 전통적인 일차원 모형에 제한되어왔다. 이 연구에서는 일차원 비선형 다층모형을 확장하여 다차원 비선형 다층모형에 의한 문항분석 방법을 제시하였다. 문항분석을 위해 문항모수와 능력모수를 추정하는 모형과 능력모수에 영향을 미치는 피험자의 배경 변수의 효과를 알아보기 위한 모형 등 두 가지 모형을 설정하였다. 또한 다차원 비선형 다층모형에 의한 문항분석 방법의 타당성을 검증하기 위해 청소년 직업 적성검사 자료를 비선형 다층모형뿐 아니라 다차원 문항반응모형을 적용하여 분석 결과를 비교하였다. 자료 분석 결과, 다차원 비선형 다층모형과 다차원 문항반응 모형은 문항모수와 능력모수를 동등하게 추정하였으며, 이러한 결과는 비선형 다층모형에 의한 다차원 검사자료 분석이 가능함을 나타낸다. 더 나아가 배경 변수를 포함한 다층모형에 의한 분석 결과와 일차원 모형과 이차원 모형의 능력모수 추정 결과 비교를 통하여 다차원 비선형 다층모형에 의한 보다 상세한 검사자료 분석이 가능함을 보였다.   In order to analyze item response data, hierarchical nonlinear model has a merit in that examinee"s background variables can be included into the model to explain the true variance of ability parameters, which are considered as having random effects rather than fixed effect as in the case of the conventional item response model. However, analyzing item response data via hierarchical nonlinear model has been limited to the unidimensional model.<BR>  This study aims to illustrate the ways of applying hierarchical nonlinear models to the analysis of multidimensional testing data. We analyzed multidimensional testing data via hierarchical nonlinear models and compared the results of the multidimensional hierarchical nonlinear model with those of the multidimensional item response model. To show empirical evidences for the equivalence of the two models, the data of the standardized vocational aptitude test for adolescents were analyzed. The results by the HLM and NOHARM showed that item parameter and person parameter estimates were virtually the same. It means that hierarchical nonlinear models can be applied to the analysis of multidimensional testing data. Also, by including examinee"s background variables, it showed that the effects of examinee"s background variables on their abilities in each dimension can be analyzed. Finally, we compared unidimensional model and multidimensional model and it showed that multidimensional model could provide more detail information on examinees in terms of ability parameter estimates.

조직 연구에서 다층모형 적용에 관한 고찰

손성철(Son, Sung Chul),정범구(Chung, Beom Ku),주지훈(Joo, Ji Hoon) 한국인적자원관리학회 2013 인적자원관리연구 Vol.20 No.3

이 연구의 목적은 위계적 선형모형의 원리와 활용 방법 그리고 제한사항과 극복 방안을 제시하는 것이다. 조직 연구는 구조적 특성상 구성원이 조직 수준의 다른 변수에 영향을 받는 것이 일반적이다. 그리고 상이한 수준의 변수 간의 관계를 분석하기 위하여 전통적인 분석 방법(예: 분산분석, 회귀분석모형 등)을 적용하는데 한계가 있다. 그러나 위계적 선형모형(HLM)은 전통적 분석 방법의 제한사항을 극복할 수 있는 장점이 있다. 따라서 이 연구는 개인과 조직 수준의 변수로 구성된 다층모형의 기본원리에 대한 설명과 다층모형으로서의 위계적 선형모형을 활용한 가설 검증 방법을 예를 들어 제시하였다. 조직과 조직 구성원의 행위에 관한 연구는 분석 수준의 해석에 따라 개인주의적 오류나 혹은 생태학적 오류를 가져올 수 있다. 그러나 위계적 선형모형을 활용하면 개인과 조직 수준의 변수가 혼합된 다층연구에서 이러한 오류를 줄일 수 있다. 그리고 위계적 선형모형을 활용하여 개인수준과 조직수준 변수의 상호작용 효과를 확인할 수가 있고, 다층 혼합구조에서 오는 분석수준 이슈를 줄일 수 있을 것이다. 따라서 이 연구는 개인과 조직의 다층 연구에서 조직의 효과를 확인할 수 있어서 조직연구에 대한 보다 정교한 이론적 실무적 함의를 제공한다. 그러나 위계적 선형모형의 적용을 위하여 연구 자료의 구조와 연구 대상의 구조가 다층구조인가를 고려하여야 하고, 분석 과정이 엄격히 관리되어야 하며 어떤 분석 방법이 적절한 통계분석 방법인지를 고려하여야 한다. 따라서 위계적 선형모형의 강점과 약점을 이해하여 위계적 선형모형의 분석이 필요한 모형인지를 판단하여야 한다. 위계적 선형모형이 필요하다면 편차변환(centering)과 상호작용효과의 의미 및 통계적 검정력 확보를 위한 수준별 표본의 크기를 고려하여야 한다. This study introduces the logic of hierarchical linear model(HLM) which is used in organizational research. It discussed the considerations and suggest the method how to break the limitations. Organizational research is general that member is influenced by structural characteristics of organization. Traditional method for examples regression analyzation limited in cross level analyzing. But HLM has the advantage of analyzing the cross level research model. This research provide the example with multi level model consisting of personal lebel variable and organizational level variable. There is individualistic fallacy or ecological fallacy in the organization and organizational behaviour study according to interpreting of variable level. HLM is reduce the misinterpreting of analysing outcomes. The analysing using HLM can be tested cross effect between the personal level and organizational level. Also it can be reduced the level issues. So this research suggest theoretical and practical implications. But data structure is to be multi level, the analyzing process is strictly to be managed for the applying the HLM. it must consider which method is suitable for data analysing. if HLM is required, centering or not, the meaning of cross effects between the level, sample size for secure the statistical power each levels should be checked. First of all, It is important thing for the applying the HLM that the strength and weakness of HLM should be understood for applying HLM

교육행정학 연구에서 다층모형 활용실태와 비판적 성찰

송경오 한국교육행정학회 2022 敎育行政學硏究 Vol.40 No.5

In the field of educational administration, the main research subjects of which are educational organizations, the use of multi-level model that can predict causal relationships by reflecting nested or hierarchical organizational characteristics is gradually increasing. This study aims to analyze how the multi-level model has been used in the previous studies and to critically reflect on its use in the study of educational administration. For this purpose, this study first investigated research papers published in the The Journal of Educational Administration for the last 22 years (2000~2022) (Volume 20, No. 1 ~ Volume 40, No. 2) and selected 58 studies adopting multi-level models. Analyses were conducted by 9 criteria established based on theoretical backgrounds, research methods, analyses, and result presentations. The results of analyses show that the research using the multi-level model is rapidly increasing in higher education as well as elementary and secondary education. In particular, that 74% of research papers analyzed in the study used secondary data indicates a tendency that as the longitudinal data of metropolitan and provincial offices of education further expanded, the use of the multi-level method increased more. This study also found that most of the research analyzed in the study did not provide specific theoretical grounds for variables. Only 17 papers (29%) presented research models. In addition, there were only a few papers that presented the minimum number of cases in a group, handling of missing values, centering, reliability estimation, and model fit, all of which are sensitive issues in multi-level models. This study suggests preparing guidelines in the Korean Educational Adminstration Society for the use of the multi-level model, which will enable the constructive and rational use of it, especially considering that the importance of the multi-level model is gradually being emphasized, and large-scale education-related data is being collected accordingly. 교육조직을 주된 연구대상으로 삼는 교육행정학 분야에서 내재된(nested) 또는 위계화된(hierarchical) 조직특성을 반영하여 인과관계를 예측할 수 있는 다층모형의 활용이 점차 늘고 있다. 이 연구는 교육행정학 연구에서 다층모형이 어떻게 활용되는지 실태를 분석하고, 이를 비판적으로 성찰하고자 하였다. 이를 위해 ‘교육행정학연구’ 2000년 20권 1호부터 2022년 40권 2호까지 22년 동안 수록된 다층모형을 활용한 논문 58편을 대상으로 이론적 근거, 연구방법, 분석 및 결과보고 분석영역 9가지 분석 준거를 활용하여 현황 및 실태를 분석하였다. 분석결과, 다층모형을 활용한 논문은 초·중등분야뿐만 아니라 고등교육분야에서도 최근 급속히 늘었고, 특히 2차 자료를 활용한 논문이 74%로 교육청 종단자료 생성이 확대되면서 다층모형 활용도 증가하는 경향을 나타냈다. 하지만 논문 대부분 변수에 대한 구체적인 이론적 근거를 제시하지 않았고, 연구모형을 제시한 논문은 17편(29%)에 불과하였다. 또한 일반회귀모형과 달리 다층모형에서 민감한 이슈인 집단 내 최소사례 수, 결측치 처리 과정, 중심점 교정, 신뢰도 추정, 모형 적합도를 언급하지 않은 논문이 다수 있었다. 다층모형의 중요성이 점차 강조되고, 이에 부합하여 대규모 교육종단자료가 수집되고 있는 시점에서 향후 교육행정학연구에서 다층모형을 엄격하게 활용하기 위해 학회 내 지침을 마련하고 관련 교육을 강화할 필요가 있음을 제안하였다.

주거지 인문환경의 공간 속성을 고려한 주택 가격 결정 모형 : 서울시 아파트를 대상으로

김소연,김영호 한국지도학회 2013 한국지도학회지 Vol.13 No.3

본 연구는 다양한 특성을 지닌 주택의 경제적 가치를 평가하기 위해 최적의 주택 가격 결정 모형을 추정하는 것을 목적으로 한다. 이 연구는 두 가지 접근 방법으로 서울시 아파트 가격을 분석한다. 첫째, 선형회귀모형, 공간회귀모형, 그리고 다층모형 등 기존의 방법론을 기초로 주택가격 결정요인을 설명하고, 둘째, 공간적 특성을 반영한 다층모형을 새롭게 적용하여 분석 결과를 비교했다. 구체적으로 매매가격과 전세가격을 설명하는 과정에서 아파트의 물리적 특성, 해당 지역의 주변환경, 교육환경, 지역속성을 반영하였다. 연구 결과 공간적 특성을 반영한 다층모형의 설명력이 가장 높은 것으로 확인되었다. 이 연구는 기존의 부동산 관련 연구들이 공간적인 요소를 고려하지 못한다는 제약을 극복하고 가격 결정 요인 분석 결과를 통해 경제 정책 수립을 위한 주택시장 진단에 도움이 되는 지리정보를 제공할 것으로 기대된다. This study aims to investigate and provide the most appropriate models estimating housing price. This study applies two approaches in modeling apartment prices in Seoul, Korea. First, existing methods such as Ordinary Least Square (OLS), Spatial regression, and multilevel models are applied. Second, multilevel models with spatial components are newly applied. In the process, explaining both sales and lease prices, this study applies various local features such as education, view, neighborhood markets, and medical services. The results show that the multilevel model with spatial component performs best. This study contributes to literature in two perspectives: 1) provision of new methodology in housing study by applying spatial component to multilevel modeling 2) provision of useful geographic information for housing and land management in Seoul.

다층자료의 경향점수 추정 모형에 따른 처치효과 추정 결과의 비교

전현정,정혜원 한국교육평가학회 2019 교육평가연구 Vol.32 No.4

This simulation study was designed to compare propensity score methods and covariate selections for propensity score in multilevel data under a variety of manipulated conditions including: ratios of treatment to control group members (1:3 and 1:1), the number of groups (50 and 100) and the average group sizes (20, 40 and 50). Two propensity score models were compared: traditional logistic model verse multilevel logistic model. In addition, the accuracy of parameter estimates was compared among the seven types of covariate selection. Across all conditions, for propensity score estimation in the two level multilevel data structure, the relative parameter bias of the treatment effect estimation was smaller in the multilevel logistic model than in the other logistic model. Furthermore, assuming all other conditions were constant, the mean squared error in the multilevel logistic model was smaller than in the logistic model. In the estimation of the relative standard error, the efficiency was higher in the multilevel logistic model than in the logistic model as well. Across all conditions, no substantial relative parameter bias was found in the treatment effect estimation when variables related to either the treatment or outcome variables were set as the covariates. The mean squared error was relatively small. 본 연구는 다층자료에서 경향점수를 활용하여 처치효과를 추정할 때 경향점수 추정 모형의 설정과 공변인 설정 조건이 처치효과 추정에 어떠한 영향을 미치는지를 확인하는 데 목적이 있다. 이에 본 연구는 2수준 다층자료를 활용한 모의실험 연구를 진행하였으며 구체적인 모의자료 생성을 위한 조건으로 처치-통제집단 사례수의 비율(1:3, 1:1), 집단 수(50, 100)와 집단 크기(20, 40, 50)를 고려하였다. 생성된 모의자료를 토대로 경향점수 추정 모형(로지스틱 모형, 다층로지스틱 모형)과 공변인 설정 조건(처치변수와 결과변수와의 연관성 정도에 따라 7가지)에 따라 처치효과 추정치의 양호도를 비교‧분석하였다. 모의실험 결과, 로지스틱 모형보다는 다층로지스틱 모형의 처치효과 추정치의 상대적 편의가 작게 나타났으며 다른 조건이 동일하다고 가정할 때 로지스틱 모형보다는 다층로지스틱 모형에서의 평균제곱오차 값이 작은 것으로 나타났다. 또한 상대적 표준오차의 추정 결과에서도 다층로지스틱 모형이 로지스틱 모형보다 효율성이 높음을 확인할 수 있었다. 한편 경향점수 추정을 위한 공변인 설정 조건에 대해서는 처치와 결과변수 모두 관련된 변인을 공변인으로 설정하였을 때 처치효과 추정치의 상대적 편의가 발생하지 않았으며 상대적으로 평균제곱오차가 작은 수준으로 나타났다.