다층자료의 경향점수 추정 모형에 따른 처치효과 추정 결과의 비교 = A Comparison of Treatment Effect Estimation According to the Propensity Score Model in Multilevel Data

다국어 초록 (Multilingual Abstract)

This simulation study was designed to compare propensity score methods and covariate selections for propensity score in multilevel data under a variety of manipulated conditions including: ratios of treatment to control group members (1:3 and 1:1), the number of groups (50 and 100) and the average group sizes (20, 40 and 50). Two propensity score models were compared: traditional logistic model verse multilevel logistic model. In addition, the accuracy of parameter estimates was compared among the seven types of covariate selection. Across all conditions, for propensity score estimation in the two level multilevel data structure, the relative parameter bias of the treatment effect estimation was smaller in the multilevel logistic model than in the other logistic model. Furthermore, assuming all other conditions were constant, the mean squared error in the multilevel logistic model was smaller than in the logistic model. In the estimation of the relative standard error, the efficiency was higher in the multilevel logistic model than in the logistic model as well. Across all conditions, no substantial relative parameter bias was found in the treatment effect estimation when variables related to either the treatment or outcome variables were set as the covariates. The mean squared error was relatively small.

국문 초록 (Abstract)

본 연구는 다층자료에서 경향점수를 활용하여 처치효과를 추정할 때 경향점수 추정 모형의 설정과 공변인 설정 조건이 처치효과 추정에 어떠한 영향을 미치는지를 확인하는 데 목적이 있다. 이에 본 연구는 2수준 다층자료를 활용한 모의실험 연구를 진행하였으며 구체적인 모의자료 생성을 위한 조건으로 처치-통제집단 사례수의 비율(1:3, 1:1), 집단 수(50, 100)와 집단 크기(20, 40, 50)를 고려하였다. 생성된 모의자료를 토대로 경향점수 추정 모형(로지스틱 모형, 다층로지스틱 모형)과 공변인 설정 조건(처치변수와 결과변수와의 연관성 정도에 따라 7가지)에 따라 처치효과 추정치의 양호도를 비교‧분석하였다. 모의실험 결과, 로지스틱 모형보다는 다층로지스틱 모형의 처치효과 추정치의 상대적 편의가 작게 나타났으며 다른 조건이 동일하다고 가정할 때 로지스틱 모형보다는 다층로지스틱 모형에서의 평균제곱오차 값이 작은 것으로 나타났다. 또한 상대적 표준오차의 추정 결과에서도 다층로지스틱 모형이 로지스틱 모형보다 효율성이 높음을 확인할 수 있었다. 한편 경향점수 추정을 위한 공변인 설정 조건에 대해서는 처치와 결과변수 모두 관련된 변인을 공변인으로 설정하였을 때 처치효과 추정치의 상대적 편의가 발생하지 않았으며 상대적으로 평균제곱오차가 작은 수준으로 나타났다.

참고문헌 (Reference)

1 변수용, "중학생의 방과후학교 참여가 사교육 수요에 미치는 영향" 한국교육사회학회 20 (20): 51-81, 2010

2 김미현, "종속변수가 이항변수인 다층자료 분석에서 위계적 속성과 표본의 크기에 따른 로지스틱 모형, 프로빗 모형, 그리고 다층로지스틱 모형 간 고정효과 모수추정량의 양호도 비교 : 몬테카를로 모의실험 연구" 연세대학교 대학원 2014

3 민경석, "자아 존중감에 대한 경향점수를 이용한 평준화 효과 분석" 한국교육평가학회 21 (21): 1-21, 2008

4 이재열, "사회과학의 고급계량분석 : 원리와 실제" 서울대학교출판부 2005

5 정혜경, "비실험 연구에서 인과효과 추정을 위한 방법론적 고찰" 한국교육학회 50 (50): 29-50, 2012

6 박현정, "방과후학교의 연속적 처치(sequential treatment) 효과 분석: 고1~고2 시기 학업성취도를 중심으로" 248-257, 2012

7 이준호, "맞벌이의 교육적 기회비용: 방과 후 자기보호(self-care)가 초등학생의 자기학습 통제능력에 미치는 영향" 교육연구소 13 (13): 27-59, 2012

8 강상진, "다층모형" 학지사 2016

9 이진실, "교육연구에서 경향점수를 활용한 순차적 처치 효과 분석" 서울대학교 2016

10 김성식, "교육개혁정책의 학교현장 이행실태 분석 및 실효성 제고 방안 연구" 교육부 2010

11 김동일, "고등학교 시기의 사교육 경험이 대학생의 사교육 참여 및 사교육비 지출에 미치는 영향 분석" 교육연구소 12 (12): 293-314, 2011

12 문지영, "경향점수 추정방법 비교" 성균관대학교 2018

13 강상진, "경향점수 추정 모형에 따른 매칭 및 인과효과 검정 결과 비교: 다층자료의 모의분석" 한국교육평가학회 28 (28): 701-730, 2015

14 Ridgeway, G., "twang: Toolkit for Weighting and Analysis of Nonequivalent Groups. R package version 1.5"

15 Cuong, N. V., "Which covariates should be controlled in propensity score matching? Evidence from a simulation study" 67 (67): 169-180, 2013

16 Brookhart, M. A., "Variable selection for propensity score models" 163 (163): 1149-1156, 2006

17 Curtis, L. H., "Using inverse probability-weighted estimators in ocmparative effectiveness analyses with observational databases" 45 (45): 103-107, 2007

18 Austin, P. C., "The use of bootstrapping when using propensity‐score matching without replacement : a simulation study" 33 (33): 4306-4319, 2014

19 Steiner, P. M., "The importance of covariate selection in controlling for selection bias in observational studies" 15 (15): 250-267, 2010

20 Rosebaum, P. R., "The central role of the propensity score in observational studies for causal effect" 70 (70): 41-55, 1983

21 Demirtas, H., "Simultaneous generation of binary and normal data with specified marginal and association structures" 22 (22): 223-236, 2012

22 Hoogland, J. J., "Robustness studies in covariance structure modeling" 26 (26): 329-367, 1998

23 박성훈, "Propensity score model 구축에서 상관성을 고려한 변수선택" 한국보건정보통계학회 40 (40): 75-86, 2015

24 김지하, "Propensity Score Matching방법을 사용한 사교육 유형별 효과 분석" 한국교육재정경제학회 18 (18): 67-96, 2009

25 Pan, W., "Propensity Score Analysis: Fundamentals and Developments" The Guilford Press 2015

26 Leite, W. L., "Practical Propensity Score Methods using R" Sage 2017

27 Goldstein, H., "Nonlinear Multilevel Models, with an Application to Discrete Response Data" 78 (78): 45-51, 1991

28 Venables, W. N., "Modern Applied Statistics with S" Springer 2002

29 Hamner, B., "Metrics: Evaluation Metrics for Machine Learning. R package version 0.1.3"

30 Stuart, E. A., "Matching methods for causal inference : A review and a look forward" 25 (25): 1-21, 2010

31 Hernán, M. Á., "Marginal structural models to estimate the causal effect of zidovudine on the survival of HIV-positive men" 11 (11): 561-570, 2000

32 Kusuda, S., "Identification of practices and morbidities affecting the mortality of very low birth weight infants using a multilevel logistic analysis : clinical trial or standardisation?" 3 (3): 1-5, 2013

33 Muthén, L. K., "How to use a monte carlo study to decide on sample size and determine power" 9 (9): 599-620, 2002

34 Raudenbush, P. R., "Hierarchical Linear Models: Applications and Data Analysis Methods" Sage 2002

35 McCullagh, P., "Generalized linear model" Chapman and Hall 1989

36 Bates, D., "Fitting Linear Mixed-Effects Models Using lme4" 67 (67): 1-48, 2015

37 Setoguchi, S., "Evaluating uses of data mining techniques in propensity score estimation : A simulation study" 17 (17): 546-555, 2008

38 Lingle, J. A., "Evaluating the performance of propensity scores to address selection bias in a multilevel context: A monte carlo simulation study and application using a national data set" Georgia State University 2009

39 Hong, G., "Evaluating kindergarten retention policy : A case study of causal inference for multilevel observational data" 101 (101): 901-910, 2006

40 Schneider, B., "Estimating causal effects using experimental and observational design" American Educational & Research Association 2007

41 Rumberger, R. W., "Dropping out of middle school : A multilevel analysis of students and schools" 32 (32): 583-625, 1995

42 Kim, J., "Causal inference in multilevel settings in which selection process vary across schools" Center for the Study of Evaluation (CSE), UCLA 2007

43 Hong, G., "Causal inference for time-varying instructional treatments" 33 (33): 333-362, 2008

44 Brolla, B., "Calculating sample size bounds for logistic regression" 54 (54): 105-111, 2002

45 Amatya, A., "BinNor: Simultaneous Generation of Multivariate Binary and Normal Variates. R package version 2.2"

46 Demirtas, H., "BinNor : An R package for concurrent generation of binary and normal data" 43 (43): 569-579, 2014

47 Hirano, K., "Applied Bayesian modeling and causal inference from incomplete-data perspectives: An essential journey with Donald Rubin’s statistical family" John Wiley 73-84, 2004

48 Lumley, T., "Analysis of complex survey samples" 9 (9): 1-19, 2004

49 Austin, P. C., "An introduction to propensity score methods for reducing the effects of confounding in observational studies" 46 (46): 399-424, 2011

50 Agresti, A., "An introduction to categorical data analysis" John Wiley 1996

51 Masaoud, E., "A simulation study to assess statistical methods for binary repeated measures data" 93 (93): 81-97, 2010

52 Moineddin, R., "A simulation study of sample size for multilevel logistic regression models" 7 (7): 34-, 2007

53 Austin, P. C., "A comparison of the ability of different propensity score models to balance measured variables between treated and untreated subjects : a Monte Carlo study" 26 (26): 734-753, 2007

54 이종성, "(사회과학 연구를 위한)통계방법" 박영사 2007