Drawing Causal Inferences Using Propensity Score Methods in Educational Research

Junyeop Kim(김준엽),Hyekyung Jung(정혜경),Michael H. Seltzer 한국교육평가학회 2008 교육평가연구 Vol.21 No.3

  관찰자료를 사용하는 교육 프로그램 또는 정책의 효과성 연구에서 인과효과에 대한 추론에는 많은 난점이 있다. 그 주된 이유는 관찰 연구 혹은 준실험 연구에서 실험집단과 통제집단은 거의 모든 경우에 무선 할당되지 않고, 따라서 직접 비교 불가능하기 때문이다. Rubin의 인과모형은 인과적 효과를 규정하고 그에 따라 타당한 인과효과를 추론하기 위해 충족시켜야 하는 가정들을 명확히 하기 위한 중요한 개념적 틀을 제공한다. 또한 이러한 인과모형에 따른 성향점수(propensity score)를 활용한 인과효과 추정방법(Rosenbaum & Rubin, 1983a)은 관찰자료 및 준실험 자료를 이용한 인과효과 추정연구에서 중요한 도구로 활용될 수 있다. 본 연구는 Rubin의 인과모형과 성향점수를 활용한 다양한 인과적 효과의 추정 방법을 소개하고, 이러한 연구방법을 교육평가 연구에 적용하기 위해 고려해야할 중요한 쟁점들에 대해 논의하기 위한 목적으로 수행되었다. 미국의 한 통합 교육구에서 실시된 Early Academic Outreach Program (EAOP)의 효과를 예시적 목적에서 분석하였다.   In estimating the effect of an educational program or policy using observational data, drawing causal inferences is challenging because the treatment and control groups in such studies are almost always not directly comparable. Rubin’s causal model provides a valuable conceptual framework for defining causal effects and clarifying the assumptions that must be met in order to draw sound causal inferences. In conjunction with this framework, propensity score methodology (Rosenbaum & Rubin, 1983a) provides an important tool in efforts to estimate causal effects when working with observational or quasi­experimental data. Propensity score approaches provide the basis for forming comparable subgroups given the estimated probability of being assigned to treatment. The purpose of this paper is to introduce Rubin’s causal model (RCM) and various propensity score methods for estimation of causal effects in educational program evaluation, and to provide detailed discussion of the critical issues that should be considered when implementing these methods in educational settings. Data from the Early Academic Outreach Program (EAOP), which was implemented in a large U.S. school district, are used for illustrative purposes.

Evaluation of Heat Transfer Performance Depending on Semicircular Turbulence Promoter Shape Conditions and Flow Conditions in the Air-Type PV/T Collector

Junyeop Kim(김준엽),Seongbhin Kim(김성빈),Byunghwa An(안병화),Kwanghwan Choi(최광환) 한국태양에너지학회 2022 한국태양에너지학회 학술대회논문집 Vol.2022 No.4

Analysis of Operation Characteristics of New Technology Hydrogen Production Facilities and Deduction of Safety Codes Development Direction

Junyeop Kwon,Jaejin Lee,Jiwoong Yeom,Jian Choo,Jungwoon Lee 한국신재생에너지학회 2022 AFORE Vol.2022 No.9

Closing the gap: Modeling within-school variance heterogeneity in school effect studies

Junyeop Kim 서울대학교 교육연구소 2008 Asia Pacific Education Review Vol.9 No.2

Effective schools should be superior in both enhancing students' achievement levels and reducing the gap between high- and low-achieving students in the school. However, the focus has been placed mainly on schools' achievement levels in most school effect studies. In this article, we focused our attention upon the school-specific achievement dispersion as well as achievement level in determining effective schools. The achievement dispersion in a particular school can be captured by within-school variance in achievement (sigma(2)). Assuming heterogeneous within-school variance across schools in hierarchical modeling, it is possible to identify school factors related to high achievement levels and a small gap between high- and low-achieving students. By analyzing data from the TIMMS-R, we illustrated how to detect variance heterogeneity and how to find a systematic relationship between within-school variance and school practice. In terms of our results, we found that schools with a high achievement level tended to be more homogeneous in achievement dispersion, but even among schools with the same achievement level, schools varied in their achievement dispersion, depending on classroom practices.

A Text Mining Analysis of U.S. and Chinese newspapers on the COVID-19 Issues

Junyeop Lee,Hwa-Joong Kim,Kyung-A Kim 인하대학교 정석물류통상연구원 2020 인하대학교 정석물류통상연구원 학술대회 Vol.2020 No.8

Energy Efficiency Evaluation Depending on Duct Height Change in a Dual Duct PV/T Collector

Junyeop Kim(김준엽),Seongbhin Kim(김성빈),Byunghwa An(안병화),Kwanghwan Choi(최광환) 한국태양에너지학회 2022 한국태양에너지학회 학술대회논문집 Vol.2022 No.10

다층 영과잉 포아송 모형의 적용

김준엽(Junyeop Kim),신혜숙(Hyesook Shin) 한국교육평가학회 2009 교육평가연구 Vol.22 No.2

가출의 횟수와 같이 교육학에서 연구의 관심이 되는 빈도자료의 경우, ‘전혀없음’과 같은 빈도가 ‘0’으로 처리되는 사례수가 포아송 분포로부터 추론되는 0의 빈도보다 훨씬 많은 비율을 차지하는 경우가 많다. 이러한 영과잉 자료에 기존의 포아송분포를 가정한 회귀모형을 사용할 경우 과대산포의 문제가 발생할 수 있으므로 과도한 0의 빈도를 모형에 반영하기 위한 영과잉 포아송모형(Zero -inflated Poisson, ZIP)이 사용될 수 있다. ZIP 회귀분석은 로지스틱 함수와 포아송 함수의 혼합(mixture) 확률분포를 가지는 회귀모형으로, 표본의 모든 사례를 활용하여 사건의 발생확률 및 발생빈도의 추정을 동시에 할 수 있다는 장점이 있다. ZIP 모형을 교육학 연구에 활용할 때, 많은 경우 학생이 학교에 내재되어 있는 위계적 구조로 인해 독립성의 가정이 위배될 수 있고, 비행 발생여부 및 빈도에 학교의 학생지도방식이나 환경 등 학교의 고유한 특성이 영향을 미칠 수도 있으므로 ZIP 모형을 학교수준의 무선효과를 가정하는 다층모형으로 확장시켜 과대산포 및 위계적 자료구조를 동시에 고려해줄 필요가 있다. 본 연구에서는 Ghosh 등(2006)이 제안한 Bayesian 방식의 ZIP 모형 분석을 다층으로 확장하여 학교간 비행위험집단 및 비행위험집단에서 비행빈도의 분포, 비행여부 및 빈도에 영향을 미치는 학교 및 개인수준의 요인을 탐색하는 방법론적 틀을 제시한다. 예시적 분석을 위해 한국직업능력개발원에서 제공하는 한국교육고용패널 자료를 사용하였고, WinBUGS를 이용한 Markov chain Monte Carlo 방식의 베이지언 추정치가 제시되었다. In much Education research, count data of interest such as runaway frequency have more zeros than can be inferred from Poisson distribution. One of the main reasons of this kind of zero-inflated data is because data are generated from two latent groups - runaway risk group and risk-free group, for example. Using Zero-Inflated Poisson (ZIP) model, it is possible to simultaneously estimate parameters from the two latent group (the probability of risk group membership and the event frequency under risk group) using all the cases from a sample. Moreover in Education research, ZIP model needs to be extended to multilevel to incorporate nested data structure where independence assumption can be violated otherwise. By extending ZIP model to multilevel, it is also possible to incorporate group level correlates of risk group membership and event frequency. In this study, Bayesian approach to ZIP regression (Ghosh et al., 2006) is extended to multilevel to provide methodological tool for studying individual- and group-level correlates of event occurrence and frequency simultaneously. Exemplifying ‘runaway’ analysis used data from Korean Education and Employment Panel (KEEP) provided by Korean Research Institute for Vocational Education and Training.

자연어 메타데이터를 이용한 추천시스템 상에서의 사용자 견해 고립 현상 완화 기법

이준엽(Junyeop Lee),이주홍(Joohong Lee),최용석(Youg Suk Choi) 한국정보과학회 2015 한국정보과학회 학술발표논문집 Vol.2015 No.12

대규모 학업성취도 평가 자료를 활용한 학교 부가가치 추정모형의 비교

김준엽(Junyeop Kim) 한국교육평가학회 2010 교육평가연구 Vol.23 No.1

School's academic progress is an important criterion for reporting school accountability. Value-Added Model provides a methodological solution for measuring schools’ progress. This study, under the assumption that large-scale longitudinal data is available, aims to compare several statistical options currently available for value-added analysis. The Contextual Value-Added model (VAM) of English accountability system, a model utilizing school-level random effect of 3-level growth model as a value -added indicator, and Layered Mixed Effect Model (LMEM) of Tennessee Value-Added Accountability System (TVAAS) are empirically compared using data from Longitudinal Study of American Youth (LSAY). Discussions are provided in terms of needed data type and structure, definition of value-added when individual background and school context are controlled and not controlled, and how to utilize estimated school value-added. 학교의 책무성에 대한 판단 근거로 향상의 정도에 관한 정보를 활용하고자 할 경우, 부가가치 모형은 향상도에 대한 통계적 분석을 위한 방법론적 틀을 제공한다. 본 연구는 부가가치모형을 활용할 수 있는 대규모 자료가 가용함을 전제로 몇 가지 주요한 부가가치 모형을 활용하여 부가가치 지수를 실제로 추정하고, 모형을 통한 결과를 비교하고, 각 모형의 장단점을 분석하며, 이를 실제 학교평가에 활용할 경우 고려해야 할 문제점들을 검토하기 위한 목적에서 수행되었다. 분석을 위해 미국 및 영국에서 실제로 부가가치 분석을 위해 활용되고 있는 모형들을 비교하였다. 비교에 사용된 부가가치 모형은 영국에서 활용되고 있는 공변인 통제 방식의 Contextual Value-Added Model(CVA), 3-수준 다층 성장모형의 학교수준 무선효과를 활용한 모형, 그리고 Tennessee Value-Added Accountability System(TVAAS)에서 교사책무성 분석에 활용되는 Layered Mixed Effect Model(LMEM)이다. 각 모형에 대해 개인 배경변수 및 학교의 맥락변수를 투입한 모형과 투입하지 않은 모형을 제시하고, 측정시점, 자료의 구조, 맥락변수 투입에 따른 부가가치 지수의 의미 및 부가가치 모형의 활용 방안 등을 비교·논의 하였다. 부가가치 모형의 실제 적용을 위해 Longitudinal Study of American Youth(LSAY, Miller et. al., 1999) 자료가 사용되었다.

다중 물체 추적을 위한 휴버 방식 기반 무향 칼만필터를 활용한 분산형 센서 융합

박준엽(JunYeop Park),최재호(Jaeho Choi),허건수(Kunsoo Huh) 한국자동차공학회 2022 한국자동차공학회 학술대회 및 전시회 Vol.2022 No.11

Perception is one of the key factors for the performance and security that needs to be guaranteed for automotives. However, due to the environmental matters, challenging problems still exist and research to improve the performance of perception is actively proceeding. To achieve higher performance, we need various kinds of sensors such as camera, radar, lidar. It is necessary to ensure real-time and high performance so that the results of tracking multiple objects can serve the basis for the latter decisions and planning. Model based state estimator is mainly used which is directly related to the performance of perception when performing multiple object tracking. Kalman filter is widely used among various kinds of state estimators. But Kalman filter has limitations in that they do not consider outlier. When it comes to using outlier data for state estimation, it adversely affects the performance. From this paper, we propose distributed sensor fusion of Unscented Kalman filter based on Huber methodology for the robust performance. Through this, it is possible to reduce computational cost and improve object state estimation performance, which was verified with the Nuscenes dataset.