Do Place‒Based College Scholarship Programs Promote District Enrollments?

손호성(Hosung Sohn),배광빈(Kwang Bin Bae) 한국국정관리학회 2019 현대사회와 행정 Vol.29 No.3

경제적으로 어려움을 겪고 있는 도시는 도시 부흥을 위해 인구 유입을 증가시키고자 많은 노력을 기울인다. 인구 유입을 제고하기 위해 활용되고 있는 여러 정책 중에 거주기반 정책이 최근에 많이 활용되고 있다. 본 연구에서는 미국 뉴욕 주 Buffalo 시에서 집행된 Say Yes to Education이라는 거주 기반 대학 장학금 정책이 학군에 등록한 학생수의 변화에 미친 효과를 분석하였다. 회귀불연속설계를 활용하여, 거주 기반 대학 장학금 정책이 Buffalo 시 학군에 등록한 학생 수를 증가시키는 데 유의미한 영향을 끼친것을 확인하였다. 좀 더 구체적으로 연구 분석 결과를 설명하면, 첫째, 계속되고 있는 백인 학생 수 감소가 증가세로 돌아섰다. 둘째, 장학금 정책 수혜 혜택이 학년에 따라 달라지는데, 수혜 혜택이 가장 유의미하게 변하는 학년(유치원과 9학년)의 등록 학생수가 가장 많이 증가하였다. 셋째, Buffalo 시와 유사한 Rochester 시 그리고 Buffalo 시의 주변 도시에서는 등록 학생 수가 증가하지 않았다. 넷째, Erie County에 있는 사립학교 등록 학생 수가 감소를 하였는데 이 사립학교에서 이탈된 학생의 대부분이 Buffalo 시에 위치한 공립학교로 유입된 것으로 판단된다. 본 연구는 인구 유출로 인해 고통을 겪고 있는 도시에서 거주 기반 정책을 활용하면 인구 유입을 도모할 수 있다는 정책적 함의를 지닌다. Place‒based college scholarship programs have been adopted around the world in an effort to help an economically disadvantageous city to attract new residents and businesses. In this paper, we provide an analysis of the impact of the Say Yes to Education policy implemented in Buffalo, New York on district enrollments. Based on the regression discontinuity analysis, we find that the policy was successful in increasing public school enrollments in Buffalo in the first two years of the program, including a reversal of the longstanding decline in the number of white students in the districts. The increases are most pronounced in kindergarten and before high school, the points at which students must enroll to receive full or partial scholarship eligibility. We do not find similar patterns in other districts, providing support for the conclusion that these increases are related to the program. We also find evidence that increases in BPS enrollments may have come, at least in part, from private schools in Erie County, which lost significant enrollment at the same time. Our results provide policy implication for cities that are suffering from population outflow issues. The analysis suggests that policy such as place‒based scholarship programs may have positive impact on reversing the population outflow trend.

지역아동센터 평가 제도의 효과성과 개선방안에 관한 연구

손호성(Hosung Sohn),강지원(Ji Won Kang),배광빈(Kwang Bin Bae) 한국사회정책학회 2019 한국사회정책 Vol.26 No.3

본 연구의 목적은 지역아동센터 평가 제도가 지역아동센터의 행태에 미치는 효과를 통계적으로 분석하는 것이다. 기존의 지역아동센터 평가제도는 평가 결과를 토대로 지역아동센터에게 이익 혹은 불이익을 주지 않고 있어서, 이러한 평가제도가 지역아동센터의 성과에 아무런 영향을 끼치지 않을 수 있다는 문제점이 꾸준히 제기되고 있다. 따라서 본 연구에서는 기존의 지역아동센터 평가제도가 지역아동센터의 성과에 실제로 영향을 끼치는지 안 끼치는지를 2012년부터 2016년까지의 평가이력 관리 행정자료를 활용하여 분석하였다. 분석결과 기존 지역아동센터 평가제도는 평가 결과가 좋지 않은 지역아동센터의 행태를 긍정적으로 변화시키는데 상당히 효과적인 것으로 나타났다. 반면 평가 결과가 좋은 지역아동센터의 행태는 상대적으로 덜 변화시키는 것으로 나타났다. 이를 바탕으로 기존평가제도의 문제점에 대한 심도 있는 분석을 통해 평가제도의 개선방향을 제시하였다. The purpose of this study is twofold. First, this study tests whether the evaluation system currently adopted for the community child center (a type of social service offered in South Korea) affects the subsequent behavior of the center. The existing evaluation system does not accompany any positive or negative consequences. The critical issue with respect to the system is that it may not incentivize the center. In this study, we statistically test the null hypothesis that the system does not incentivize the behavior of the center. The test results show that the system positively affects the behavior of the center with low evaluation scores, but the effect is relatively smaller for the center with high evaluation scores. Lastly, we identify issues inherent in the current evaluation system and provide policy recommendations on how to improve the current system.

양적 연구에서 도출된 회귀계수 추정값의 실질적 유의성에 관한 연구 - 한국행정학보와 한국정책학회보를 중심으로 -

손호성 ( Hosung Sohn ),박희란 ( Heeran Park ) 한국정책학회 2019 韓國政策學會報 Vol.28 No.2

본 연구의 목적은 행정학·정책학 연구 중에서 회귀분석을 한 연구를 분석하여 회귀계수 추정값의 실질적인 유의성(practical significance)에 대한 분석이 현재 잘 이루어지고 있지 않음을 보이고, 양적 연구의 질을 제고하기 위해 회귀분석 결과의 실질적인 유의성을 분석하는 것이 매우 중요하다는 것을 피력하는 것이다. 통계적 추론 시 자주 활용되는 논리는 Fisher의 통계적 추론 방식이다. 연구자는 이 논리를 기반으로 설명변수가 결과변수에 미친 효과값을 추정하고 그 추정값의 통계적 유의성(statistical significance)을 판단하여 분석 결과의 유의성을 도출한다. 하지만 어떤 회귀분석 결과의 유의성은 추정값이 통계적으로 유의한지 유의하지 않은지 뿐만 아니라 추정값의 크기(실질적 유의성)에 의해서도 큰 영향을 받는다. 따라서 연구자는 도출한 추정값의 크기에 대한 심도 있는 해석을 해야 좀 더 유의미한 함의를 도출할 수 있다. 최근 5년 동안 한국행정학보와 한국정책학회보에 출판된 양적 연구 중에서 회귀분석 결과의 실질적인 유의성까지 분석한 논문은 1.37%에 불과하였다. 행정학·정책학 관련 양적 연구의 결론 타당성(conclusion validity)을 확보하기 위해 추정값의 실질적인 유의성을 분석하는 관행이 정착되어야 한다고 판단된다. The purpose of this paper is twofold. First, we examine whether the analysis of practical significance is conducted among public administration and policy research that use regression analysis. Second, we emphasize the importance of examining practical significance of statistical results, in order to promote the quality of quantitative studies in public administration and policy. The logic that is often used in modern statistical inference is Fisherian inference. Researchers examine the significance of quantitative studies by estimating the effect of an explanatory variable on an outcome variable and analyzing whether the effect estimates are statistically significant based on the Fisherian logic. Note, however, that the significance of any research depends not only on statistical significance but also on the effect size (practical significance). An in-depth analysis of the effect estimates is, therefore, necessary in order for a researcher to derive appropriate policy implication from the estimated results. By examining the regression analysis published in Korean Public Administration Review and Korean Policy Studies Review from 2014 to 2018, we find that the share of published papers that analyzed the practical significance of the estimated results is only 1.37%. We argue that researchers should devote more on analyzing practical significance of estimated effects in order to secure conclusion validity of public administration and policy research.

국고보조사업 지원 대상 선정평가 신뢰성 개선

김난영(Nanyoyng Kim),손호성(Hosung Sohn) 한국비교정부학회 2023 한국비교정부학보 Vol.27 No.1

(Purpose) Subsidy targets for a government subsidized project are mostly selected based on the results of written evaluation and on-site evaluation by external experts. However, there is a risk that the priorities of this evaluation change depending on the subjective propensity of evaluators (e.g. generous, strict) and the reliability of the evaluation get lowered. Measuring reliability of evaluation and correcting evaluators’ subjective propensity are, therefore, needed. This study suggests the intraclass correlation coefficient (ICC) as a method to measure the reliability of the selection evaluation of subsidy targets in government subsidized projects, and proposes the use of standardized scores to increase the evaluation reliability. (Design/methodology/approach) ICC and standardized scores are identified in theoretical analysis, and then the reliability of the evaluation scores of the 2022 support targets of the Fishing Village New Deal Project, a government subsidized project, is analyzed using ICC. Lastly the rankings are recalculated using standardized score. (Findings) Written evaluation reliability was low, with the ICC of less than 0.5, and on-site evaluation reliability was also not good with the ICC of less than 0.75. When using standardized scores, 14% of the ports selected by raw scores was changed. As a result of ICC analysis on the standardized score, it was found that ICC increased. This means that when the standardized score is used, the reliability of the evaluation score increase by reducing the statistical error. (Research implications or Originality) This study suggests methods to verify and increase the reliability of the selection evaluation of the support target of government subsidized projects to improve the performance.

경기 양평군 첫째 자녀 출산지원금 효과 분석과 정책적 함의

장인수(Insu Chang),손호성(Hosung Sohn) 경기연구원 2021 GRI 연구논총 Vol.23 No.3

The purpose of this study is to present policy implications for the direction of regional population policy by analyzing the effects of first-born childbirth subsidies, which can be considered as a representative place-based policy. The effect of childbirth subsidies in Yangpyeong-gun, Gyeonggi-do on the changes of local populations was examined using a synthetic control method, a widely used quasi-experimental research design often applied to analyze the effect of place-based policies. The analysis results show that the first-born childbirth subsidies in Yangpyeong-gun, had a significant effect on the number of first-born babies. Note, however, that the policy effect not observed continuously. Moreover, it was found that there was no significant effect on the net in-migration of 20-30s, total fertility rate, and crude birth rate. This suggests the necessity of developing policy measures that can attain sustainable effects and in-depth evaluation of regionally differentiated maternity subsidies. Overall, policy implications were presented based on the results of empirical analysis.

장애인 고용장려금 정책의 사중손실 분석

한승훈(SeungHoon Han),유은주(Eun-ju Yoo),손호성(Hosung Sohn) 한국정책분석평가학회 2020 政策分析評價學會報 Vol.30 No.4

Does Wage Premium Exist for Those Who Fulfilled Compulsory Military Service? Evidence from Simple Mathematical Models and Descriptive Analyses

Kwon, Namho(권남호),Bae, Kwang Bin(배광빈),Sohn, Hosung(손호성) 서울행정학회 2018 한국사회와 행정연구 Vol.29 No.3

본 연구의 목적은 한국 노동시장에서 군 복무자와 군 면제자 간에 임금격차가 존재할 수 있음을 이론적 모형을 통해 살펴보고 기술적 분석을 통해 이 모형을 통계적으로 검정을 하는 것이다. 우선 간단한 수학적 모형을 통해 기호 차별(taste-based discrimination)과 통계적 차별(statistical discrimination)로 인해 두 집단 간에 임금 격차가 발생할 수 있음을 살펴보았다. 그리고 한국노동패널 자료를 활용해 두 집단 간에 실제로 임금 차이 존재함을 기술적으로 살펴보았다. OLS 분석 결과 두 집단 간의 임금 격차가 통계적으로 유의미하게 추정되었다. 하지만 추정된 OLS 추정값은 실질적으로 유의미한 수준으로는 도출되지 않았다(약 1.3%p). 단 군복무 여부 변수의 내생성을 통제하지 않은 상태에서 도출한 추정값이기 때문에 결과치를 인과적으로 해석할 수는 없다. 따라서 좀 더 유의미한 정책적 함의를 도출하기 위해 군 복무 여부가 노동시장 관련 결과변수에 미치는 인과효과를 추정하기 위한 노력을 앞으로 할 필요성이 크다고 판단된다. This paper presents a theoretical model and tests the hypothesis descriptively that people who fulfilled compulsory military service have wage premium in the South Korean labor market. Simple models are developed to explain both the taste-based discrimination and statistical discrimination which can possibly lead to a wage premium for the non-exempted person. The descriptive OLS analysis shows that a wage premium does not exist for those who have fulfilled military duty. The strict causal interpretation cannot be granted for the estimated result, however, because of the endogeneity of the exemption status. We therefore argue that future studies should engage in isolating the causal impact of the exemption on labor market outcome in order to derive useful policy implications.