평가활용의 영향요인에 관한 연구 : 구조방정식 모형에 의한 책임운영기관 사례분석 = (A) study on the factors influencing evaluation utilization: an analysis of Korean executive agencies using structural equation modeling

국문 초록 (Abstract)

본 연구에서는 한국의 책임운영기관평가 사례를 대상으로 평가활용의 인과구조를 규명하고자 하였다. 이러한 목적을 달성하기 위하여 다음과 같은 분석을 시행하였다. 첫째, 책임운영기관평가의 역량요인(관리역량, 평가자원), 실행요인(평가설득, 상호작용, 평가호응), 평가활용(과정활용, 결과활용) 간의 영향관계를 검증하였다. 둘째, 각각의 영향요인들이 책임운영기관평가의 과정활용과 결과활용에 미치는 효과의 강도를 파악하였다. 셋째, 관측변수·잠재변수별 평균, 책임운영기관의 유형, 선정시점, 소속부서, 직책 등에 따른 평가활용의 차이, 평가활용의 유형별 차이를 분석하였다.
분석을 위한 배경정보로서 한국의 책임운영기관평가제도에 대해 간략하게 소개하였으며, 평가활용의 영향요인에 관한 연구를 다각적인 차원에서 종합적으로 검토하였다. 평가활용의 이론적 접근방법(합리적 선택 관점, 조직이익 관점, 의사소통 관점)은 활용자들의 평가활용 동기와 행태를 설명하는 것으로서, 다양한 측면의 평가활용 영향요인을 도출하는 이론적 근거가 된다. 한편 평가성공의 제도적 요인 분석 모형은 이러한 요인들을 체계적으로 분류하고 이들 간의 관계를 설정하기 위한 이론적 기초를 제공해주고 있다. 이러한 이론적 배경 하에 과정활용과 결과활용이 유발되는 역동적인 메커니즘을 구조화한 평가활용 영향모형을 설정하였다.
이를 검증·분석하기 위해 2006년도 책임운영기관평가를 받았던 44개 기관의 기관장, 관리/기획/평가부서의 부서장 및 직원, 사업/집행/연구부서의 부서장을 대상으로 설문조사를 실시하였으며, 분석방법으로는 구조방정식 모형, 평균분석, t-test, F-test를 적용하였다. 이와 함께 설문조사의 한계를 보완하여 분석결과에 대한 현장감 있는 해석과 현실 적합한 정책적 함의를 모색하기 위해 12개 기관의 평가담당자와의 인터뷰, 2007년도 책임운영기관 워크숍 분임토의 결과, 기존의 연구문헌, 책임운영기관 관련 정부자료를 활용하였다. 이러한 경험적 연구 결과를 기초로 ① 평가자원의 확보, ② 평가자와 활용자간 상호작용의 활성화, ③ 평가내용과 방법의 질 제고, ④ 과정활용의 촉진 차원에서 정책적 함의를 논의하였다.

다국어 초록 (Multilingual Abstract)

This study explores the causal structure of the factors that determine the utilization of the lessons acquired in the whole process of evaluation, investigating the Executive Agencies in Korea. There are three main lines of inquiry. The first tests the relationships between capacity factors (management capacity and evaluation resources), implementation factors (evaluation persuasion, interaction between evaluators and users, and evaluatee cooperation) and evaluation utilization (process use and results use). The second identifies the effects of various measures of capacity factors as well as implementation factors on evaluation utilization. The third analyzes the mean of each measured variable and latent variable; the degree of evaluation utilization by the type of agency, its longevity as a Executive Agency, and the characteristics of the authorized department and personnel; and the difference by the type of utilization.
As background information, we briefly introduce the evaluation system of the Executive Agencies in Korea and comprehensively review the studies on the factors that influence evaluation utilization from various viewpoints. Theoretical approaches to evaluation utilization (rational choice perspective, organizational interest perspective, and communications perspective) explain the motives and behaviors of the users on evaluation utilization, therefore serve the theoretical base to derive the factors that influence evaluation utilization from various aspects. The analytical framework for evaluation success developed by Hyunku Kim also provides the theoretical rationale to classify and relate those factors. Under such theoretical background, we propose as a frame of reference a structural model of evaluation utilization that clarifies the dynamic mechanism of process use and results use.
In order to test and analyze the model, this study conducts a survey on chief managers, managers and personnel from support departments as well as managers of implementation departments in 44 Executive Agencies that were evaluated in 2006. Structural Equation Modeling, Mean Analysis, t-test and F-test were used as part of the analysis method. In order to make up for the limitations of survey, this study also utilizes interviews with the department personnel who prepare the reports that are required for evaluation, the results of small group discussions during the workshop held by the Executive Agencies in 2007, existing research literatures, and government data. Based on the findings of empirical analysis and in-depth study, we discuss the policy implication in the areas of ① securing evaluation resources, ② facilitating interaction between evaluators and users, ③ improving quality of evaluation contents and methods, and ④ promoting process use.

목차 (Table of Contents)

• 제1장 서론 = 1
• 제1절 연구목적 = 1
• 제2절 연구범위와 방법 = 5
• 제3절 연구동향 = 7
• 제2장 이론적.제도적 배경 = 17
• 제1절 평가활용의 이론적 기초 = 17
• 1. 평가활용의 개념 = 17
• 2. 평가활용의 유형 = 27
• 3. 평가활용의 중요성 = 34
• 제2절 평가활용의 영향요인 = 36
• 1. 평가활용에 대한 접근방법 = 37
• 2. 평가성공의 핵심요건 = 41
• 3. 평가활용의 영향요인 검토 = 46
• 제3절 한국의 책임운영기관평가제도 = 59
• 1. 책임운영기관의 제도적 의의 = 59
• 2. 책임운영기관평가제도의 운영 = 65
• 3. 책임운영기관평가의 활용 = 83
• 4. 책임운영기관평가제도의 문제점 = 88
• 제3장 연구설계 = 97
• 제1절 분석모형 = 97
• 1. 분석모형의 구성 = 97
• 2. 분석요소의 정의 = 100
• 3. 연구가설의 설정 = 105
• 제2절 분석방법 = 113
• 1. 구조방정식 모형 적용의 타당성 = 114
• 2. 분석절차 = 115
• 제3절 자료수집 = 122
• 1. 조사 대상과 방법 = 122
• 2. 설문지의 구성 = 125
• 제4장 영향모형 검증을 위한 예비 분석 = 127
• 제1절 신뢰도 및 타당도 분석 = 127
• 1. 측정의 신뢰도 = 127
• 2. 변수의 타당도 = 129
• 제2절 변수와 기관의 특성 분석 = 133
• 1. 관측변수.잠재변수별 평균 분석 = 133
• 2. 집단간 평가활용도 차이 분석 = 138
• 제3절 통계적 가정의 검정 = 146
• 1. 정규성 검정 = 147
• 2. 선형성의 가정 검정 = 148
• 제5장 평가활용 영향모형 분석과 논의 = 160
• 제1절 영향모형의 타당성 검증 = 160
• 1. 측정모형 검증 = 160
• 2. 잠재변수모형 검증 = 170
• 3. 교차타당성 분석 = 173
• 제2절 연구가설의 검정 = 175
• 1. 영향관계 검정과 효과분석 = 175
• 2. 평가역량과 평가실행의 관계 = 182
• 3. 평가역량과 평가활용의 관계 = 186
• 4. 평가실행과 평가활용의 관계 = 188
• 제3절 평가활용의 정책적 함의 = 190
• 1. 평가자원의 확보 = 191
• 2. 평가자와 활용자간 상호작용의 활성화 = 192
• 3. 평가내용과 방법의 질 제고 = 194
• 4. 과정활용의 촉진 = 197
• 제6장 결론 = 199
• 제1절 연구의 요약 = 199
• 제2절 연구의 함의 = 203
• 제3절 연구의 한계 = 205
• 참고문헌 = 207
• 부록 = 229
• ABSTRACT = 241