메타평가를 적용한 국가연구개발사업 평가시스템의 효율성 분석 = (An) analysis of efficiency of the national R&D program evaluation system using meta evaluation

다국어 초록 (Multilingual Abstract)

This study evaluates the Specific Evaluation among the several evaluation sub-systems of the National R&D Program Evaluation System that the National Science and Technology Council has been implementing since 2006, including whether the Specific Evaluation has been appropriately composed and properly implemented and what the outcome is when a designed Meta Evaluation Model is actually applied to the evaluation of National R&D Programs.
In this study, concepts that are appropriate for the National R&D Program and Evaluation were set first by reviewing preceding studies on policy evaluation and Meta evaluation, and a Meta evaluation model was designed with considerations for evaluation items and characteristics that were used in the preceding studies in order to perform Meta evaluation of the Specific Evaluation of National R&D Programs. The Meta evaluation model for Specific Evaluation of National R&D Programs was categorized in accordance with the five composition factors, namely, evaluation context factor, evaluation resources factor, evaluation process factor, evaluation outcomes factor and evaluation utilization factor. The evaluation items and indices used in the preceding studies were categorized into the five factors. Then, the author has additionally selected and deduced evaluation items and indices, which were subjected to review by experts. As such, the basic framework of analysis of this study for in-depth evaluation of Specific Evaluation of National R&D Programs was composed of the 5 evaluation composition factors, 18 evaluation categories and 56 evaluation indices.
Reliability and appropriateness of evaluation items and indices set as above were executed through questionnaire survey with the evaluation members of the Specific Evaluation Committee on National R&D Program as subjects, and weights of each evaluation composition factor and evaluation item were measured and applied by utilizing the analytical hierarchy process (AHP) with experts in evaluation of National R&D Programs and policy evaluation as subjects.
Score allocation system was attempted, as a Meta evaluation method, in order to enable interested parties of National R&D Program Evaluation to easily apply and understand. The score for each evaluation item was computed as the average value of evaluation indices (evaluation sub-items) composed of 5-point scale. In addition, the score for each evaluation item to which weight was reflected on was calculated in 100-point scale for evaluation under each evaluation composition factor, and the average value of scores of the total five evaluation factors were computed as the integrated score. The score for each evaluation factor and the integrated score were each evaluated to be excellent if they are higher than 84, very good if higher than 67 but lower than 84, good if higher than 50 but lower than 67, poor if higher than 25 but lower than 50, and very poor if lower than 25.
The Meta evaluation on Specific Evaluation of National R&D Programs was actually executed through questionnaire survey using evaluation index of the Meta evaluation model with members of the Special Evaluation Committee on National R&D Program. Although evaluation context factor, evaluation process factor, evaluation outcomes factor and evaluation utilization factor among the five evaluation composition factors were found to be "very good", the evaluation resources factor was found to be "good", thereby requiring systematic analysis on the evaluation resources factor and its improvement.

국문 초록 (Abstract)

본 연구는 국가과학기술위원회에서 2006년부터 실시하고 있는 국가연구개발사업의 평가시스템 중 특정평가에 대해 그 평가시스템이 적정하게 구성되어 있는지, 평가는 제대로 이루어졌는지, 설계된 메타평가모형을 국가연구개발사업평가에 적용하였을 때 그 결과는 어떠한지 등을 종합적으로 평가하였다.
본 연구에서는 먼저 정책평가와 메타평가에 대한 선행연구들을 검토하여 국가연구개발사업 및 평가에 적합한 개념들을 설정하고, 국가연구개발사업 특정평가의 메타평가를 위하여 선행연구들에서 사용되어진 평가항목 및 특성을 고려한 메타평가모형을 설계하였다. 국가연구개발사업 특정평가의 메타평가모형은 평가상황요소, 평가자원요소, 평가수행요소, 평가결과요소, 평가활용요소 등 5개 구성요소와 선행연구에서 사용되어진 평가항목 및 평가지표들을 메타평가모형의 5개 구성요소에 따라 분류하였으며, 여기에 국가연구개발사업 특정평가에 대한 심층적 평가를 위해 본 연구자가 도출하여 전문가들의 검토를 거쳐 추가적으로 선정한 평가항목 및 평가지표 등을 포함하여, 5개 평가구성요소, 18개 평가항목 및 56개 평가지표를 본 연구의 실질적인 분석의 틀로서 설계하였다.
이렇게 설정된 평가항목 및 평가지표에 대하여 국가연구개발사업 특정평가위원회 평가위원을 대상으로 설문조사를 실시하여 신뢰성 및 타당성을 검증하였으며, 국가연구개발사업평가 및 정책평가 전문가를 대상으로 계층분석기법을 활용하여 각 평가구성요소 및 평가항목에 대한 가중치를 측정하여 적용하였다.
메타평가방법으로는, 국가연구개발사업 평가관련자들이 쉽게 응용하거나 이해하기 쉽도록 점수화를 시도하였는데, 평가항목별 점수는 5점 척도로 이루어진 하위평가지표들의 평균값으로 구하였다. 또한 평가구성요소별 평가는 가중치를 반영한 각 평가항목별 점수를 100점 만점으로 환산하였으며, 이들 평가요소별 점수의 평균값을 종합점수로 산출하였다. 평가구성요소별 점수 및 종합점수는 84점 이상을 매우 우수로, 67점 이상 84점 이하를 우수로, 50점 이상 67점 미만을 보통으로, 25점 이상 50점 미만을 미흡으로, 그리고 25점 미만이면 불량으로 각각 평가하였다.
국가연구개발사업 특정평가에 대한 실제 메타평가는 국가연구개발사업 특정평가위원회 평가위원들을 대상으로 메타모형의 평가지표를 활용한 설문을 통하여 실시하였는데, 평가구성요소 중 평가상황요소, 평가수행요소, 평가결과요소, 평가활용요소 등은 모두 ‘우수’한 것으로 평가되었으나, 평가자원요소가 ‘보통’으로 평가되어 평가자원요소에 대한 체계적인 분석과 함께 개선이 필요한 것으로 나타났다.

목차 (Table of Contents)

• 제1장 서론 = 1
• 1.1 연구의 목적 = 1
• 1.2 연구의 범위 및 구성 = 4
• 제2장 국가연구개발사업과 국가연구개발사업평가 = 6
• 2.1. 국가연구개발사업의 개념 및 현황 = 6
• 2.1.1. 국가연구개발사업의 개념 = 6
• 2.1.2. 국가연구개발사업 추진현황 = 7
• 2.2. 국가연구개발사업평가의 개념 및 현황 = 11
• 2.2.1. 국가연구개발사업평가의 개념 = 11
• 2.2.2. 국가연구개발사업평가의 필요성 = 12
• 2.2.3. 국가연구개발사업평가의 유형 = 13
• 2.2.4. 국가연구개발사업평가의 특징 = 15
• 2.2.5. 국가연구개발사업평가 추진현황 = 16
• 2.3. 국가연구개발사업평가와 메타평가의 관계 = 20
• 2.3.1. 정책평가의 개념 = 20
• 2.3.2. 정책평가의 목적 = 22
• 2.3.3. 국가연구개발사업평가와 메타평가 = 24
• 제3장 메타평가에 관한 기존문헌의 검토 = 26
• 3.1. 메타평가의 의의 = 26
• 3.1.1. 메타평가의 개념 = 26
• 3.1.2. 메타평가의 목적 = 30
• 3.1.3 메타평가의 유형 = 35
• 3.2. 국내외 학자들이 제시한 메타평가의 구성요소 = 40
• 3.2.1. 외국학자들의 메타평가 구성요소 = 40
• 3.2.2. 국내학자들의 메타평가 구성요소 = 47
• 3.3. 기존연구의 검토 = 54
• 제4장 국가연구개발사업 메타평가 모형설계 및 지표개발 = 58
• 4.1. 메타평가의 방법 = 58
• 4.1.1. 메타평가 방법론 = 58
• 4.1.2. 국가연구개발사업 평가시스템의 메타평가 방법 = 59
• 4.2. 국가연구개발사업 평가시스템의 메타평가 모형 설계 = 64
• 4.2.1. 국가연구개발사업 평가시스템의 메타평가 모형 설정 = 64
• 4.2.2. 메타평가모형의 평가구성요소별 평가항목 및 평가지표 설정 = 65
• 4.3. 메타평가지표의 신뢰도 검증 및 가중치 적용 = 85
• 4.3.1. 메타평가지표의 신뢰도 검증 = 85
• 4.3.2. 메타평가지표의 가중치 적용 = 87
• 제5장 국가연구개발사업 평가시스템의 효율성 분석 = 93
• 5.1. 메타평가 결과의 신뢰도 검증 = 93
• 5.2. 평가구성요소별 메타평가결과 = 94
• 5.2.1. 평가상황요소의 메타평가 결과 = 94
• 5.2.2. 평가자원요소의 메타평가 결과 = 104
• 5.2.3. 평가수행요소의 메타평가 결과 = 111
• 5.2.4. 평가결과요소의 메타평가 결과 = 118
• 5.2.5. 평가활용요소의 메타평가 결과 = 122
• 5.3. 종합평가 결과 = 127
• 5.3.1. 총평 = 127
• 5.3.2. 효율적인 평가제도 개선을 위한 제언 = 134
• 제6장 결론 및 향후 연구방향 = 137
• 6.1. 연구결과의 요약 = 137
• 6.2. 연구한계와 향후 연구방향 = 139
• 참고문헌 = 141
• 부록 = 149
• ABSTRACT = 170