정부출연연구기관 평가에 대한 메타평가 모형 설계 및 적용 : 경제·인문사회연구회 평가시스템을 중심으로 = Design and Application of Metaevaluation Model for Government-funded Research Institutes Evaluation System in Korea

국문 초록 (Abstract)

정부출연연구기관 평가에 대한 메타평가 모형 설계 및 적용: 경제·인문사회연구회 평가시스템을 중심으로
한국의 ‘두뇌집단(think tank)’인 정부출연연구기관(‘연구기관’이라 한다)은 지난 1960년대 이래 국가의 중장기 비전을 수립하고 주요 정책 및 과학기술 개발 등을 통해 국가 발전을 선도하는 역할을 수행해 왔다.
본 연구는 1999년 연구회체제의 출범과 함께 도입된 경제·인문사회연구회 소관 23개 연구기관 평가에 대한 메타평가(metaevaluation), 즉 ‘평가에 대한 평가(evaluation of evaluation)’를 통해 보다 바람직한 평가시스템을 모색하기 위해 실시되었다. 이를 위해 연구기관 평가에 대한 체계적인 분석틀을 의미하는 메타평가 모형을 설계하고, 이 메타평가 모형을 적용하여 연구기관 평가시스템에 대한 평가를 실시함으로써 개선방안을 도출하였다. 연구결과를 요약하면 다음과 같다.
먼저, 연구기관 평가에 대한 메타평가 모형을 설계(設計)하였다.
첫째, 문헌연구 결과를 바탕으로 체제론적 접근법에 입각하여 평가의 환경(Environment), 투입(Input), 수행(Process), 활용(Utilization) 등 4개의 평가영역과 하위요소로 구성된 ‘메타평가 모형 초안’을 설정하였다. 초안에 대해 평가전문가 7인을 대상으로 면접조사를 실시하여 ‘메타평가 모형 수정안’을 작성하였다. 이 수정안에 대해 다시 평가전문가 14인을 대상으로 설문 및 면접조사를 실시하여 4개 평가영역, 14개 평가항목, 31개 평가지표로 조정된 ‘메타평가 모형(案)’을 도출하였다.
둘째, 메타평가 모형(안)에 대해 연구기관 평가위원 29인을 대상으로 설문조사를 실시하여 적합성 검증을 수행하였다. 적합성 검증은 Likert 5점 척도의 평균 산정에 의한 내용타당성 검증과 Cronbach's α 계수 추정에 의한 내적 일관성 검증 방법을 사용하였다. 내용타당성 검증 결과 메타평가 모형(안)의 모든 지표에 대한 평점이 3.78 이상으로 나타나 중앙값(3.0)보다 높은 것으로 확인되었다. 또한 내적 일관성 검증에서는 평가영역에 대한 Cronbach's α 계수가 0.61에서 0.91, 전체적으로는 0.92로 나타나 신뢰성이 양호한 것으로 판정하였다. 따라서 메타평가 모형(안)은 본 연구의 분석에 적용할 메타평가 모형으로 최종 확정되었다. 이 모형은 ‘정부출연연구기관 평가에 대한 EIPU 메타평가 모형’이라 명명하였다.
다음으로, 메타평가 모형을 적용(適用)하여 연구기관 평가시스템에 대한 메타평가를 실시하였다. 메타평가는 연구기관의 평가업무 관계자 48인을 대상으로 한 설문조사 결과를 참고하고, 메타평가 모형에서 제시된 평가기준에 따라 평가보고서 등의 2차 자료에 대한 질적 분석에 초점을 맞추어 수행하였다.
우선, 연구기관 설문조사 분석 결과 ‘평가결과 확정 절차의 적절성’에 대한 평점이 가장 낮았고, ‘평가자와 평가대상자간 의사소통의 충분성’, ‘연구보고서 평가방법의 적절성’의 순으로 평점이 낮은 것으로 나타났다. 또한 연구기관이 지적하는 평가개선 우선순위에서는 ‘평가결과 확정 절차의 적절성’이 최우선 순위로 지적되었고, ‘연구보고서 평가방법의 적절성’, ‘평가단 구성의 적절성’의 순으로 확인되었다.
이어, 연구기관 평가시스템에 대한 질적 분석은 확정된 메타평가 모형의 각 평가항목별로 실태 분석과 가치 및 장단점 평가로 구분하여 실시하였다. 또한 메타평가 결과를 종합하여 문제점을 도출하였다. 문제점은 설문조사에 따른 양적 분석 결과와 메타평가 항목에 의한 질적 분석 결과를 종합하여 중요하고도 시급한 개선이 필요한 문제점을 중심으로 정리하였다.
이상과 같은 분석결과를 토대로 다음과 같이 개선방안을 제시하였다.
첫째, 평가환경(Environment)영역에서는 평가목적과 평가주기에 관한 개선이 가장 중요하고 시급한 것으로 제시하였다. 평가목적의 합리성을 제고하기 위해 관리·통제 위주의 현행 평가목적을 연구기관 발전을 촉진할 수 있는 방향으로 전환할 것을 제안하였다. 한편, 평가주기는 중장기 국가정책 연구를 임무로 하는 연구기관 평가에 부합하도록 보다 장기화 할 것을 강조하였다.
둘째, 평가투입(Input)영역에서는 평가인력의 전문성 및 사전교육 강화에 주력할 것을 제안하였다. 전문성 강화를 위해 연구회에서 직접 평가를 수행하거나 기획평가위원회에서 수행하는 대안을 검토할 수 있으며, 평가위원 사전교육을 실질적으로 강화할 수 있는 방안을 모색해야 한다. 평가결과의 정확성과 신뢰성을 제고하기 위한 일환으로 평가위원 실명제(實名制)를 도입하는 방안도 고려할 만하다.
셋째, 평가수행(Process)영역에서는 평가지표의 합리적 조정 및 연구기관 특성 반영 강화, 연구보고서 평가절차 및 결과 서술방식 개선, 평가근거 및 제언의 구체화 등 평가보고서 작성방식의 개선을 제안하였다. 특히 이러한 문제점들에 공통적으로 내재하는 원인을 평가자와 평가대상자 간의 의사소통 부족으로 진단하였다.
넷째, 평가활용(Utilization)영역에 서는 평가자와 연구기관 간의 의사소통 확대, 평가결과 공개범위 및 수준 향상, 평가결과 활용을 위한 법제도 정비, 평가시스템에 대한 평가 및 개선활동 강화 등을 제시하였다. 개선방안을 실제 정책과정에서 구현하기 위해서는 실질적인 권한을 가지고 있는 주요 이해관계자들의 참여와 협력이 중요함을 강조하였다.
한편, 본 연구에서 수행한 메타평가 모형 설계는 다음과 같은 측면에서 이론적 의의 및 함의(含意)를 지닌다.
첫째, 본 연구는 메타평가 모형 설계의 영역(領域)을 확장하였다. 이 연구는 경제인문사회분야 연구기관 평가에 대한 최초의 메타평가 연구이다. 본 모형은 기본적으로 ‘기관평가’에 대한 모형이라는 속성을 지니고 있으므로 ‘정부업무평가 기본법’의 시행에 따라 법제화된 중앙행정기관·지방자치단체·이들 소속기관 등의 기관평가에 대한 메타평가 모형 설계에 실마리를 제공할 수 있을 것이다.
둘째, 메타평가에 관한 해외의 최신 선행연구(先行硏究)를 종합적으로 소개함으로써 후속연구를 위한 기초자료를 제공하고자 하였다. 특히 UN의 평가표준과 OECD의 평가품질표준은 메타평가 모형의 설계에 유용한 자료이다.
셋째, 메타평가 연구방법(硏究方法)에 관한 새로운 접근을 시도하였다. 메타평가에 관한 국내 선행연구들은 주로 문헌연구방법에 의존하고 있다. 이에 반해 본 연구는 메타평가 모형의 설계에서는 문헌연구를 통해 도출된 안(案)에 대해 타당성과 신뢰성을 검증하는 방법을 추가하였다. 그리고 메타평가 실시 단계에서는 2차 자료 분석을 주요수단으로 삼아 문제점 및 그 원인의 질적 분석에 초점을 맞추었다.
넷째, 본 메타평가 모형은 연구기관 평가의 고유한 특성(特性)을 적극 고려하여 설계하였다. 평가지표별 평가주기의 신축성, 연구기관 특성에 따른 평가배점 선택의 신축성, 연구보고서 평가방법의 적절성, 평가등급 산정의 합리성 등이 그 예이다.
한편, 본 연구를 통해 다음과 같은 정책적 시사점을 발견할 수 있다. 첫째, 평가정책의 가장 기본적인 선행조건을 평가대상기관의 특성에 부합하는 합리적인 평가목적의 설정에 두어야 한다는 점이다. 둘째, 평가에 따른 평가대상기관의 업무부담을 최소화 하면서 소기의 목적을 달성할 수 있는 다양한 방안이 강구되어야 한다. 셋째, 평가과정 전반에 걸쳐 평가주체와 평가대상 간의 의사소통을 확대하고 참여와 협력에 근거한 평가체계를 구축해야 한다. 끝으로, 법에 따라 의무적으로 실시되는 제도적 평가에 대해서는 메타평가를 정례화 할 필요가 있다.
본 연구가 보다 바람직한 연구기관 평가시스템을 구축하는데 한 톨의 씨앗이 되었으면 한다. 이를 통해 현행 평가시스템이 연구기관의 발전을 촉진하고 합리적인 국가연구체제(國家硏究體制)의 구축에 더욱 기여할 수 있기를 기대한다.

다국어 초록 (Multilingual Abstract)

The main goal of this research is to improve current evaluation system for 23 government-funded research institutes under the National Research Council for Economics, Humanities and Social Sciences(NRCS) by means of evaluating the current system through a metaevaluation method. Since 1960s, the government-funded research institutes, as a think tank of Korea, have made a significant contribution to formulating national visions for major public policies as well as for innovative technological developments. However, given that the current evaluation system itself has not been properly tested yet, it needs to be evaluated so that its performance effectiveness can be guaranteed or improved.
In an attempt to achieving the main goal, this research first designs a metaevaluation model as a systemic research framework. Based on the literature review, the first draft for the proposed metaevaluation method in the systemic evaluation approach was made, which composed of four components(Environment, Input, Process, and Utilization) and their sub-items. The first draft was reviewed by 7 evaluation experts, and then revised the draft. The revised draft was, then, reviewed again by 14 evaluation experts by means of a face-to-face survey. This survey process results in the final draft that has four evaluation components, fourteen evaluation items and 31 evaluation indicators.
The final draft was evaluated again by 29 institute evaluators who work for the NRCS. In order to obtain the adequacy verification of the model, the Likert-scaled test was conducted. The test results shows that the final draft of the metaevaluation model guarantees the adequacy in the aspects of both its content validity and internal consistency.
Second, given the guaranteed adequacy of this research's metaevaluation model, this research applies the model to test the current evaluation system. Prior to the metaevaluation test, this research conducts another survey among 48 staff members working for the research institutes, and the survey reveals four major limitations in the current evaluation system: first, the low level of propriety in the process of grading evaluation results; second, the insufficient communication between evaluators and evaluatees; third, the absence of proper method for evaluating the institutes' research reports; and fourth, the individual evaluators' low level of understanding on each specialized evaluation tasks. Based on these findings, following the metaevaluation model's evaluation items, this research evaluated the current evaluation system in terms of its current applications, worth, merits and demerits.
Summarizing both the quantitative survey findings and qualitative meta-analysis' results, this research addresses the following to improve the current evaluation system.
First, the current system's evaluation purpose and frequency needs to be re-established in a way that enhances each institute's own research mission and supports its long-term research for major national policies.
Second, the current system needs a proper way to deal with each specialized evaluation task effectively. In addition to establishing a workshop for evaluators, the direct involvement of the NRCS or the Planning and Evaluation Committee during the research institutes evaluation process, as well as the adoption of real-name-based evaluation system, would help increase the effectiveness.
Third, the communication level between evaluators and evaluatees in the current system needs to be increased. The increased communication level would help the current evaluation system in terms of (1) revising the evaluation indicators, (2) specifying evaluation criteria and recommendations, and (3) improving the evaluation process and the format of the evaluation report, under the proper consideration of each research institute's characteristics and unique circumstances.
Finally, in order to improve the utilization aspect of the current system, it is also necessary (1) to share the evaluation results with research institute evaluatees in some degree, (2) to improve the quality of the evaluation outcomes, (3) to revise current evaluation-system-related laws and ordinances, and (4) to establish a metaevaluation system for the future.
As designing a metaevaluation model and applying it to test the current evaluation system, this research also reveals four major theoretical implications.
First, this research broadens the application range of metaevaluation model given that no previous research has attempted to applying this model to evaluate research institutes in the fields of Economics, Humanities and Social Sciences. This approach may be applied to other public institutions, including central government, local governments, and their institutions which are required to be evaluated pursuant to the Act on Government Performance Evaluation.
Second, this research's introduction of UNEG(United Nations Evaluation Group)'s standards for evaluation as well as OECD/DAC(Development Assistant Committee)'s evaluation quality standards provides a basis for the future research on the metaevaluation model design and application.
Third, unlike the previous metaevaluation research approach, this research conducted validity and reliability tests for the final draft of the metaevaluation model, which draft was prepared via literature-based theoretical and practical review.
Fourth, given that this research's metaevaluation model is based on profound consideration on each research institute's unique characteristics, this model addresses the propriety of the evaluation method and the importance of flexibility in setting up the evaluation frequency and the evaluation plan, as well as the rationality for the final evaluation grades.
This research's major findings and implications for the future research and practice will serve as a starting point from which the more effective evaluation system for the government-funded research institutes in Korea can be developed. The future evaluation system will eventually promote the development of individual research institutes that also constitute the future national R&D system.
Keyword: government-funded research institutes, evaluation, metaevaluation, model, evaluation standards, evaluation criteria, the National Research Council for Economics, Humanities and Social Sciences(NRCS), Korea.

목차 (Table of Contents)

• 국문초록 = i
• 제1장 서론 = 1
• 제1절 연구의 배경 및 목적 = 1
• 1. 연구의 배경 = 1
• 2. 연구의 목적 = 4
• 제2절 연구의 범위 및 방법 = 8
• 1. 연구의 범위 = 8
• 2. 연구의 구성 및 방법 = 9
• 제2장 제도적 및 이론적 고찰과 선행연구 검토 = 13
• 제1절 정부출연연구기관 현황 = 13
• 1. 정부출연연구기관 개황 = 13
• 2. 정부출연연구기관 발전경과 = 15
• 3. 경제·인문사회연구회 연구기관 현황 = 19
• 제2절 연구기관 평가제도의 도입 및 변천 = 27
• 1. 연구기관 평가의 제도화 논리 = 27
• 2. 연구기관 평가제도의 도입배경 = 30
• 3. 연구기관 평가제도의 변천과정 = 32
• 제3절 연구기관 평가 및 메타평가의 의의 = 40
• 1. 정책평가와 연구기관 평가 = 40
• 2. 연구기관 평가의 의의 = 46
• 3. 메타평가의 의의 및 목적 = 50
• 제4절 연구기관 평가 및 메타평가 선행연구 검토 = 60
• 1. 연구기관 평가에 관한 선행연구 개괄 = 60
• 2. 연구기관 평가 선행연구와 본 연구와의 차별성 = 67
• 3. 메타평가에 관한 선행연구 분석 = 71
• 제5절 연구의 분석틀 = 108
• 제3장 연구기관 평가에 대한 메타평가 모형의 설계 = 113
• 제1절 메타평가 논리모형 설정 = 113
• 제2절 메타평가 구성요소 개발 = 116
• 1. 메타평가 구성요소 초안 = 116
• 2. 메타평가 구성요소 수정안 = 121
• 3. 메타평가 구성요소(안) = 126
• 제3절 메타평가 구성요소 적합성 검증 = 134
• 1. 메타평가 구성요소의 적합성 검증 방법 = 134
• 2. 메타평가 구성요소의 타당성 검증 = 138
• 3. 메타평가 구성요소의 신뢰성 검증 = 140
• 제4절 메타평가 모형 확정 = 141
• 1. EIPU 메타평가 모형의 구성요소 = 141
• 2. EIPU 메타평가 모형의 특징 = 144
• 제4장 연구기관 평가에 대한 메타평가 모형의 적용 = 146
• 제1절 연구기관 설문조사 = 146
• 1. 설문조사 개요 = 146
• 2. 설문조사 결과 요약 = 147
• 제2절 평가환경영역 분석 = 151
• 1. 평가근거 = 152
• 2. 평가목적 = 156
• 3. 평가주기 = 161
• 제3절 평가투입영역 분석 = 164
• 1. 평가역량 = 165
• 2. 평가자료 = 171
• 3. 평가시간 = 174
• 제4절 평가수행영역 분석 = 179
• 1. 평가내용 = 179
• 2. 평가절차 = 185
• 3. 평가방법 = 190
• 4. 평가보고서 = 196
• 제5절 평가활용영역 분석 = 200
• 1. 평가결과 확정 = 200
• 2. 평가결과 보고 = 206
• 3. 평가결과 활용 = 211
• 4. 평가시스템 개선 = 219
• 제6절 연구기관 평가시스템의 문제점 종합 = 227
• 1. 설문조사에서 나타난 문제점 분석 = 228
• 2. 평가환경영역의 문제점 = 230
• 3. 평가투입영역의 문제점 = 232
• 4. 평가수행영역의 문제점 = 233
• 5. 평가활용영역의 문제점 = 235
• 제5장 연구기관 평가시스템 개선방안 = 238
• 제1절 평가환경영역 = 238
• 1. 평가목적의 합리성 제고 및 체계화 = 238
• 2. 평가주기의 장기화 및 지표별 신축성 확대 = 240
• 제2절 평가투입영역 = 242
• 1. 평가인력의 전문성 및 사전교육 강화 = 242
• 제3절 평가수행영역 = 245
• 1. 연구보고서 평가절차 및 결과 서술방식 개선 = 245
• 2. 평가지표의 합리적 조정 및 연구기관 특성 고려 = 247
• 3. 평가근거 및 제언의 구체화 등 평가보고서 작성방식 개선 = 248
• 제4절 평가활용영역 = 250
• 1. 평가자와 연구기관 간의 의사소통 확대 = 250
• 2. 평가결과 공개범위 확대 및 수준 향상 = 253
• 3. 평가결과 활용을 위한 법제도 및 기준 정비 = 255
• 4. 평가시스템에 대한 평가 및 개선활동 강화 = 257
• 제6장 결론 = 261
• 제1절 연구결과의 요약 = 261
• 제2절 연구결과의 시사점 = 264
• 제3절 연구의 한계 및 향후 과제 = 267
• 참고문헌 = 269
• 부록 = 287
• 부록 A 메타평가 구성요소 선정에 관한 전문가 조사 설문지 = 287
• 부록 B 메타평가 구성요소 타당성 검증을 위한 설문지 = 294
• 부록 C 연구기관 평가에 대한 메타평가를 위한 설문지 = 298
• ABSTRACT = 302
• 감사의 글 = 306