FA/AHP 기법을 활용한 국방연구개발사업 메타평가 지표 개발에 관한 연구

국문 초록 (Abstract)

국가 연구개발사업의 효율성과 생산성을 제고하기 위하여, 정부에서는 ‘국가연구개발사업 등의 성과 평가 및 성과관리에 관한 법률’을 제정하여 정부 각 부처의 연구개발 사업 성과의 효율성을 증대시키고 있다. 본 논문은 국방연구개발사업 자체평가시스템 측면에서 메타평가를 실시하기 위하여 요인분석(Factor Analysis)을 통한 계층분석적 의사결정기법(AHP, Analytic Hierarchy Process)을 사용한 평가지표를 개발한 결과이다.
국방연구개발사업의 메타평가를 위한 평가요소로서 평가상황, 평가투입, 평가수행, 평가결과 등 4요소로 구분하여 평가지표를 개발하였다.
평가항목 선정을 위하여 평가요소 및 평가지표간 요인분석을 실시하여 Cronbach’s α 값을 측정한 결과, 평가상황요소는 0.877, 평가투입요소는 0.755, 평가결과요소는 0.792, 평가결과요소는 0.906으로 내적일관성을 고려한 신뢰성은 있는 것으로 나타났다.
그리고 평가요소 및 평가항목별 가중치 산정은 AHP기법을 사용하여 분석하였다. 분석결과 조사자의 전체 일관성 지수는 0.09로 조사자의 일관성은 있는 것으로 분석되었다.

다국어 초록 (Multilingual Abstract)

The purpose of this study is to develop meta evaluating indicators for Defense R&D Programs in Korea. At first, the four components of this meta evaluation model were designed, which are evaluation context, evaluation input, evaluation process, evaluation output. And fifty two indicators were developed for this meta evaluation.
Basic model of meta evaluation was derived from the literature review and brain storming. And this meta evaluation model was determined by adapting the result of experts who performed evaluations for Defense R&D Programs in recent years.
Factor Analysis method was used to verify the validity of meta evaluation model. The survey of fifty three members turned out that Cronbach'α was over 0.6 in evaluation components and items. And the reliability of evaluation context was 0.877, that of evaluation input was 0.755, that of evaluation process was 0.755, that of evaluation output was 0.755 respectively.
Analytic Hierarchy Process (AHP) method was used in assigning the evaluation weight. The survey of twenty two members showed that the Consistency Ratio was 0.09 in evaluation components and items.

목차 (Table of Contents)

• 국문요약
• ABSTRACT
• Ⅰ. 서론
• Ⅱ. 국방 연구개발의 특성
• Ⅲ. 메타평가 모형 분석
• Ⅳ. 국방연구개발사업 메타평가 지표 개발
• Ⅴ. 결론 및 제언
• 참고문헌

참고문헌 (Reference)

1 박종수, "정보화 사업 메타평가를 위한 CIPOU 모형 개발" 충남대학교 2003

2 이찬구, "영국의 범부처간 과학기술정책 평가제도 - 메타평가와 한국에의 시사점 -" 한국정부학회 15 (15): 809-833, 2003

3 조근태, "앞서가는 리더들의 계층분석적 의사결정" 동현출판사 2003

4 방위사업청, "방위력개선사업관리규정"

5 류영수, "기술영향평가의 메타평가 모형개발 및 적용" 한양대학교 2007

6 홍형득, "국가연구개발사업의 메타평가에 관한 실증연구 - 선도기술개발사업을 중심으로 -" 한국정부학회 14 (14): 867-892, 2002

7 과학기술부, "국가연구개발사업 등의 성과평가 및 성과관리에 관한 법률"

8 이형우, "국가연구개발(R&D)사업 평가체제에 관한 소고" 한국정책분석평가학회 15 (15): 191-219, 2005

9 조근태, "계층 분석적 의사결정" 동현출판사 2005

10 Saaty,T.L, "The Analytic Hierarchy" McGraw-Hill 1980

11 이학식, "SPSS 14.0 매뉴얼" 법문사 2008

12 Chen,Huey-Rsyh, "Practical Program Evaluation: Assessing and Improving Planning, Implementation and Effectiveness" Sage Publication 2005

13 Larson, Richard, "On Evaluating Evaluation" 16 (16): 1983

14 Cook T. D, "Metaevaluation Research" 2 (2): 1978

15 Stufflebeam L, "Metaevaluation : Concepts, Standard, and Uses, Educational Evaluation Methodology" JHU Press 1981

16 Hong H.D, "Meta-evaluation of National Large-Scale R&D Programs : A Comparison of Evaluation Systems of 6 National R&D Programs" University of Manchester 2000

17 OECD, "Improving Evaluation Practices-Best Practice Guidelines for Evaluation and Background Paper" OECD 1999

18 American Evaluation Association, "Guidelines for Evaluator" Jossey-Bass 1995

19 Scriven M, "Evaluation Thesaurus(4th ed.)" Sage Publication 1991

20 과학기술혁신본부, "2008년도 국가연구개발사업 자체평가매뉴얼" 과학기술혁신본부 2008