지방대학 혁신역량 강화사업 선정 평가의 타당도 및 신뢰도 검토 연구 = A Review of Validity and Reliability of NURI projects' Evaluation Results

다국어 초록 (Multilingual Abstract)

NURI(New University for Regional Innovation) program is a government-funded one for local universities aimed at diversification and specialization, higher employment of local college graduates, a greater role of local universities as a center of regional innovation by strengthening organic ties within a region including local government, companies, and research institutes. The government will invest a total of 1,400 billion won in the NURI program for 5 years, which will last until 2008. Last year, 454 projects applied for the NURI program, and 112 of them were selected.This study aims to see if the evaluation results are credible by analyzing the evaluation scores gathered by the Korea Research Foundation. In particular, it focuses on two main research questions as follows: First, are the evaluation criteria and items appropriate? Second, is the evaluation result reliable? Multivariate analysis methods, such as factor analysis, analysis of variance, internal consistency test, and generalizability test were employed for data analysis.The results show that each evaluation component takes its own independent dimension, which is least connected, and relative contribution of each component to the selection of the project adequately reflects the ratio that is originally intended. That is, the qualitative scores by evaluators have a greater impact on their selection, which are followed by local review, and quantitative scores. There is a considerable overlap among the evaluation items of the qualitative component. While evaluation results are found to be reliable, evaluation items and number of evaluators need to be adjusted for midium-size projects.

국문 초록 (Abstract)

지방대학 혁신역량 강화사업(누리, New University for Regional Innovation: NURI, 사업)은 지방대학의 혁신역량을 강화하여 우수한 인력을 양성하고, 이를 통해 지역발전의 선순환 구조를 만들기 위한 목적으로 교육인적자원부에서 의욕적으로 추진하고 있는 재정지원 사업이다. 이 사업에는 향후 5년간 1조 4천여억원이 투입될 예정인데, 사업 첫 해인 2004년에 총 454개 사업단이 신청서를 제출하여 이 가운데 112개 사업단이 선정되었다. 이 연구는 누리사업 선정평가 결과의 계량적 분석을 통해서 평가의 신뢰도와 타당도를 검토하고 향후 선정 평가의 개선방안을 모색하는 데 주된 목적이 있다. 이를 위해서 이 연구에서는 선정 평가 자료의 분석을 통하여 평가항목 및 지표는 적절하였는지 그리고 평가 결과가 신뢰로운지를 알아보려고 하였다. 평가항목 및 지표의 적절성을 분석하기 위해서 상관분석과 요인분석 등을 활용하였으며, 평가결과의 신뢰도를 알아보기 위해서는 내적일치도 분석과 일반화가능도 모형을 활용하였다. 연구결과, 선정평가의 각 평가요인은 독자적 차원을 구성하고 있으며, 실제 반영비율은 원래의 의도대로 나타났다. 즉, 정성평가가 선정여부에 가장 큰 영향을 주었으며, 다음으로 지역검토, 정량평가, 행제재감점 순으로 나타났다. 정성평가의 세부항목은 개념적으로 중복된 경우가 있었으며, 평가항목은 30개 이내로 간소화하는 것을 고려해 볼 수 있다. 평가결과의 신뢰도 또한 대체로 높게 나타났으나 중형평가의 경우 평가항목 수와 평가자 수의 조정이 필요한 것으로 나타났다.

참고문헌 (Reference)

1 "학교평가에서의 메타평가 준거 개발" 21 (21): 229-258, 2003

2 "평가연구에서 신뢰성과 타당성" 83-97, 1993

3 "지역연구개발사업의 메타평가 연구" 13 (13): 51-68, 2003

4 "지방대학의 경쟁력 강화,자율과 책무의 대학개혁: 제2단계의 개혁" 133-169, 2004

5 "지방대학 혁신역량 강화사업 평가 관련 내부자료" 2004b

6 "지방대학 혁신역량 강화사업 선정평가 결과 분석" 한국학술진흥재단 2004

7 "정책평가를 위한 새로운 모형" 나남출판 1996

8 "정보통신연구개발사업의 메타평가 및 평가개선방안 연구" 9 (9): 225-279, 1997

9 "단위검사 개념의 적용-일반화가능도 이론을 중심으로" 16 (16): 53-70, 2003

10 "누리사업 정책 자료집 [I]" 2004a

11 "고등교육개혁 추진 실상 및 보완방향" 89-117, 2002

12 "Program Evaluation: Alternative Approaches and Practical Guidelines" 1997

13 "Program Evaluation: Alternative Approaches and Practical Guidelines" 1997

14 "Estimating conditional standard errors of measurement for tests composed of testlets" 13 : 161-180, 2000

15 "Elements of generalizability theory" American College Testing 1992

16 "Analysis Issues for Field Settings" Houghton Mifflin Company 1979