공공기관 경영평가에서 상대평가의 오류가능성 분석 = An Analysis on Rating Errors by Relative Performance Evaluation for Public Enterprises

다국어 초록 (Multilingual Abstract)

This paper analyzes the possible existence of rating errors by relative performance evaluation for Korean public enterprises. Data was collected from the 2007 performance evaluation results for 75 Korean public enterprises. The results of the analysis show that rater errors are significantly involved in the process of relative performance rating among enterprises by individual indicators rather than among indicators by individual enterprises. In particular, such errors are found more significant in the ratings with lower scores rather than that with higher scores. The results are also found in the analysis by functional groups. These results suggest the complementary reconciliation of absolute rating by the level of performance and relative rating by forced distribution.

국문 초록 (Abstract)

본 연구는 2007년도 정부산하기관 경영평가결과를 대상으로 평가과정에서 발생하는 상대평가의 오류가능성을 분석하였다. 자료는 75개 정부산하기관에 대하여 총 12개 지표에 각각 9등급으로 부여된 평가점수를 활용하였다. 상대평가의 오류가능성은 지표별 기관 간 오류가능성과 기관별 지표 간 오류가능성으로 구분하여, 특정기관 특정지표의 평균평점이 상대평가 요인, 즉 다른 기관들 또는 다른 지표들 평점의 분산 값으로부터 영향을 받는지 여부를 분석하였다. 전체 기관을 대상으로 한 분석결과, 지표별 기관간의 평가에 있어서 다른 기관들 평점의 분산정도와 실제 평가점수가 유의미한 관계가 있는 반면, 기관별 지표간 평가의 경우 다른 지표들 평점 분산값과 실제 평가점수 간 관계가 유의미하지 않았다. 그리고 이러한 경향은 부정적 평점에서보다 긍정적 평점에서 더 크게 발생하고 있다. 또한 각 기관 유형별로 살펴본 분석 결과도 이와 유사하게 나타났다. 본 논문은 상대평가의 오류가능성을 최소화하기 위하여 절대평가를 가미한 상대평가의 운영, 기관 순위 중심에서 평가지표 순위 중심으로 전환, 평가 훈련 프로그램 시행 등의 정책적 시사점을 제공한다.

참고문헌 (Reference)

1 신동일, "후광효과의 이해를 통한 채점 오류 분석 연구" 9 (9): 215-232, 2002

2 최연희, "채점자 훈련이 영어 작문 채점에 미치는 효과에 대한 연구: FACETS 분석을 통한 신뢰도 변화 분석" 한국응용언어학회 18 (18): 13-292, 2002

3 신동일, "채점 경향 분석을 위한 Rasch 측정 모형 적용 연구" 8 (8): 249-272, 2001

4 이환범, "지방공기업의 경영성과관리와 평가지표개발/자료포락분석(DEA)에 의한 효율성 측정" 서울행정학회 15 (15): 2005

5 김종희, "지방공기업 경영평가의 수용도 제고방안" 한국지방행정연구원 21 (21): 75-95, 2007

6 이석원, "조정성과지표를 사용한 공공기관의 성과측정: 정부투자기관경영평가에의 적용" 한국행정학회 39 (39): 81-104, 2005

7 곽채기, "정부투자기관의 비효율성 통제를 위한 경영평가제도의 역할 및 운영성과" 15 (15): 2003

8 곽병한, "정부투자기관 경영평가지표의 인과관계에 관한 실증분석" 2005

9 박명호, "정부투자기관 경영평가를 위한 비계량 평가지표의 개선방향" 12 (12): 2000

10 이창길, "정부산하기관 경영평가에서의 후광효과(Halo Effect)에 관한 연구" 한국행정학회 43 (43): 151-172, 2009

11 윤기웅, "재정사업 자율평가제도의 평가- 2005~2007년 평가결과에 대한 종합분석" 한국행정연구원 17 (17): 89-113, 2008

12 유민봉, "인사행정론" 박영사 2007

13 이영식, "영어 작문 채점에 대한 평가 신뢰도에 대한 분석" 52 (52): 221-242, 1998

14 곽채기, "공기업 선진화방안 - 공기업 개혁을 위한 법ㆍ제도적 기반 구축 방안을 중심으로" 81-100, 2008

15 오연천, "공기업 구조조정과 경영평가제도의 개선 방향" 10 (10): 3-10, 1998

16 송대희, "공기업 경영평가제도의 회고와 발전 방향" 15 (15): 1-10, 2003

17 김준기, "공기업 경영평가제도의 성과와 향후 과제" 10 (10): 2001

18 박석희, "공공부문의 성과관리제도와 조직역량: 차단된 시계열설계를 통한 13개 공기업의 실증분석" 한국행정학회 40 (40): 219-244, 2006

19 노화준, "공공부문 성과측정의 이슈와 정책평가제도의 개혁방향" 10 (10): 2000

20 박영범, "경영환경변화의 수용을 위한 정부투자기관 경영평가제도의 비계량지표의 개선방안" 10 (10): 1998

21 최성락, "경영 평가 제도의 성과 분석" 한국행정연구소 47 (47): 183-208, 2009

22 Mark, M. M., "The mechanism and outcomes of evaluation influence" 10 (10): 35-57, 2004

23 Brown, A., "The effect of rater variables in the development of an occupation-specific language performance test" 12 (12): 1-15, 1995

24 Gibbons, Robert, "Relative performance evaluation for chief executive officers" 43 (43): 30-51, 1990

25 Dye,Ronald A., "Relative performance evaluation and project selection" 30 (30): 27-52, 1992

26 Steers,R.M., "Problems in the measurement of organizational effectiveness" 20 : 546-558, 1975

27 Nankervis, Alan R., "Performance management: Theory in practice?" 44 : 83-101, 2006

28 Stanton,M., "Increasing the accountability of government sponsored enterprises: Next Steps" 51 (51): 572-575, 1991

29 Gabris, G., "Improving employee acceptance toward performance appraisal and merit systems: The role of credible leadership" 20 (20): 41-53, 2000

30 King, L.M., "Halo in a multidimensional forced choice performance evaluation scale" 65 : 507-516, 1980

31 Borman, W. C., "Exploring upper limits of reliability and validity in job performance ratings" 63 (63): 135-144, 1978

32 Hedge, J., "Exploring the concept of acceptability as a criterion for evaluating performance" 25 (25): 22-44, 2000

33 Bernardin,H.J., "Effects of rater training on leniency and halo errors in student ratings of instructors" 63 (63): 301-308, 1978

34 Jenter, Dirk, "CEO Turnover and Relative Performance Evaluation, Working paper" Stanford University 2006

35 Facteau,, J.D., "Are performance appraisal ratings from different rating sourced comparable?" 86 : 215-227, 2001

36 기획재정부, "2009년도 공기업 준정부기관 경영평가단 워크숍 자료집" 2009

37 기획예산처, "2007년도 정부산하기관 경영평가단 워크숍 자료집" 2007