HRD 프로그램의 반응평가에 대한 메타평가 연구 = Meta evaluation on reaction assessment in HRD

다국어 초록 (Multilingual Abstract)

The purpose of this study is to understand the characteristic of reaction assessment and value the quality of it as a evaluation system. To meta-evaluate reaction assessment a survey of 188 HRD professionals in 15 Korean large enterprises and confirmation survey interview were conducted. The results of the analysis are as follows: First, the characteristic of reaction assessment descended from justice, feasibility, accuracy, utility, publicity. In detail, reaction assessment conducted to protect the rights and welfare of human subjects and respect human dignity and worth in interactions with stakeholder but on the other hand the information collected isn't broadly selected to address pertinent questions about the program and isn't responsive to the needs and interests of stakeholders. These results lead to the conclusion that reaction assessment has political viability based on human rights, feasibility of implement evaluation and stability of evaluation procedure. To improve the quality of reaction assessment triangulation of information gather method, elaboration standards of data analysis and interpretation of it and accurate reporting of evaluation are required.

국문 초록 (Abstract)

본 연구는 HRD 프로그램 반응평가의 속성을 이해하고 평가로서의 질을 분석하기 위하여 반응평가에 대한 메타평가를 실시하여 구체적인 문제점을 도출하고 개선방안을 도출하는 것을 목적으로 한다. 이를 위해 15개 기업의 HRD 담당자를 대상으로 메타평가 설문 조사를 실시하였으며, 총 188명의 응답을 분석한 후 확인 조사 면접을 통해 평가 결과를 해석하였다. 평가 결과를 메타평가 항목 간에 비교한 결과, 반응평가의 공정성이 가장 높게 나타났으며, 이어서 실행가능성, 정확성, 유용성, 공식성의 순으로 나타났다. 평가 결과를 세부 항목별로 분석한 결과, 공정성 부문의 이해관계자의 권위 및 가치 존중, 이해관계자에 대한 윤리적, 도덕적 배려, 정확성 부문의 평가 결과에 대한 왜곡 없는 보도는 높게 평가되었나, 유용성 부문의 평가정보 해석 및 가치판단 기준의 명확성 및 평가 정보의 충분성, 공식성 부문의 평가절차에 대한 계획의 공식성 등은 낮게 평가되었다. 즉, 반응평가는 인간적 배려에 기초한 정치적 생존력, 실행의 용이성, 평가방법 및 절차의 안정성 등의 특징을 가지고 있으며, 평가의 질 향상을 위해 평가방법의 다양화, 평가정보 분석 및 해석 절차의 구체화, 정확한 평가정보 생성 등의 노력이 요구된다.

참고문헌 (Reference)

1 정진우, "행정자치부 고객만족도조사에 대한 메타평가" 20 (20): 189-217, 2006

2 문영세, "한국 중앙심사평가 기능의 위상 재정립을 위한 메타평가:설문조사를 중심으로" 9 (9): 231-255, 1997

3 유영만, "한국 기업교육의 경쟁력 강화방안" 엘테크 1998

4 고대환, "표준화된 교육효과 반응평가 도구 개발에 관한 연구:Y사 집합교육을 중심으로" 연세대학교 교육대학원 1996

5 제갈돈, "정부업무평가제도의 발전을 위한 메타평가모형 구축방안" 17 (17): 1-27, 2008

6 이찬구, "정보통신경누개발사업의 메타평가에 관한 연구" 9 (9): 651-667, 1997

7 권대봉, "인적자원개발의 개념 변천과 이론에 대한 종합적 고찰" 원미사 2003

8 조광남, "인재개발 실태조사를 통해서 본 대한민국 HRD의 과제.공무원" 54 : 99-105, 2008

9 곽삼근, "성인을 위한 평생교육방법" 원미사 2000

10 권대봉, "성인교육방법론" 학지사 2007

11 차갑부, "성인교육방법론" 양서원 1993

12 김정선, "산업훈련에 있어서의 반응 평가 도구의 평가 요인에 대한 조사연구" 이화여자대학교 대학원 1996

13 이은영, "기업내 교육 반응평가도구 개발에 관한 연구:M사의 사외합숙교육을 중심으로" 연세대학교 교육대학원 1993

14 정해욱, "기업교육에서 학습 만족도와 성취도의 상관관계 연구" 연세대학교 대학원 2003

15 강이철, "기업교육론" 학지사 225-249, 2003

16 류지헌, "기업 이러닝의 학습자 만족도에 영향을 미치는 요인" 9 (9): 121-142, 2007

17 송영수, "국내 대기업의 인적자원개발(HRD) 동향: 대기업 HRD 관리자의 인식을 중심으로" 한국교육정보미디어학회 13 (13): 139-160, 2007

18 홍형득, "국가연구개발사업의 메타평가에 관한 실증연구:선도기술개발사업을 중심으로" 14 (14): 867-892, 2002

19 이성흠, "교육 훈련 프로그램 반응평가를 위한 평가범주와 질문지 개발준거" 21 (21): 187-214, 2005

20 Easterby-Smith,M, "Turning course evaluation from an end to a means" 17 (17): 25-27, 1985

21 Patrick,J, "Training research and practice" Academic Press 1992

22 Carnevale, A. P, "Training in America:The organization and strategic role of training" Jossey-Bass 1990

23 Faerman, S. R, "Trainee satisfaction and training impact: Issues in training evaluation" 16 (16): 299-314, 1993

24 The Joint Committee on Standards for Educational Evaluation, "The program evaluation standards (2nd ed.)" Sage 1994

25 Merriam,S.B, "The new update on adult learning theory" Jossey-Bass 2001

26 Scriven,M, "The methodology of evaluation. Curriculum evaluation.(American educational research association monograph series on evaluation,1,39-83)" Rand McNally 1967

27 Holton,E.F, "The flawed 4-level evaluation model" 7 (7): 5-21, 1996

28 Chelimsky,E, "The definition and measurement of evaluation quality as a management tool" 18 : 113-126, 1983

29 Knowles,M.S, "The adult learner:A neglected species" Gulf 1990

30 Keller,J.M, "Strategies for stimulation the motivation to learn" 26 : 1-7, 1987

31 Rossi,P.H., "Standards for evaluation practice" 15 : 1982

32 Swanson, R. A, "Results: How to assess performance, Learning and perceptions in organizations" Berrett-Koehler 1999

33 Larson, R, "On evaluating evaluation" 16 (16): 147-163, 1983

34 Stake,R.E, "Objectives, priorities, and other judgement data" 40 : 181-212, 1970

35 Stufflebeam,D.L, "Metaevaluation (Occasional Paper No. 3)" Western michigan university evaluation center 1974

36 Cook, T. D, "Metaevaluation" 2 (2): 5-51, 1978

37 Rossett, A, "Leveling about the levels: technologies and metrics"

38 Merriam, S. B, "Learning in adulthood: A comprehensive guide (2nd ed.)" Jossey-Bass 1999

39 Dyer,S, "Kirkpatrick's mirror" 18 (18): 31-32, 1994

40 Alliger, G. M, "Kirkpatrick's levels of training criteria:Thirty years later.Personnel" 42 (42): 331-342, 1989

41 Scriven,M, "Key evaluation checklist, Evaluation thesaurus" Sage 1991

42 OECD, "Improving evaluation practices: Best practice guidelines for evaluation and background paper" OECD 1999

43 Phillips,J.J, "Handbook of training evaluation and measurement methods: Proven models and methods for evaluating any HRD program (3rd ed.)" Gulf 1997

44 Preskill,H, "HRD evaluation as the catalyst for organizational learning" 1997

45 American Evaluation Association, "Guiding principles for evaluators, Guiding principles for evaluators" 34 : 19-26, 1995

46 Swanson, R. A, "Foundations of human resource development" Berrett-Koehler 2001

47 Schouborg,G, "Flex:A flexible tool for continuously improving your evaluation of training effectiveness" HRD 1993

48 Campbell, D. T, "Experimental and quasi-experimental designs for research" Rand McNally 1966

49 Davidson,E.J, "Evaluation methodology basic: The nuts and bolts of sound evaluation" Sage 2005

50 Keller,J.M, "Evaluation diversity training: 17 ready-to-use tools" Pfeiffer 1996

51 Stufflebeam,D.L, "Evaluation as enlightenment for decision making" Ohio state university evaluation center 1968

52 Hamblin,A.C, "Evaluation and control of training" McGraw-Hill 1974

53 Kirkpatrick,D.L, "Evaluating training programs:The four levels(2nd ed.)" Berrett-Koehler 1998

54 Orata,P.T, "Evaluating evaluation" 33 : 1940

55 Gall, M. C, "Educational research: An introduction (6ed ed.)" Longman 1996

56 Stufflebeam,D.L, "Educational evaluation and decision making" Peacock 1971

57 유한준, "DiSC 행동유형에 따른 교육만족도 차이분석" 연세대학교 교육대학원 2004

58 Cronbach,L.J, "Course improvement through evaluation" 64 : 672-683, 1963

59 Hammond,R, "Context evaluation of instruction in local school districts" 9 : 13-18, 1969

60 Gotlieb, B, "Consumer satisfaction and perceived quality: Complementary or divergent constructs" 79 (79): 875-885, 1994

61 Mehrabian, A, "An approach to environmental psychology" MIT 1974

62 Stufflebeam,D.L, "A review of progress in educational evaluation" 1981

63 Alliger, G. M, "A meta-analysis of the relations among training criteria" 50 (50): 341-358, 1997