델파이와 AHP 기법을 활용한 이러닝 기반 교원연수 프로그램 평가 모형 개발 연구

국문 초록 (Abstract)

본 연구는 현행 이러닝 기반 교원연수 프로그램 평가의 문제점을 파악하고, 이를 보완할 수 있는 타당하고 활용성 높은 이러닝 기반 교원연수 프로그램 평가 모형을 개발하는 데 목적이 있다. 이러한 목적을 달성하기 위하여 연구문제를 다음과 같이 선정하였다.
첫째, 이러닝 기반 교원연수 프로그램에 적절한 평가 모형은 무엇인가? 둘째, 개발된 평가 모형은 이러닝 기반 교원연수 프로그램의 평가에 타당한가?
문헌 및 선행연구를 고찰하여 연구의 개념적 틀을 구성하고 이를 기초로 현행 이러닝 기반 교원연수 프로그램 평가의 문제점을 파악하였으며, 평가 모형 초안을 개발하였다. 개발한 평가 모형 초안을 이러닝 분야 전문가 6명, 교원연수 전문가 7명, 교육평가 전문가 7명(총 20명)으로 구성된 델파이 전문가 패널에 2차에 걸친 조사를 시행하였고 그 결과를 분석하여 평가 모형안을 도출하였다.
도출한 평가 모형안을 AHP(analytic hierarchy process) 기법으로 설문을 시행하여 지표 간 중요도에 따른 우선순위를 도출하였다.
개발한 평가 모형의 사용자 신뢰도를 알아보고자 민간주도의 이러닝 기반 교원연수 프로그램과 관 주도의 이러닝 기반 교원연수 프로그램의 실제 이수자 217명에 대하여 설문조사를 시행하였다. 그 결과 조사도구로 사용한 평가 모형안에 대한 신뢰도 지수를 나타내는 Cronbach's α 값이 .9 이상으로 나타나 신뢰도가 매우 높은 것으로 분석되었다.
문헌고찰과 선행연구를 통하여 파악한 현행 이러닝 기반 교원연수 프로그램 평가의 문제점으로는 첫째, 이러닝 기반 교원연수 프로그램 평가에 적합한 평가 모형이 없다. 둘째, 프로그램 목적과 평가 목적의 연계성을 고려한 평가 모형의 개발이 필요하다. 즉, 프로그램의 목적과 평가의 목적을 연계하고, 평가의 이해당사자(행정기관 담당자, 연수기관의 기획자․개발자․운영자, 이수자, 이수 희망자 등)의 입장에 따른 각각의 특성을 살린 평가가 부족하다. 셋째, 평가가 일회성으로 끝나는 경우가 많다는 점이었다.
이러한 문제점을 해결하고자 시행한 본 연구의 결과는 다음과 같다. 첫째, 본 연구에서 개발한 평가 모형은 3개의 평가 영역과 12개의 평가 항목, 그리고 39개의 평가 지표로 구성되었다.
둘째, 개발한 평가 모형의 특징으로는 ① 이러닝 기반 교원연수 프로그램 평가라는 점, ② 교원연수를 평가하기 위한 평가 모형이라는 점, ③ 타당성과 신뢰도가 높은 평가 모형이라는 점 등에서 의의가 있다고 할 수 있다.
이러닝 기반 교원연수를 시행하는 기관에서 사용할 것을 제안하며, 발전적으로는 교원연수기관뿐만 아니라 민간 기업에서도 실정에 맞게 수정하여 사용되기를 바란다.

다국어 초록 (Multilingual Abstract)

This study aims to develop an evaluation model for e-learning based teacher training programs with high validity and utility by figuring out the problems of evaluating the current e-learning based teacher training programs. The research questions are as follows.
First, what is the proper evaluation method for e-learning based teacher training programs? Second, is the developed evaluation model valid in evaluating e-learning based teacher training programs?
Based on the consideration of literature and previous research, this study constructed a conceptual frame for this research, figured out the problems of evaluating the current e-learning based teacher training programs, and developed a draft of the evaluation model. The developed draft of the evaluation model was examined twice by the Delphi panel consisting of 20 experts: six of e-learning, seven in teacher training, and seven in educational evaluation. According to the analysis of the results, a draft of the evaluation model has been designed.
A survey on the designed draft of the evaluation model was conducted with AHP(analytic hierarchy process), and its priority order was found according to the importance of its indexes.
In order to investigate the user validity of the developed evaluation model, this research conducted a survey of 217 persons who actually have taken either private- or state-sponsored e-learning based teacher training programs. As a result, Cronbach's α, the reliability index for the draft of the evaluation model used as a research tool, was higher than .9, which implies that it has high reliability.
This study has found the following problems in evaluating the current e-learning based teacher training programs. First, there has been no optimal evaluation model to evaluate e-learning based teacher training programs. Second, there is a need to develop an evaluation model considering the connection between the goals for the program and its evaluation. In other words, the evaluation should connect the goals of the program and its evaluation and also reflect more of the characteristics of diverse parties concerned over the evaluation such as staff in charge at administrative agencies and the planner, developer, operator, learner, and future learner in the training bodies. Third, such evaluation often turned out to be one-off evaluation.
The result are as follows: First, the evaluation model developed is composed of 3 evaluation areas, 12 evaluation items, and 39 evaluation indexes.
Second, it can be said that this evaluation model is significant in three ways: ① it is for evaluating e-learning based teacher training programs, ② it has evaluation indexes to evaluate teacher training, and ③ it is has high validity and reliability.
It is expected that the evaluation model can be utilized in institutes conducting e-learning based teacher training and also can be used in private enterprises more positively, not just for teacher training, after its proper revision for each situation.

목차 (Table of Contents)

• 제 1 장 서론 1
• 1.1 연구의 필요성 및 목적 1
• 1.2 연구 문제 4
• 1.3 용어의 정의 5
• 1.4 연구의 범위 및 한계점 6
• 제 2 장 문헌 고찰 7
• 2.1 이러닝과 교원연수 프로그램 7
• 2.1.1 이러닝의 정의, 특성 및 효과성 7
• 2.1.2 이러닝 기반 교원연수 프로그램 11
• 2.1.3 평생교육과 이러닝 기반 교원연수 16
• 2.2 이러닝 기반 교원연수 프로그램 평가 18
• 2.2.1 프로그램 평가의 개념과 유형 18
• 2.2.2 현행 이러닝 기반 교원연수 평가 모형 45
• 2.3 이러닝 기반 교원연수 프로그램 평가 모형 구안 53
• 2.3.1 현행 평가상의 문제점 53
• 2.3.2 평가 모형 초안 54
• 제 3 장 연구 방법 83
• 3.1 연구 절차 83
• 3.2 델파이 조사 86
• 3.2.1 델파이 패널 구성 86
• 3.2.2 델파이 조사 실시 90
• 3.3 AHP 기법을 활용한 조사 93
• 3.3.1 AHP 조사 대상 93
• 3.3.2 AHP 예비 조사 94
• 3.3.3 AHP 본 조사 95
• 3.3.4 AHP 분석 95
• 3.4 신뢰도 조사 96
• 3.4.1 조사 대상 96
• 3.4.2 조사 도구 및 설문지 구성 100
• 3.4.3 자료 분석 100
• 제 4 장 연구 결과 및 논의 101
• 4.1 이러닝 기반 교원연수 프로그램 평가 모형 개발 101
• 4.1.1 1차 델파이 결과 101
• 4.1.2 2차 델파이 결과 109
• 4.1.3 논의 118
• 4.2 평가 모형 검증 123
• 4.2.1 AHP 기법을 활용한 평가 지표의 상대적 중요도 123
• 4.2.2 사용자에 의한 평가 모형의 신뢰도 검증 132
• 4.2.3 논의 138
• 제 5 장 요약, 결론 및 제언 141
• 5.1 요약 141
• 5.2 결론 143
• 5.3 제언 146
• 참고문헌 148
• 부 록 157

참고문헌 (Reference)

1. E-Learning.N.Y, Rosenberg, , 2001

2. Web-based training, Khan, Badrul Huda, Educational Technology Publications, , 2001

3. 현대교육평가, 성태제, 학지사, , 2007

4. Evaluative Research, Suchman, , 1967

5. 2003e-Learning 백서, 한국사이버교육학회, 산업자원부, , 2003

6. Systematic evaluation, Shinkfield, Stufflebeam, , 1985

7. 원격교육활용론, 한국방송통신대학교, , 2004

8. 평생교육방법론, 차갑부, , 1993

9. 프로그램 평가론, 배호순, 원미사, 프로그램평가론, , 2003

10. Evaluation in education, Scriven.M, , 1974

11. The Logic of Priorities, VargusL.G, Saaty T.L, , 1992

12. Evaluationinfield studies, Guba, , 1965

13. 원격교육의 효과성, 구교정, 한국학술정보, , 2006

14. Fourth generation evaluation, Goba, E. G., , 1989

15. The methodology of evaluation, Scriven, , 1967

16. Generalstatement on evaluation, Tyler, , 1942

17. Utilization-focused evaluation, Patton,M.Q., , 2000

18. Assessingattributeweightsbyratios, Saaty, Wendel, , 1983

19. Designing Web-Based Education.N.Y, Horton, , 2000

20. Stakeholder-based evaluation (Ed.), Bryk, , 1983

21. Distance education : a systems view, Moore, Michael G, Thomson/Wadsworth, , 2005

22. 용어로 이해하는 교육정보화, 한국교육학술정보원, , 2005

23. (21세기) 교육방법 및 교육공학, 이화여자대학교 교육공학과, 이화여자대학교, , 2001

24. TheAnalyticalHierarchyProcessMcgraw-Hill, Saaty T.L, , 1980

25. Marketing: An Introduction (9th Ed.). N.Y, Kotler, , 2008

26. 정보시스템 내부통제요인 평가, 김희철, , 1998

27. E-learning 기획실무 스타일가이드, 김덕중, 비비컴, , 2002

28. Techniques for evaluating training programs, Kirkpatrick, , 1959

29. 원격 교원연수 비용-효과성 분석, 남수경, , 2003

30. In-service education and training ofteachers, OECD, , 1992

31. Stakeholder-BasedEvaluationandValueJudgements, Mark, Shotland, , 1985

32. Basic principles of curriculum and instruction, Tyler, Ralph W, Chicago University Press, , 1971

33. Evaluating with sense:Thetheory-drivenapproach, Chen, , 1983

34. 사이버 공간과 평생학습.교육과학사, 정민승, , 2002

35. (미래를 생각하는)e-러닝 콘텐츠 설계, 강명희, 서현사, , 2007

36. The Profession and practice of Program Evaluation, Anderson S.B, S.Ball, , 1978

37. 엑셀을 활용한 경영과학의 이해.제2판, 황규승, , 2006

38. Evaluation:A systematicApproach(3rded.).BeverlyHills, Rossi, , 1985

39. 최상의 학습 성과를 위한 e-러닝의 활용, 조은순, , 2002

40. 평가의 원리:교육 프로그램을 중심으로, 배호순, , 1990

41. 학교도서관의 BSC 성과지표에 관한 연구, 장보성, Chang, Bo-Sung, Nam, Young-Joon, 이수영, 남영준, Lee, Soo-Young, 한국문헌정보학회, , 2008

42. Thestakeholderapproachtoevaluation:Originsand promise, Weiss, , 1983

43. 에듀업 활용실태 조사 및 발전방안 연구, 김종배, , 2008

44. 앞서가는 리더들의 계층분석적 의사결정, 강현수, 조용근, 조근태, , 2005

45. A framework forquality in educational technology program, Sabelli, Sheingold, Confrey, , 2002

46. Foundations of program evaluation : theories of practice, Shadish, William R, Sage Publications, , 1991

47. Evaluating training programs: The fourlevels.SanFrancisco, Kirkpatrick, , 1994

48. 소믈리에 자격증 평가항목개발에 관한 연구, 고재윤, 정미란, , 2006

49. e-Learning (e-러닝): 디지털시대의 지식확산전략, 유영만 역, , 2001

50. 연구개발프로젝트 선정평가모형에 관한 연구, 송학진, 부산수산대학교, , 1991

51. Evaluation Research: Methods ofassessingprogram effectiveness, Weiss, , 1972

52. 지역발전을 위한 지방교육자치체에 관한 연구, 박정식, , 2000

53. 인터넷원격훈련기관 평가기준(위탁훈련기관용), 박종선, , 2006

54. 인터넷원격훈련기관 평가기준(자체훈련기관용), 박종선, , 2006

55. E-learning : strategies for delivering knowledge in the digital age, Rosenberg, Marc Jeffrey, McGraw-Hill, , 2001

56. Evaluating trainingprograms (3rd ed): The four levels. San Francisco, Kirkpatrick, , 2006

57. Evaluation in distance education and e-learning : the unfolding model, Ruhe, Valerie, Guilford Press, , 2009

58. HRD 프로그램의 논리 주도적(Theory-Driven)평가모형 개발, 박소연, , 2006

59. 초?중등 교육 이러닝 품질관리 가이드라인(Ver.2.0)개발, 한국교육학술정보원, , 2008

60. 유치원교사의 웹기반 원격연수프로그램평가체제 개발, 손유진, 박순호, 이경화, , 2005

61. An AssessmentoftheEffectivenessofe-learningin Corporate Training Progeams, Strother, , 2002

62. Can tinto's student departure model be applied tonontraditional students?, Robert, Hanna, , 1993

63. The relevance of the CIPP evaluation model for educational accountability, Stuffleebeam, , 1973

64. Top Ten E-Learning Myths.InA.Rossett.TheASTD E-Learning Handbook,38-64.N.Y, Moran, Allerton, "Top Ten E-Learning Myths.InA.Rossett.TheASTD E-Learning Handbook, , 2002

65. 이해당사자 기반의 u-러닝 연구학교 프로그램 평가 연구, 김혜숙, 백순근, , 2009

66. Program evaluation: Alternative approach and practical guidelines (2nd ed.), Worthen, , 1997

67. 한국어교육기관의 조직효과성 평가모형 개발에 관한연구, 정진봉, , 2008

68. 인재개발 교육프로그램의 평가준거 개발을 위한 기초연구, 최완식 ( Won Sik Choi ), 이규녀 ( Kyu Nyo Lee ), 박기문 ( Ki Moon Park ), 大韓工業敎育學會, , 2009

69. Retrun on Investment in training andperformance Improvement Programs. (2nd. ed.), Phillips, , 2003

70. Technologicalchoice in theless developed countries: An analytic hierarchy process, Ramanujam, Saaty, , 1981

71. The CIPP modelfor programevaluation.InG.F.Madaus,M.Scriven,& D.L.Stufflebeam (eds.), Stufflebeam, Foley, "TheCIPP modelforprogram evaluation.InG. F. Madaus, , 1983

72. 프로그램 논리중심의 평가적용: TALENT 프로젝트의 사례를 중심으로, 김주후(Juhu Kim), 한국교육평가학회, , 2004

73. 2009년도 교육과학기술부 지정 원격교육연수원 신규 인가 추진 계획, 한국교육학술정보원, , 2009

74. 프로그램 맞춤평가 어떻게 할 것인가?:논리주도 평가준거모형 개발, 임지연, , 2008

75. AHP 기법을 활용한 하이테크 제품의 브랜드 이미지 평가에 관한 연구, 박보미, 서울대학교 대학원, , 2002

76. e-러닝 프로그램의 효과적인 실행을 위한 운영평가모형 및 준거 개발, 박종선, , 2006

77. 시?도교육연수원 원격연수 운영 프로그램 평가 분석 및개선방안 연구, 박은종, , 2006

78. Decision making for leaders: the analyticalhierarchy process fordecisions in a complex world(3rd ed.), Saaty, , 1999

79. CIPP 평가모형에 의한 전래동요 프로그램 평가준거 개발과 유아교육기관에 적용방안, 김애자, 계명대학교 대학원, CIPP 평가모형에 의한 전래동요 프로그램 평가준거개발과 유아교육기관에 적용방안, , 2008

80. Effective evaluation: Improving the usefulness of evaluation results through responsive and naturalistic approaches, Guba, E. G., , 1981

81. 성인 원격교육 효과성에 영향을 미치는 요인 분석 연구 : 교원 정보화 원격교육을 중심으로, 구교정, , 2005

82. 공무원 교육결과를 측정할 수 있는 평가방안 및 평가도구 개발 - 서울시공무원교육원에서 운영하는 교육프로그램을 중심으로, 진선미(Jin sun mi), 정은정(Jung eun jung), 한국교육평가학회, , 2005