전자교육 플랫폼의 효용도 평가도구 개발연구 = Development of an evaluation tool for e-learning platforms

국문 초록 (Abstract)

이 연구는 웹 기반 환경에서 교수-학습이 효율적이고 효과적으로 이루어 질수 있도록 체계적으로 지원해주는 전자교육 플랫폼의 효용도를 평가하기 위한 신뢰롭고 타당한 도구를 개발하는 데 목적이 있다.
연구목적을 달성하기 위해 우선 선행연구에 기초해서 전자교육 플랫폼 평가를 위한 잠정적 준거모형을 도출했다. 이 모형은 7개 준거영역(교수-학습 관리, 상호 작용, 평가, 정보제공, 화면디자인, 기술, 조직요구)과 23개 준거요소들로 구성되었다. 이 준거모형을 토대로 우선 149개의 평가문항을 제작하였으나 문항 검토팀과 교육공학 전공 교수의 2단계 검토를 거쳐 최종적으로 81개 문항으로 확정하였다. 그런 다음 이 문항들을 가지고 전자교육 관련 전문가 133명을 대상으로, 전자교육 플랫폼을 평가하는데 있어서 각 평가문항이 갖는 중요도를 평가하였다. 조사결과 문항들의 중요도가 5단계 척도에서 전반적으로 3.05∼4.34 사이에 분포되어 모든 문항이 채택되었다. 따라서 이 자료를 가지고 탐색적 요인분석을 실시한 결과 크게 요인Ⅰ(교수-학습관리ㆍ화면디자인ㆍ기술), 요인Ⅱ(상호작용ㆍ평가)로 나뉘었다. 요인Ⅰ에 속한 문항들은 4개의 하위요인인 화면 및 시스템 설계 적합성, 과정진행 수월성, 시스템 상호호환성 및 학사관리 적합성, 그리고 교수-학습 관리 용이성 및 멀티미디어 사용적절성으로 묶여졌다. 한편 요인Ⅱ에 속한 문항들은 3개 하위요인인 상호작용과 평가의 유연성 및 사용자 통제성, 의사소통 및 평가의 다양성, 사용자 접근성으로 묶여졌다.
탐색적 요인분석을 통해 수정된 평가 준거모형의 적합성을 확인하기 위해 확인적 요인분석을 실시했다. 그 분석결과 모형의 적절성 여부를 알려주는 지수인 개략화 오차평균값은 대체로 양호한 편이었으며, 비교합치도 및 비표준합치도는 각각 높은 합치도 수준으로 판단되었다. 또한 요인Ⅰ과 요인Ⅱ의 Cronbach α 값은 각각 .94과 .88으로 높은 수준을 나타냈고, 하위요인들의 값도 .78∼.86으로 비교적 높은 수준으로 확인되었다.
이와 같이 타당도와 신뢰도가 검증된 전자교육 플랫폼 평가도구를 가지고 국내의 대표적인 전자교육기관의 플랫폼들을 대상으로 실제 현장에서 형성평가를 수행하였다. 그 결과, 일부 문항들이 다소 애매모호하거나 너무 포괄적이라는 지적과 기술적 차원의 문항들은 너무 전문적이라는 문제점이 제기되었다. 그러나 대부분 CD-ROM이라는 간접적인 평가방법으로 인해 발생된 문제로 평가도구의 타당성을 해치는 수준이 아닌 것으로 판단되었다. 이렇게 볼 때 이 연구에서 개발된 전자교육 플랫폼 평가도구는 비교적 신뢰롭고 타당하다는 결론을 내릴 수 있다.
이 평가도구는 플랫폼 선정에 관한 의사결정, 플랫폼에 대한 질적 수준관리, 플랫폼 인증 등 다양한 맥락에서도 활용될 수 있을 것으로 기대한다. 뿐만 아니라 시스템 개발자와 컨설턴트, 전자교육 프로그램 운영자 등에게 플랫폼 주요 구성요소들에 대한 성찰의 기회와 유용한 시스템 설계를 위한 구체적인 단서를 제공해줄 수 있을 것이다.

다국어 초록 (Multilingual Abstract)

The purpose of this study is to develop the reliable and valid evaluation tool of evaluating and selecting e-learning platforms, or learning management systems. To achieve that goal, factor analysis, reliability analysis and formative evaluation have been adopted. The factor analysis and reliability analysis are for validating the potential criteria framework for evaluation of e-Learning platforms and the formative evaluation for adapting it to three domestic platforms and investigating problems happened during the evaluation.
First of all, the criteria framework for evaluation was made based on literature review and it comprises seven areas including organizational demand, class management, interaction, evaluation, providing informations, screen design, and technology. And with total 81 items developed through the framework, a survey was carried out among 163 e-learning experts in order to ensure how important they are. In result, all items were regarded as important for evaluating platforms. To derive a concise list of explanatory constructs from the responses collected from 133 respondents, exploratory factor analysis(EFA) was performed having principal components analysis in the initial factoring step, principal component method to extract the initial factors, and varimax of orthogonal rotation in the rotation step. As a result of it, two main factors(factor Ⅰ, factor Ⅱ) were extracted. Factor Ⅰ was labeled "instruction management, screen design & technology" and factor Ⅱ "interaction & evaluation". And factor Ⅰand factor Ⅱ were respectively interpreted consisting of four sub-factors(suitability of design in screen and system, easiness of course procedure, interoperability of system & suitablility of academy administration, easiness of instructional management & appropriateness of multimedia use) and three ones(flexibility of interaction and testing & user control, variety of communication and testing, users' accessibility).
And confirmatory factor analysis(CFA) was carried out to assess the degree to which the plausibility of factor models is empirically confirmed, Overall fit measures(RMSEA, CFI, NNFI), indexes that show the suitablility of the model were quite good. Reliability estimates using Cronbach's alpha indicated that the evaluation tool had good internal consistency.
After that, the formative evaluation of three Korean platforms was performed. One-way ANOVA and post-hoc multiple comparison were conducted with the responses collected from 65 respondents. And during that evaluation, several problems including the ambiguity of items happened. But it seemed that most of them were derived from the indirect evaluation method by using CD-ROM. They were not critical in deciding that the evaluation tool itself is valid and reliable.
It is concluded that the evaluation tool for e-Learning platforms is very valid and reliable. Recommendations were provided for making use of evaluating the tool and future research. This study represents another step along a continuum of selection, evaluation, design and development of platforms.

목차 (Table of Contents)

• 차례 = i
• 표차례
• 그림차례
• 국문 요약
• Ⅰ. 서론 = 1
• 1. 연구의 필요성 = 1
• 2. 연구의 목적과 내용 = 6
• 3. 연구의 제한점 = 6
• 4. 용어 정의 = 7
• Ⅱ. 이론적 배경 = 9
• 1. 국내외 전자교육 플랫폼의 동향 = 9
• 2. 전자교육 플랫폼의 개념과 기능 = 21
• 3. 전자교육의 효과요인 = 34
• 4. 전자교육 플랫폼의 평가유형 = 40
• Ⅲ. 전자교육 플랫폼 평가 준거모형 = 53
• 1. 준거모형의 도출 = 53
• 2. 준거영역과 요소 = 58
• Ⅳ. 전자교육 플랫폼 평가도구 개발과 형성평가 = 66
• 1. 평가문항 개발 = 66
• 2. 평가도구의 타당화 = 73
• 3. 형성평가 = 88
• 4. 논의 = 99
• Ⅴ. 결론 = 103
• 1. 요약 = 103
• 2. 결론 = 104
• 3. 제언 = 105
• 참고 문헌
• 부록
• ABSTRACT