대학의 비교과 프로그램 평가모형 개발 및 적용에 관한 연구 = A Study on the Development and Application of Model for Evaluation of the University's Extracurricular Program

국문 초록 (Abstract)

최근 대부분의 대학에서는 핵심역량기반의 교육체제를 갖추기 위해 노력하며 비교과 프로그램을 활발하게 운영하고 있다. 특히 학생들의 성공적인 학습 수행을 위한 비교과 프로그램이 가장 많이 운영되며 참여자 수도 지속적으로 늘고 있다.
대학의 비교과 프로그램에 대한 지원 및 참여가 확대됨에 따라 운영 성과에 관한 관심은 늘고 있으나 프로그램의 성과관리 및 질 개선을 위한 평가체계 개발과 관련된 연구가 미흡한 실정이다. 이에 따라 이 연구에서는 대학의 비교과 프로그램을 평가하기 위한 모형을 개발하고 이를 실제 사례에 적용하고자 하였다. 연구 문제는 다음과 같다.

첫째, 대학의 비교과 프로그램 평가모형은 어떻게 구성할 것인가?
둘째, 대학의 비교과 프로그램 운영단계(계획, 실행, 성과)에 따른 이해당사자별(공급자, 수요자, 전문가, 교육당국) 평가지표는 무엇인가?
셋째, 대학의 비교과 프로그램 운영단계(계획, 실행, 성과)에 따른 이해당사자별(공급자, 수요자, 전문가, 교육당국) 평가모형을 D대학에 적용한 평가 결과는 어떠한가?

대학의 비교과 프로그램 평가모형은 이해당사자의 관점과 프로그램 운영단계에 기반하여 구성하였다. 여기서 이해당사자는 백순근(2006)의 PUPA 모형에 따라 공급자(Provider: P1), 수요자(User: U), 전문가(Professional: P2), 교육당국(Authority: A)의 4개 집단으로 구성하였다. 그리고 프로그램 운영단계는 계획(Plan: P), 실행(Implementation: I), 성과(Outcome: O)의 3개 단계로 구성하였다. 그 결과 이해당사자 4개 집단과 운영단계 3개를 조합한 총 12개의 평가 매트릭스를 구성하였다.
평가지표를 개발하기 위해 교육정책 및 프로그램 평가와 관련한 선행연구를 분석하여 예비 평가지표 및 문항을 도출하였다. 그리고 정부의 대학혁신지원사업 대상 대학 중 하나인 수도권 소재 D대학의 비교과 프로그램 현황 및 내용을 파악하고, 이해당사자로서 운영담당 강사(공급자) 3명, 참여 학생(수요자) 24명, 기획 담당 교수(전문가) 2명, 대학 보직자(교육당국) 2명을 선정하였다. 총 31명의 이해당사자를 대상으로 온라인 개방형 설문, FGI, 심층면담을 실시하여 평가지표 및 문항 1차안을 도출하였다. 도출한 1차안을 대상으로 내용타당도 검증을 위해 교육평가 전공자인 박사 3명, 박사 수료생 3명과 비교과 프로그램 업무 담당자 4명으로 구성된 총 10명의 전문가 협의회를 실시하여 총 34개의 평가지표와 그에 따른 총 41개의 문항을 개발하고 타당화하였다.
공급자의 평가지표는 총 11개로, 계획단계(P1-P) 평가지표는 절차적 타당성, 내용의 체계성, 실현가능성, 자원 충분성으로, 실행단계(P1-I) 평가지표는 과정 적절성, 계획 실현성, 운영 충실도, 상호작용 충분성으로, 성과단계(P1-O)는 업무 만족도, 목표 달성도, 효율성으로 구성되었다. 수요자의 평가지표는 총 10개로, 계획단계(U-P)의 평가지표는 자발성, 계획성, 다양성으로, 실행단계(U-I)의 평가지표는 참여도, 상호작용 충분성, 충실도로, 성과단계(U-O)의 평가지표는 내용 만족도, 보상 만족도, 지원 만족도, 목표 달성도로 구성되었다. 전문가의 평가지표는 총 7개로, 계획단계(P2-P)의 평가지표는 합리성, 목표 타당성으로, 실행단계(P2-I)의 평가지표는 전문성, 운영환경 적절성, 평가체계성으로, 성과단계(P2-O)의 평가지표는 목표 달성도, 개선계획수립 적절성으로 구성되었다. 교육당국의 평가지표는 총 6개로, 계획단계(A-P)의 평가지표는 교육목표 부합도, 계획 체계성으로, 실행단계(A-I)의 평가지표는 계획실현성, 학교의 지원 충분성으로, 성과단계(A-O)의 평가지표는 만족도, 교육목표 달성도로 구성되었다.
새롭게 개발한 평가지표의 운영단계에 따른 이해당사자별 상대적 중요도를 분석하기 위하여 총 50명(공급자 13명, 수요자 17명, 전문가 10명, 교육당국 10명)을 대상으로 AHP(Analytic Hierarchy Process: 계층분석적 의사결정방법)를 활용한 평가를 실시하였으며 그 중 응답의 일관성이 지나치게 낮은 3명을 제외한 총 47명을 분석 대상으로 선정하였다. AHP를 활용한 평가지표의 중요도 평가 결과 모든 이해당사자 집단에서 성과단계가 가장 높은 중요도를 가지며, 다음으로 실행단계, 계획단계의 순으로 나타났으며 각 운영단계별 평가지표의 중요도 및 우선순위를 각각 도출하였다.
이 연구에서 새롭게 개발한 운영단계에 따른 이해당사자별 평가지표와 각 지표별 중요도가 포함된 평가모형을 적용하여 실제 D대학 비교과 프로그램의 이해당사자별 자기보고식 평가(공급자 21명, 수요자 25명, 전문가 14명, 교육당국 12명, 총 72명)와 심층면담(공급자 2명, 수요자 3명, 전문가 2명, 교육당국 2명, 총 9명)을 실시하였다. 그리고 학생 대상 핵심역량 사전, 사후 진단검사(총 223명)를 실시하였다. D대학의 비교과 프로그램 자기보고식 평가결과 이해당사자별로 종합 평가점수가 상이하였는데, 이해당사자별 종합 평가점수는 AHP를 활용한 평가지표 중요도를 가중치로 반영한 점수로 계산한 것이다. 이해당사자별 종합 평가점수(5점 만점)는 교육당국(4.06점), 전문가(3.92점), 공급자(3.57점), 수요자(3.54점)의 순이었으며, 평가점수의 차이 검증을 위한 변량분석 결과 교육당국과 공급자 및 수요자 간에는 통계적으로 유의한 차이가 나타났다(F=5.453, p<0.01). 프로그램 운영단계별 평가점수는 실행단계(3.90점), 성과단계(3.75), 계획단계(3.71점)의 순이었으며, 평가점수의 차이 검증을 위한 변량분석 결과 실행단계와 계획단계 간에는 통계적으로 유의한 차이가 나타났다(F=4.682, p<0.01). 각 이해당사자의 운영단계별 평가점수를 구체적으로 살펴보면, 공급자의 평가점수는 실행단계(3.83점), 성과단계(3.51점), 계획단계(3.38점)의 순으로 나타났으며, 수요자의 평가점수는 실행단계(3.87점), 성과단계(3.56점), 계획단계(3.13점)로 나타났다. 전문가의 평가점수는 계획단계(4.08점), 실행단계(3.96점), 성과단계(3.86점) 순으로 나타났으며, 교육당국의 평가점수는 계획단계(4.23점), 성과단계(4.07점), 실행단계(3.95점)의 순으로 나타났다. 이와 같은 결과는 보다 종합적이고 체계적인 대학의 비교과 프로그램의 평가를 위해서 다양한 이해당사자의 관점과 운영단계를 고려한 프로그램 평가가 실시되어야 함을 시사한다.
이 연구는 개별 대학에서 활용 가능한 비교과 프로그램 평가모형을 개발하고 실제로 D대학의 해당 프로그램을 평가하는데 적용하였다는 점에서 의의가 있다. 이 연구에서 개발한 평가모형 및 평가지표는 실질적이고 구체적인 대학의 비교과 프로그램 평가를 위한 가이드라인을 제공하며 프로그램의 질 관리 및 개선을 위한 도구로 활용될 것이다. 아울러 비교과 프로그램의 목적과 평가시기 등을 고려하여, 평가모형 및 평가지표를 다양화한 체계적인 프로그램 평가를 위한 후속연구도 수행할 필요가 있다.

다국어 초록 (Multilingual Abstract)

Recently, most universities are actively operating extracurricular programs to establish a core competency-based education system. In particular, there are the largest number of extracurricular programs for students to successfully perform their learning, and the number of participants continues to increase.
Interest in the performance of the extracurricular program is increasing. However, there is a lack of research on the assessment system for the performance management and quality improvement of the program. Accordingly, the study developed a model to evaluate a university's extracurricular program and applied them to actual cases. Major research questions are as follows.

First, how will the evaluation model of the university's extracurricular program be organized?
Second, what are the evaluation indexes by stakeholders (Provider, User, Proffessional, Authority) based on the operational phase(Plan, Implementation, Outcome) of extracurricular program of the university?
Third, what is the result of applying the model for evaluation of stakeholders (Provider, User, Proffessional, Authority) based on the operational phase(Plan, Implementation, Outcome) of extracurricular program of the university to D university?

The university's extracurricular program evaluation model is based on the stakeholder's perspective and the program's operational phase. The stakeholders are composed of four groups of Provider(P1), User(U), Professional(P2), and Authority(A) according to the PUPA model of Sun-Geun Baek(2006). The program's operational phase consisted of three stages: Plan(P), Implementation(I), and Outcome(O). As a result, a total of 12 assessment matrices were formed combining four groups of stakeholders and three phases of operation.
In order to develop evaluation indexes, prior studies related to the evaluation of education policies and programs were analyzed. In addition, 3 instructors(P1) in charge of operation, 24 students(U), 2 professors(P2) in charge of planning, and 2 university staff(A) were selected as stakeholders by analyzing the current status and contents of the program. An online open-ended questions, FGI(Focus Group Interview), and in-depth interviews were conducted on a total of 31 stakeholders to derive evaluation indexes. In order to verify the validity of the first evaluation index and questions derived, a total of 10 experts' consultations were held, consisting of 3 Ph.D., 3 Ph.D. graduates, and 4 in charge of comparison programs. Thus, a total of 34 evaluation indicators and 41 questions were developed and justified.
The provider's evaluation indexes totaled 11, with the planning phase(P1-P) indicators composed of the democratic establishment of a plan, content systemality, feasibility, and resource sufficiency, and the implementation phase (P1-I) evaluation indexess composed of process adequacy, plan feasibility, operational fidelity, the sufficiency of interaction, and outcome phase(P1-O) consisted of task satisfaction, goal attainment, and efficiency. The user’s evaluation indexes totaled 10, with the planning phase(U-P) composed of spontaneity, planning and diversity, and the evaluation indexes for the implementation phase(U-I) composed of participation, the sufficiency of interaction, fidelity, and outcome phase(U-O) composed of satisfaction, compensation satisfaction, support satisfaction, and goal attainment. The professional’s evaluation indexes totaled 7, with the planning phase(P2-P) composed of rationality, target validity and the evaluation indexes for the implementation phase(P2-I) composed of expertise, appropriateness of the operating environment, systematic evaluation, and outcome phase(P2-O) composed of goal attainment and appropriateness of the improvement plan. The authorities evaluation indexes totaled 6, with the planning phase(A-P) composed of compliance with the educational objective, systematic planning, and implementation phase(A-I) composed of plan feasibility, sufficient support from the school, and outcome phase(A-O) composed of satisfaction and achievement of the educational objective.
To analyze the relative importance of newly developed evaluation indexes, an evaluation was conducted on a total of 50 people using the Analytic Hierarchy Process(AHP). The results of the importance assessment using AHP showed that the outcome phase had the highest importance in all stakeholder groups, followed by the implementation phase and the plan phase. In addition, the importance and priority of the evaluation indexes for each stakeholder were analyzed and presented.
The evaluation model was applied to evaluate the self-reporting assessment(72 persons in total) and the in-depth interview(9 persons in total) of the extracurricular program of the D University. In addition, core competency pre and post diagnosis tests (223 persons in total) were conducted for students. As a result of the self-reporting assessment, the overall score was different for each stakeholder. The overall score of assessment by stakeholder(a perfect score of 5) was followed by Authority(4.06 points), Professional(3.92 points), Provider(3.57 points), and User(3.54 points), with differences in assessment scores being statistically significant(F=5.453, p<0.01). The assessment scores for each operational phase were followed by the Implementation phase(3.90 points), the Outcome phase(3.75 points), and Plan phase(3.71 points), with differences in the assessment scores being statistically significant (F=4.682, p<0.01). In addition, the results of the pre and post diagnosis examination of the core competencies for students showed that all core competencies have been improved. These results suggest that a program evaluation should be conducted in consideration of various stakeholders' perspectives and operatinal phase for the evaluation of a more comprehensive and systematic of the university's extracurricular program.
The study is meaningful in that it developed and applied an evaluation model of a program of he university's extracurricular program that is actually available. Evaluation models and evaluation indexes developed in this study will provide guidelines for practical and specific program evaluation and will be used as a tool for quality control and improvement of programs. It is also necessary to conduct follow-up research for systematic program evaluation by diversifying evaluation models and indexes, taking into account the purpose and timing of the extracurricular program.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1. 연구의 필요성 및 목적 1
• 2. 연구 문제 4
• Ⅱ. 이론적 배경 5
• 1. 교육프로그램 평가 5
• 가. 교육프로그램 평가의 개념 5
• 나. 교육프로그램 평가의 관점 8
• 다. 교육프로그램 단계별 평가 25
• 2. 대학의 비교과 프로그램 29
• 가. 대학의 비교과 프로그램 29
• 나. 대학의 비교과 프로그램 관련 선행연구 34
• Ⅲ. 연구 방법 및 절차 38
• 1. 연구 참여자 38
• 가. 평가모형 개발 단계의 연구 참여자 40
• 나. 평가모형 적용 단계의 연구 참여자 44
• 2. 평가 대상 48
• 3. 연구 방법 51
• 4. 연구 절차 53
• Ⅳ. 대학의 비교과 프로그램 평가모형 개발 56
• 1. 운영단계에 따른 이해당사자별 평가모형 개발 방향 56
• 가. 이해당사자 관점 56
• 나. 프로그램 운영단계 59
• 다. 운영단계에 따른 이해당사자별 평가모형 60
• 2. 운영단계에 따른 이해당사자별 평가지표 및 문항 개발 63
• 가. 운영단계에 따른 이해당사자별 평가지표 및 문항 개발 절차 63
• 나. 운영단계에 따른 이해당사자별 평가지표 및 문항1차안 개발 65
• 다. 운영단계에 따른 이해당사자별 평가지표 및 문항 최종안 확정 95
• 3. 운영단계에 따른 이해당사자별 평가지표의 상대적 중요도 106
• 가. AHP를 활용한 평가지표의 상대적 중요도 평가 절차 106
• 나. 이해당사자별 운영단계에 따른 평가지표의 상대적 중요도 110
• Ⅴ. 대학의 비교과 프로그램 평가모형 적용 117
• 1. D대학의 비교과 프로그램 평가 117
• 가. 운영단계에 따른 이해당사자별 프로그램 평가 117
• 나. 운영단계에 따른 이해당사자별 프로그램 평가점수의 차이 130
• 2. 개발한 평가모형의 추후 활용 방안 137
• 가. 운영단계에 따른 이해당사자별 평가모형 활용 방안 137
• 나. 기대효과 143
• Ⅵ. 요약 및 논의 144
• 1. 요약 144
• 2. 논의 및 제언 151
• 참고문헌 155
• 부 록 169
• Abstract 191