체제분석적 접근에 기반한 공학교육프로그램 평가모형 개발

다국어 초록 (Multilingual Abstract)

Assessments related to engineering education are conducted using criteria of some science and engineering related institutions. However, it is difficult to find assessment models for engineering education programs being operated in engineering colleges that grant degrees of bachelor of technology or higher degrees. Although some accreditation systems for engineering education programs have been recently introduced and operated, there are discussions on the enhancement of the effectiveness of the systems. In this situation, the necessity of this study is based on the following; first, interest in and studies of the assessments of engineering education programs are insufficient, second, the present assessments of engineering education programs provided by many engineering colleges for accreditation is not equipped with evaluation and assessment systems that can be accepted by stakeholders and that can evaluate the interconnections between areas or factors related to the assessment or can do quantitative or qualitative assessment. Third, previous studies of the assessment of education programs have been mainly conducted from the viewpoint of assessment and thus the development of assessment models based on system analytical approaches on the basis of the understanding of engineering education programs that are operated under the social responsibility to develop talents in engineering required by society and industries and the idea on the talent is urgently needed.
In this respect, the purpose of this study is to develop system analytical approach based engineering education program assessment models that can analyze and judge the engineering education programs operated by engineering colleges and enhance the efficiency and outcomes of the programs in practical contexts.
Based on the design and evaluation model of Grayson(1978) that was developed for evaluating engineering education programs, literature related to the design and assessment of education programs was applied by analyzing the content to design both the procedure to evaluate engineering education programs and a related assessment model. The Assessment Model for Engineering Education Program on based System Analytical Approach is an assessment model that is composed of five steps of formation assessment and en bloc assessment that circulate including step one; context assessment, step two; design assessment, step three; education program revision, step four; execution assessment and step five; outcome assessment. In addition, the areas of assessment for each step of assessment were drawn by applying related literature through analyzing the contents and as a result 18 assessment areas and 43 assessment factors were drawn.
In the stage of designing The Assessment Model for Engineering Education Program on based System Analytical Approach, advices were obtained from one professor of an engineering college and two doctors of education. To validate the designed Assessment Model for Engineering Education Program on based System Analytical Approach, the Delphi technique that induces systematic and final judgments on certain subjects through summarized information on opinions obtained from prior answers and planned questionnaires was applied.
The reason why the Delphi technique was applied to this study was that based on literature review, no assessment or assessment area of engineering education programs could be found except for engineering education program accreditation evaluation and thus it was attempted to design an assessment model through the processes of agreement among panels composed of expert groups. The Delphi panels were organized mainly considering careers in related areas, studies of education and experience in practical work and 31 doctors of three areas including engineering education, occupational education and industrial technique education were included in the panels considering characteristics in/between the groups. A Delphi survey tool was made as semi structured questions and structured questions through engineering education related literature review and content analysis methods based on the review and the Delphi survey was conducted three times.
The Assessment Model for Engineering Education Program on based System Analytical Approach is a circulating assessment model composed of five assessment steps and assessment forms. The assessment steps consist of step one; Context assessment, step two Design assessment, step three; education program Revision, step four; Execution assessment and step five; Outcome assessment and assessment forms include formation assessment and en bloc assessment. Based on the five assessment steps, 16 assessment areas and 43 assessment factors were drawn and the results of three times of Delphi surveys were analyzed to be statistically valid results and were indicated to have reached a consensus. In addition, in order to analyze the relative importance of the assessment steps, assessment areas and assessment factors after going through the process of validation of the Assessment Model for Engineering Education Program on based System Analytical Approach, the analysis hierarchy process(AHP) was applied. The results indicated that the relative weighted value of outcome assessment (.273) was the highest followed by execution assessment(.267), design assessment(.177), education program revision(.155) and context assessment(.129) in the order of precedence. It could be seen that experts judged that engineering education program assessment models should give relatively more importance to outcome assessment and execution assessment.
It is considered that the Assessment Model for Engineering Education Program on based System Analytical Approach is useful not only as an alternative of engineering education program assessment methods but also as an assessment method for self-assessment by engineering colleges of their procedures. In addition, in the case of education program revision, it is considered that, if education programs should be revised based on the results of context assessment and design assessment, the problems raised during design assessment should be documented through a consensus among stakeholders in order to revise the programs. In addition, the results of assessment in individual steps should be in a circulating relationship.

국문 초록 (Abstract)

지식기반사회에서 많은 공과대학들은 대학교육의 패러다임 흐름 속에서 공학교육프로그램 개선을 목적으로 평가 체제를 도입하여 적용하고 있다. 특히 최근 실력을 갖춘 글로벌 공학기술 인력 배출이라는 취지에서 공학교육프로그램 인증제를 다수의 공과대학이 도입하여 운영하고는 있지만, 그 실효성에 대한 제고와 새로운 접근방식에 대한 요구가 대두되고 있는 실정이다. 이러한 가운데 공학교육과 관련한 평가가 일부 이공계 기관 평가의 잣대로 평가되고 있으며, 전문학사 이상의 학위를 수여하는 공과대학에서 적용 가능한 공학교육프로그램에 대한 평가모형은 찾아보기가 어렵다.
따라서 이 연구의 필요성은 다음과 같이 정리할 수 있다. 첫째, 공학교육프로그램의 평가에 관한 관심과 연구가 미흡하다는 것, 둘째, 다수의 공과대학에서 실시하고 있는 공학교육프로그램의 인증평가가 이해당사자들로부터 공감 받지 못하고 있으며 평가와 관련한 영역이나 요소들 간의 상호연계성과 정량․정성적 평가 등을 실시할 수 있는 평가체계를 갖추고 있지 못하다는 것, 셋째, 교육프로그램 평가에 관한 선행연구에서 주로 과거 평가의 관점에서 수행되었던 바, 사회와 산업체가 요구하는 공학 인재개발의 사회적 책무성과 인재상을 토대로 운영하는 공학교육프로그램에 대한 이해를 바탕으로 한 평가모형이 필요하다는 점을 제시할 수 있다.
연구의 목적은 공과대학에서 운영하고 있는 공학교육프로그램의 가치를 종합적으로 분석, 판단하고 그 효율성과 성과를 제고할 수 있는 공학교육프로그램 평가모형을 개발하는 데 있다. 이 연구의 목적을 달성하기 위한 연구의 결과는 다음과 같다.
첫째, ‘체제분석적 접근에 기반한 공학교육프로그램 평가모형’은 ‘공학교육프로그램 운영의 이해관계자로 구성된 학생과 내․외부 평가자가 프로그램의 개선을 위하여 주기별로 프로그램의 상호 유기적인 구성요소 및 체제에 대하여 자체평가보고서나 현장 방문 평가방법을 활용하여 공학교육프로그램의 가치를 판단하고 설명하는 평가모형이다’로 정의할 수 있다.
둘째, 공학교육프로그램 개발 및 평가모형과 관련한 문헌고찰을 통하여 공학교육프로그램의 평가 절차, 평가모형과 평가준거를 구안하였다. 공학교육프로그램 평가 절차는 ①문제 인식과 정의, ②평가계획 수립과 준비, ③공학교육프로그램 평가, ④가치판단이다. 공과대학은 산업체와 같은 외부 조직에 공학 인재를 공급하고, 외부적으로는 산업체 직업에 대한 재교육, 산학 공동연구 수행 및 산업체의 문제해결과 자문활동 등을 고려해야 하므로 산업체 현장 전문가의 의견을 전 단계에 포함하였다.
공학교육프로그램 평가 절차에서 공학교육프로그램 평가에 적용할 체제분석적 접근에 기반한 공학교육프로그램 평가모형(Assessment Model for Engineering Program on based System Analytical Approach)은 1단계가 맥락(Context)평가, 2단계가 설계(Design)평가, 3단계가 교육프로그램 조정(Revision), 4단계가 실행(Execution)평가, 5단계가 성과(Outcome)평가이며, 각 단계별로 형성평가 및 총괄평가의 평가형태를 제시한 다섯 단계의 순환 관계적 평가모형이다.
특히 교육프로그램 조정은 2가지 측면에서 접근할 수 있다. 설계평가 후, ‘교육프로그램 조정’ 없이 현재 진행하고 있는 프로그램에 대한 실행평가를 실시하는 경우로 이는 비교적 시간적 여유가 없을 시 접근하는 절차이며, 설계평가 단계에서의 문제점이 실행평가 단계에서도 동일하게 나타날 수 있다는 단점이 있다. 설계평가를 통해 제기된 문제점을 ‘교육프로그램 조정’을 통해 대안제시를 하고 이를 실제적으로 적용하여 실행평가를 하는 경우에는 시간이 소요된다는 단점이 있는 반면에 설계평가의 문제점에 대한 개선된 사항을 평가하는 등 교육프로그램의 질 개선에 영향을 미친다는 것이 장점으로 작용할 수 있다.
평가단계의 하위 평가준거인 평가영역과 평가요소는 관련 문헌고찰과 내용분석법을 적용하여 18개의 평가영역과 43개의 평가요소를 도출하였다.
셋째, 구안된 체제분석적 접근에 기반한 공학교육프로그램 평가모형의 타당화를 위하여 델파이 기법을 적용하였다. 델파이 조사 도구는 공학교육과 이와 관련된 문헌고찰과 이를 기반으로 한 내용분석법을 통하여 반구조화 및 구조화 문항으로 제작하여 델파이 조사를 3회 수행하였다. 델파이 패널의 응답 결과는 기술통계, 합의도 및 수렴도, 내용타당도(CVR), Cronbach󰡑s α값을 산출하여 평가모형의 타당화 정도를 알아보았다. 또한 단일 측정 방식으로 하나의 문항 또는 변인에 대해 집단 내 응답자들 간의 동질성 정도를 측정하는 ICC(1)과 표본 내 집단의 측정 평균에 대한 신뢰도를 측정하는 ICC(2)로 분석하였다. 구안된 평가모형과 평가준거(안)의 분석 결과는 다음과 같다.
평가모형(안)에 대한 합의도와 수렴도 분석 결과는 합의도가 1.0, 수렴도가 .0로 분석되어 완전 합의/수렴점에 도달한 것으로 분석되었다.
평가준거인 5개 평가단계에 대한 내용타당도(CVR)값은 각각 .33이상으로 나타나 모두 타당한 것으로 나타났으며, 합의도가 .75이상, 수렴도가 .50이하로 나타나서 합의와 수렴점에 도달한 것으로 분석되었다. 아울러 1회차의 ICC 검증 결과는 ICC(1)이 .06으로 집단 내의 동질성이 확보된 것으로 분석되었으며, ICC(2)는 .38로 집단 간의 차이가 없는 것으로 분석되었다.
평가단계의 하위 평가준거인 18개 평가영역은 1차 전문가 의견을 반영해 2개 평가영역을 제거하였다. 16개 평가영역의 내용타당도(CVR)값이 2차에서 .33이상으로 나타나서 모두 타당한 것으로 분석되었고 평가영역에 대한 ICC 검증 결과는 ICC(1)이 모두 .05이상으로 나타나 집단 내의 동질성을 확보하고 집단수준의 값을 신뢰할 수 있는 것으로 나타났다. ICC(2)는 맥락평가, 설계평가, 교육프로그램 조정, 실행평가 단계의 평가영역이 .60이상으로 집단 간의 차이가 있었으며 대략적으로 그 차이가 신뢰할만한 수준으로 나타났다. 반면, 성과평가의 평가영역은 .60미만으로 집단 간의 차이가 없는 것으로 나타났다.
평가영역의 하위 평가준거인 43개의 평가요소는 전문가 의견을 반영해 1개를 추가 및 수정하였고 44개의 평가요소에 대한 델파이 조사 결과는 내용타당도(CVR)가 .33이상으로 모두 타당한 것으로 나타났다. 또한 평가요소의 Cronbach󰡑s α값이 .967로 나타나 올바른 척도로서 의미가 있는 것으로 분석되었다.
따라서 구안된 체제분석적 접근에 기반한 공학교육프로그램 평가모형과 평가준거는 타당한 것으로 분석되었으며, 평가준거는 5개의 평가단계, 16개의 평가영역, 44개의 평가요소로 구성되었다.
넷째, 체제분석적 접근에 기반한 공학교육프로그램 평가모형의 상대적 가중치는 AHP 기법을 활용하여 설정하였으며, 일관성 비율(CR)을 산출하여 신뢰도를 확보하였다. 평가단계의 국지적 가중치 백분율은 성과평가가 27.9%, 실행평가가 26.6%, 설계평가가 18.2%, 교육프로그램 조정이 14.4%, 맥락평가가 12.9% 순으로 나타났으며, 일관성 비율(CR)이 0.1미만으로 나타나 설정된 가중치 사이에는 일관성이 있는 것으로 분석되었다. 아울러 평가영역과 평가요소의 가중치에 대한 일관성 비율(CR)도 모두 0.1미만으로 나타났다.
16개 평가영역의 종합 가중치를 산출한 결과는 성과평가의 3개 평가영역인 프로그램 목표 달성(6순위), 학습 성취와 만족도(1순위), 프로그램 효과(5순위)를 상대적으로 중요하게 인식하였다. 44개 평가요소의 종합 가중치 분석 결과는 맥락평가와 설계평가의 평가요소보다는 성과평가, 실행평가, 교육프로그램 조정 단계의 평가요소들이 상대적으로 높게 나타났다.

목차 (Table of Contents)

• I. 서 론 1
• 1. 연구의 필요성 1
• 2. 연구의 목적 5
• 3. 연구의 내용 6
• 4. 용어의 정의 7
• 가. 체제분석 7
• 나. 공학교육프로그램 7
• 다. 체제분석적 접근에 기반한 공학교육프로그램 평가모형 7
• II. 이론적 배경 8
• 1. 공학교육의 질 제고를 위한 교육프로그램과 평가 8
• 가. 대학교육과 공학교육의 질적 제고 8
• 나. 학력 자격 통용성 확보를 위한 공학교육프로그램과 평가 13
• 2. 공학교육프로그램 평가 설계를 위한 프로그램 평가모형의 탐색 22
• 가. 교육프로그램 평가모형의 유형과 공학교육프로그램 22
• 나. 공학교육프로그램 평가모형과 평가준거의 접근 32
• 3. 공학교육프로그램 평가모형 및 준거 설계 45
• 가. 공학교육프로그램 평가모형과 준거 고찰 45
• 나. 공학교육프로그램 평가모형 및 준거 설계(안) 51
• III. 연구의 절차와 방법 81
• 1. 연구 절차 81
• 2. 연구 방법 83
• 가. 문헌연구 83
• 나. 내용분석법 83
• 다. 델파이 연구 87
• 3. 조사 대상과 도구 91
• 가. 조사 대상 91
• 나. 조사 도구 93
• 4. 자료 수집 및 분석 97
• 가. 자료 수집 97
• 나. 자료 분석 98
• IV. 연구의 결과 102
• 1. 체제분석적 접근에 기반한 공학교육프로그램 평가모형의 분석 102
• 가. 체제분석적 접근에 기반한 공학교육프로그램 평가모형의 분석 결과 102
• 나. 체제분석적 접근에 기반한 공학교육프로그램 평가모형의 평가단계와 평가영역의 분석 111
• 2. 체제분석적 접근에 기반한 공학교육프로그램 평가모형의 타당성 검증 120
• 가. 평가모형(안)의 타당도 분석 결과 120
• 나. 평가단계의 타당도 분석 결과 120
• 다. 평가영역의 타당도 분석 결과 125
• 라. 평가요소의 타당도 분석 결과 130
• 3. 체제분석적 접근에 기반한 공학교육프로그램 평가모형의 가중치 산출 136
• 가. 평가모형의 국지적 가중치 산출 136
• 나. 평가모형의 종합 상대적 가중치 산출 143
• 4. 체제분석적 접근에 기반한 공학교육프로그램 평가모형의 개발 결과 148
• V. 요약, 결론 및 제언 157
• 1. 요약 157
• 2. 결론 161
• 3. 제언 163
• 참 고 문 헌 164
• ABSTRACT 175
• 부록 179