프로그램학습성과 달성을 위한 평가도구 연구 : part 2 학생 포트폴리오

김명랑,윤우영,김동환,정진택,Kim Myoung-Lang,Yoon Woo-Young,Kim Dong-Hwan,Chung Jin-Taek 한국공학교육학회 2005 공학교육연구 Vol.8 No.4

포트폴리오는 학생들이 비교적 오랜 교육기간 중에 수집한 학습결과물을 의미하며, 교육과정 이수 후의 학생들의 성취도를 잘 반영할 수 있고, 교육과정을 개선하고 다시 검토하여 프로그램을 되돌아 볼 수 있는 좋은 기회를 제공하는 이점을 지니고 있다. 이러한 포트폴리오의 평가방법으로서의 우수성을 공학교육의 프로그램학습성과 성취도 평가에 이용하려면, 본 기법에 대한 정확한 이해를 바탕으로 우리 교육 실정과 공학교육 프로그램의 특징을 살펴 적용하여야 한다. 따라서 본 연구는 공학교육 프로그램의 학습성과 평가도구로 학생 포트폴리오를 제안하며 실제 모델을 구축하여 프로그램학습성과 평가의 새로운 기법으로서 활용하고자 하였다. Portfolio contains works that a learner has selected and collected to show growth and change for a limited time period. In terms of an assessment tool, portfolio provides the results of the student with authentic, reflective, interactive and individuals features. Also portfolio provides an opportunity of improvement about curriculum and engineering program. To apply the excellency of portfolio, the principle of portfolio should be understood well and reflected the real state of engineering education. The basic concept of portfolio as a assessment tool of engineering program outcomes was introduced. The example of a portfolio has been also suggested in the form of interactive e-based model. The model has been developed that the assessment for program outcomes was rather done from a student standpoint.

강의평가 응답 태도 건전성 측정도구 개발

김명랑 ( Myoung Lang Kim ),강민석 ( Min Seok Kang ),김민희 ( Min Hee Kim ) 한국교육정보미디어학회(구 한국교육정보방송학회) 2013 교육정보미디어연구 Vol.19 No.4

본 연구는 강의평가 결과 활용에 있어서 타당성과 신뢰성을 확보하기 위한 실질적인 방안으로 강의평가 응답 태도 측정 도구를 개발하는 것에 목적이 있다. 강의평가를 수행하는 주체는 학생들이기 때문에 강의를 판단하는 과정에서 학생들이 강의평가에 임하는 태도는 결과에 영향을 미칠 수 있다. 학생들이 강의평가에 임하는 올바른 태도를 "건전성"의 관점에서 설명하고, 건전성을 자율성, 숙고성, 객관성, 기여가능성이라는 이론적 구인모형을 설정하였으며, 각 구인에 해당하는 측정 문항을 개발하였다. 구인 모형 및 측정 문항에 대한 타당성을 검증하기 위해 국내 서울 및 수도권 3개 대학의 강의 평가 경험이 있는 재학생 총 486명을 대상으로 2차례에 걸쳐 설문을 실시하였다. 486명의 자료는 내용타당도 분석, 탐색적 요인분석, 확인적 요인분석 등의 방법으로 분석되었다. 강의평가 응답 태도 건전성의 구인 타당도 분석 결과 자율성, 숙고성, 객관성, 기여가능성의 이론적 구인모형이 검증되었다. 아울러 총 13개의 측정 문항이 도출되었다. 본 연구 결과는 강의평가의 타당한 결과 활용을 위한 보완적인 장치로 활용될 수 있을 것이다. The purpose of this research is to develop a tool for integrity of responsive attitudes in students` ratings of instruction to get a validity and reliability of students` ratings use practically. Because subjects who do evaluation were students, their attitudes could have a few influence on results in the evaluation process. Literature review was conducted to define the concept of "Integrity" and establish it`s theoretical model. "Integrity" was defined as students` correct responsive attitudes towards ratings of instruction. The model consists of 4 domains; autonomy, consideration, objectivity and contribution possibility. In order to verify its validity and reliability, a survey consisting of a number of basic questions derived from the previous researches was conducted on 486 students in 3 universities and content validity analysis, exploratory and confirmary factor analysis were conducted. 4 construct models(autonomy, consideration, objectivity and contribution possibility) and 13 scales were derived after verifying the validity and reliability of the integrity of responsive attitudes in students` ratings of instruction. This results could be used by additional tools to interpret students` ratings results validly.

SNS를 활용한 협동학습에서의 인지적 평가와 대처 전략에 대한 연구

김명랑 ( Myoung Lang Kim ) 한국교육정보미디어학회(구 한국교육정보방송학회) 2014 교육정보미디어연구 Vol.20 No.4

본 연구는 SNS를 활용한 협동학습에서 예비교사들의 인지적 평가와 대처 전략을 분석하여 시사점 을 제공하는 것을 목적으로 한다. 4개 대학의 70명의 예비 교사들은 SNS를 활용한 협동학습에 참여하 였고, SNS 협동학습에 대한 도움요인, 개선요인, 대처 전략에 대한 개방형 질문에 응답하였다. 자료 분석 결과 첫째, SNS를 활용한 협동학습은 학업에 대한 성취도 증가와 새로운 관점에 대한 수용에 도 움을 준다고 인지하는 것으로 나타났다. 둘째, SNS를 활용한 협동학습에서 개선이 필요한 요인을 교 수자와 튜터의 피드백과 구성원들의 과제 활동으로 인지하는 것으로 나타났다. 셋째, 이러한 인식을 통해 나타난 대처 전략은 긍정적인 재인식과 직접 대처, 성찰인 것으로 나타났다. SNS를 활용한 협동 학습에 대한 예비교사들의 인식과 대처 전략에 대한 연구 결과는 수업에서 새로운 도구와 방법을 적 용하며 실행하는데 있어서 유의미한 시사점을 제공할 수 있을 것이다. In this study, we attempted to explore the process of cognitive appraisal and coping about cooperative learning of social network service. 70 pre-service teacher among 4 university participated in project of cooperative learning of SNS then they respond to open ended questions of their perceived positive factors, improvement factors and coping factor. The result shows that pre-service teachers are perceived that cooperative learning of SNS has positive factors on achievement and perspective-taking. Second, they recognized to instructors and tutors` feedback and group members` activity as an improvement factor. Third, coping strategies through their cognitive appraisals were positive reappraisal, confrontive coping, and planful problem solving. Such results suggest that using cooperative learning of SNS for instructional purpose could support meaningful strategies in terms of use of new teaching and learning method and instructional technology.

교수 자료 개발 프로그램에 대한 컴퓨터 자기효능감과 성과 기대가 수업에서의 컴퓨터 사용 태도에 미치는 영향

김명랑 ( Myoung Lang Kim ),최문정 ( Mun Jung Choi ) 한국교육공학회 2012 교육공학연구 Vol.28 No.4

학습 성과 달성을 위한 평가도구 연구: part 1 초점그룹

김명랑,윤우영,김동환,정진택,Kim Myoung-Lang,Yoon Woo-Young,Kim Dong-Hwan,Chung Jin-Taek 한국공학교육학회 2004 공학교육연구 Vol.7 No.4

이미 여러 분야에서 모집단의 실향에 대한 질적 평가 방법 중 우수하다고 정립이 된 조사기법인 '초점그룹(focus group)'을 공학교육의 학습 성과의 성취도 평가에 이용하려면, 본 기법에 대한 정확한 이해를 바탕으로 우리 교육 실정과 공학 교육의 특징을 살펴 적용하여야 한다. 본 연구는 '초점그룹'에 대한 소개와 함께, 공학 교육의 학습 성과 평가에 활용할 때 제기될 수 있는 문제점들을 파악하고 대안을 제시함으로서, 학습 성과 평가의 새로운 기법으로써 '초점그룹'을 활용하고자 하였다. 조사 기획, 실행, 분석 단계에서 일어날 수 있는 문제점들을 정리하고 가능한 해결 방안에 대해 연구하였다. 실제 공학교육에 적용을 위한 실행에 이용할 수 있도록 조사 지침서의 간단한 예도 연구 제시하였다. The 'focus group' is a well established methodology to evaluate the characters and features of the mother group qualitatively. In outcomes based engineering education, it is a key issue to select a proper tool for evaluating the achievement of outcomes. Based on understanding of the method. A 'focus group' was introduced to evaluate the outcomes qualitatively in the engineering education. The issues in the procedure, implementation and analysis were studied. The guide manual for specific outcomes (life-long learning, contemporary issue, cooperation world-widely) was also suggested.

학습 성과(outcomes) 만족도 분석 - K대학을 중심으로 -

김명랑,윤우영,이경훈,Kim Myoung-Lang,Yoon Woo-Young,Lee Kyung-Hoon 한국공학교육학회 2004 공학교육연구 Vol.7 No.1

One of important criteria of an engineering certification is the outcomes. This study proposes a result of satisfaction for twelve's outcomes and improvement of engineering education curriculum to achievement of the outcomes. According to the research, students over 74%s have been satisfied. And we could get the conclusion which the general and design education must be strengthened more to achievement of the outcomes. 한국공학교육인증원(ABEEK)에서는 공학 인증의 중요한 기준의 하나로 학습 성과(outcomes)를 제시하고 있다. 본 연구는 12가지 학습 성과에 대한 만족도를 조사하여 학습 성과를 달성하기 위한 공과대학의 교육 과정의 개선 방향을 제시하고자 한다. 연구 결과에 따르면 74% 이상의 학생들이 만족하고 있었고, 학습 성과를 달성하기 위해서는 설계 및 교양 교육이 더욱 강화되어야 한다는 결론을 얻을 수 있었다.

학습 성과를 기초로 한 공학교육연구 : 일반적 방법론 및 평생 학습의 예

윤우영,김명랑,Yoon Woo-Young,Kim Myoung-Lang 한국공학교육학회 2004 공학교육연구 Vol.7 No.1

학습 성과를 기초로 한 공학교육은 반드시 한국공학교육인증원의 인증을 위해서 그 필요성이 존재하는 것은 아니다. 실제 공학 교육에서 교육의 개선과 발전을 위한 매우 유용하고 효과적인 방법임을 부인할 수 없으며 세계적 교육의 대세인 것이다. 본 연구는 학습 성과를 달성하기위한 일반적인 교육 방법과 "평생학습"에 대한 예를 제시하고자 하였다. 학습 성과를 달성하기 위한 순서와 구성요소, 또 교육의 새로운 패러다임인 CQI(continuous quality improvement)를 달성하기위한 소위 "close-the-loop"의 예도 제시하였다. Outcomes based engineering education is not necessary only for the accreditation by the ABEEK, but the actual improvement and enhancement of the engineering education. Also, it is the new and big trend in engineering education filed world widely. The new methodology for performing outcomes based education has been proposed for engineering education and the practical application for so called 'life-long learning' outcome has been presented. Furthermore, the way to 'close-the-loop' for CQI(continuous quality improvement) in engineering education has been shown.

공학 직무능력 온라인 평가 도구 개발

강민석 ( Min Seok Kang ),김명랑 ( Myoung Lang Kim ),이영태 ( Young Tae Lee ) 한국교육정보미디어학회(구 한국교육정보방송학회) 2016 교육정보미디어연구 Vol.22 No.2

본 연구의 목적은 공학 분야의 직무 능력 평가를 위한 온라인 평가 도구를 개발하는 것이다. 본 연구의 목적을 달성하기 위하여 온라인 평가와 공학 직무능력 평가에 대한 관점을 고찰하고, 온라인 교육 환경에서 공학 분야의 직무 능력을 평가할 수 있는 도구를 탐색하여 평가시에 실질적으로 활용할수 있는 프로토타입, 기능정의서 및 시나리오를 개발하고자 하였다. 이를 위해 본 연구에서는 직무능력 평가와 관련된 선행 연구를 분석하고, 20명의 분야 전문가를 대상으로 설문을 실시하여 IPA 분석 및 개발된 평가도구의 타당성을 확보하였다. 주요 연구 결과를 살펴보면, 공학 직무 능력 평가를 위한 도구는 포트폴리오, 문제해결시나리오, 필기시험, 사례 연구 과제, 상호작용 지수, 일지/저널, 캡스톤디자인보고서, 에세이, 온라인 실습, 실험보고서가 도출되었으며, 중요도 분석결과 우선순위로 선정된 도구는 포트폴리오, 온라인실습, 문제해결시나리오, 사례연구과제, 실험보고서, 상호작용지수로 나타났다. 또한 IPA기법을 통해 중요도와 활용도를 분석한 결과, 온라인실습 도구는 온라인 기반과 공학 직무능력 기반 모두 1사분면(유지: 지속적 적용 영역)에 해당되었다. 그리고 포트폴리오가 온라인 기반과 공학 직무능력 기반 모두 2사분면(집중: 시급 적용 영역)에 해당되었다. 공학 분야에서 평가도구로 온라인실습, 포트폴리오에 중요도가 높고 활용이 필요함을 보여주는 결과이다. 이러한 결과를 바탕으로 본 연구에서는 공학 직무능력 평가를 위한 프로토타입, 기능정의서 및 시나리오를 개발하였다. 본 연구는 공학 직무 능력 중심의 평가를 위한 실증적 연구 결과를 제공하여 온라인 교육의 질을 제고할 수 있을 것으로 기대된다. The purpose of the study was to develop an competency based assessment tools for online in engineering disciplines. For this purpose, the study investigated the concepts of competency based assessment and the appropriate assessment tools for evaluating engineering disciplines in online learning. And this study analyzes previous studies on engineering competency based assessment in online learning, and Importance-Performance Analysis (IPA) which was conducted by 20 experts on researching competency based assessment to find the importance and the order of priority. As the result of IPA, the importance and performance of assessment tools is proposed as 4 quadrant. The overall result indicates that the assessment tools toward competency based assessment include developed portfolio, problem solving scenario, text based exam, task of case study, interaction indices, journal, capstone design course report, essay, online practice, and experiment report. In the order of priority, the study found portfolio, online practice, problem solving scenario, task of case study, experiment report and interaction indices to be the most assessment tools. As for the result of analyzing IPA, the assessment tool of online practice was included in 1st quadrant(sustaining maintenance) for both online and competency of engineering disciplines. The assessment tools of portfolio was included in 2nd quadrant (urgent improvement) both online and competency of engineering disciplines. As these results, prototypes, specifications and scenarios were developed as assessment tools to validate competency based assessment of engineering disciplines in online learning. The findings offer an insight into methods for explain assessment tools and for developing the assessment tools by providing the evaluator with specific and practical guidelines for explain assessment tools to improve the quality of online learning.

기업의 e-Learning 개발 유형에 따른 교육 효과성 비교

엄미리 ( Mi Ri Eom ),김명랑 ( Myoung Lang Kim ),장선영 ( Sun Young Chang ),박인우 ( Inn Woo Park ) 한국교육정보미디어학회(구 한국교육정보방송학회) 2008 교육정보미디어연구 Vol.14 No.2

본 연구에서는 기업의 e-Learning 직무교육과정의 효과성을 밝히기 위해 e-Learning 개발 유형을 자체 개발 과정과 위탁 개발 과정으로 나누고 직무교육과정의 만족도, 수료점수, 일평균학습시간 측면에서 e-Learning의 교육 효과성을 분석하였다. 연구결과, 자체 개발 과정과 위탁 개발 과정 간에 만족도에서의 전이성과와 수료점수, 일평균학습시간 측면에서 유의미한 차이를 보였다. 전이성과와 일평균학습시간은 자체 개발 과정이 위탁 개발 과정보다 높게 나타난 반면 수료점수는 위탁 개발 과정이 더 높은 것으로 나타났다. 따라서 기업에서는 e-Learning 직무교육과정을 개발할 때 기업의 상황과 여건을 적극적으로 고려하여 개발 유형을 선택해야 하고, 비용이나 인적자원 운용 측면에서 자체 개발과정이 좀더 많은 거부감과 한계를 갖고 있다고 하더라도 기업의 업무 전이성과나 학습 몰입 측면에서 유의미한 성과가 있다는 점을 고려하여 적극적으로 수용할 필요가 있다. 본 연구는 하나의 특정 기업을 대상으로 하였기 때문에 개발 유형과 직무교육과정이 제한적일 수 있으며, 직무과정이 완료된 3-8개월이 지난 후 온라인 설문으로 진행하였기 때문에 개발유형별로 강좌를 한정시키지 못했다는 한계점이 있다. The purpose of this study was to identify the training effectiveness in e-Learning training courses. The development types of company e-Learning were divided into self-development and outsourcing courses. The training effectiveness was analyzed in terms of satisfaction, completion outcomes and learning time. The results of study were indicated that satisfaction and completion outcomes were statistically significant for comparison self-development and outsourcing. Self -development courses were higher than outsourcing courses in transfer outcomes and learning time, but were lower in completion outcomes. These results indicate the need to select the development types of e-Learning with consideration for the given condition. If a company wants to increase its effectiveness in transfer and learning immersion, a self-development course needs to be adopted, as does a learning strategy to raise the effectiveness in the transfer and learning immersion of the outsourcing course. The results of result are limited to development types and training courses because the study subjects were restricted to a single company, and e-Learning training courses were not classified by development types because the training courses had finished 3-8 months before the on-line survey point.

온라인 수업에서의 교수자 역할 측정도구 개발

강민석 ( Min Seok Kang ),김명랑 ( Myoung Lang Kim ) 한국교육정보미디어학회(구 한국교육정보방송학회) 2014 교육정보미디어연구 Vol.20 No.4

본 연구에서는 온라인 수업에서의 교수자 역할에 대한 측정 도구를 개발하고 그 타당성을 검증하고자 하였다. 온라인 수업에서의 교수자의 역할에 대한 구인을 교수설계자, 학습상담자, 학습환경관리자, 상호작용촉진자, 학습평가자, 학습정보제공자로 설정하였으며, 각 구인에 해당하는 측정 문항을 개발하였다. 구인 모형 및 측정 문항에 대한 타당성을 검증하기 위해 온라인 교육 경험이 있는 교수자 총210명을 대상으로 설문을 실시하였다. 210명의 자료는 내용타당도 분석, 탐색적 요인분석, 확인적 요인분석 등의 방법으로 분석되었다. 온라인 수업에서의 교수자의 역할에 대한 타당성 검증 결과, 이론적 모형에서 제안한 6가지 요인인 교수설계자, 학습상담자, 학습환경관리자, 상호작용촉진자, 학습평가자, 학습정보제공자가 검증되었다. 아울러 총 30개의 측정 문항이 도출되었다. 본 연구는 온라인 수업에서의 교수자의 역할을 종합적으로 제시하고, 관련 문항을 실증적으로 개발하였다는 데 의의가 있다. 본 연구결과는 향후 온라인 수업에서의 교수자의 역할에 대한 기준과 가이드라인을 제시하는 장치로 활용될 수 있을 것이다. The purpose of this research is to develop a tool for measuring online instructors` role behavior and verity its validity. Literature review was conducted to define the concept of instructors. role behavior in online learning and establish it`s theoretical model. The model consists of 6 domains; instructional design, learning counseling, management of learning environment, facilitating interaction, learning evaluation, providing learning information. In order to verify its validity and reliability, a survey consisting of a number of basic questions derived from the previous researches was conducted on 210 instructors and content validity analysis, exploratory and confirmity factor analysis were conducted. 6 construct models(instructional design, learning counseling, management of learning environment, facilitating interaction, learning evaluation, providing learning information) and 30 scales were derived after verifying the validity and reliability. The study can provide many implications on a variety of studies regarding instructional strategies and guidelines to online instructors` role in online learning environment.