형성평가의 재인식에 따른 교사와 학교교육의 변화를 위한 제언

성태제(Taeje Seong),임현정(Hyunjung Im) 한국교육평가학회 2014 교육평가연구 Vol.27 No.3

본 연구는 학교 교육현장에서 형성평가가 보다 적극적으로 활용될 수 있도록 형성평가와 관련한 이론적 배경과 적용 방안을 제시하고자 하는 목적으로 수행되었다. 이를 위해최근 교수․학습적 측면에서 중요성이 부각되고 있는 형성평가의 개념 변화에 대한 이해를 통해 형성평가를 재개념화 하고, 이를 위한 절차, 방법, 평가요소 등과 관련한 최근이론과 연구를 소개하였다. 형성평가의 개념이 진화하면서 학생들도 적극적으로 참여하는 평가, 학생들에게 평가 결과를 피드백 하는 평가, 교수․학습방법을 개선하는 평가로서의 기능이 강조되고 있다. 이러한 이론적 검토를 토대로 교수․학습의 효과를 극대화하기 위해서 형성평가에 대한 이해를 새롭게 하고, 교수․학습 상황에서 활발한 활용이 필요하며 이를 학교교육에 접목시키기 위해 요구되는 교사의 역할에 대하여 논의하였다. 교육평가의 주체라고 할 수 있는 교사들이 형성평가의 목적과 기능을 재인식하여 실제수업장면에서 형성평가와 피드백의 순환적 과정을 시행한다면 교수․학습의 극대화를 구현할 수 있을 것이다. 이를 우리나라 교육평가에 적용하기 위해서 어떠한 실천이 필요한지를 논의하고, 교사의 평가 역량 강화를 위한 표준서의 개발을 제안하였다. This study is to suggest theoretical backgrounds and applicable methods for active use of formative assessment in the fields of school education. For this, formative assessment being emphasized recently in the aspects of teaching and learning is re-conceptualized by understanding its conceptual changes. And then recent theories and researches of procedures, methods, evaluation factors related with re-conceptualization of formative assessment are introduced. In accordance with the development of the concept of formative assessment, the function of assessment is emphasized that students' active participation, interaction by feedback, and improvement of teaching process. Based on the theoretical reviews, the new approach and active use of formative assessment in teaching and learning are necessary in order to maximize the effectiveness of teaching and learning. Moreover, some suggestions are discussed to clarify teachers' role need to apply the new approach and active use of formative assessment to school education. If teachers, the subjects of educational evaluation, implement cyclical process between formative assessment and feedbacks while teaching in real class, the effectiveness of teaching and learning will be maximized. Also, applicable practices for educational evaluation are discussed, and evaluation standards are suggested to enhance teacher competence in educational assessment of students.

문항반응이론에 기초한 준거설정 방법 비교

장윤선(Jang, Yoonsun),성태제(Seong, Taeje) 한국교육평가학회 2009 교육평가연구 Vol.22 No.3

본 연구는 문항반응이론에 기초한 Bookmark방법,Mapmark방법,IDM 방법에 의해 산출된 최종 분할점수를 비교하고 내적,외적 준거 측면에서의 평가를 통해 세 가지 준거설정 방법의 적용가능성에 대하여 논하고자 한다.이를 위해서 TIMSS2003과학검사 중에서 물리영역에 해당되는 문항의 응답 자료를 사용하여 피험자를 세 개의 성취수준으로 분류하기위한 분할점수를 산출하였다.또한 산출된 분할점수를 사용하여 준거설정자간, 준거설정자내,방법내,방법간 분류일치도를 산출하여 비교하였다.연구결과,세 가지 준거설정 방법에 의한 분할점수 설정결과 우수수준의 분할점수는 큰 차이가 없었지만,수월수준의 분할점수에서는 큰 차이가 발생하였고,준거설정 방법의 내적 평가결과 준거설정자간 분류일치도는 Mapmark방법이 비교적 높게 산출되었고,준거설정 방법내 분류일치도와 정확도 역시 Mapmark방법이 높게 산출되었다.외적 준거에 따른 평가결과는 Bookmark방법과 Mapmark방법의 분류일치도가 가장 낮게 산출되었다. The purpose of the present study is to introduce three IRT-based standard setting methods (Bookmark, Mapmark and the IDM methods) and compare with cut-scores and internal and external validity of these methods. Also, it analyzed the applicability and restrictive point of these methods in our educational situation. The physics items and respond data of the TIMSS2003 science test were used for it. In result, regarding the cut scores of the three methods, there are some gaps among them and the cut scores of‘High’weresimilarbutthecutscoresof‘Advanced’wereverydifferent.Andregarding the evaluation of standard setting methods by internal criteria-intrapanelist interpanelist and within method consistency, the result of the Mapmark method has higher consistency than other two methods. Also, regarding evaluation of standard setting methods by external criteria-intermethod consistency, the result of the consistency between Mapmark method and Bookmark method becomes being lower than other methods.

Effects of medical schools and standardized patients on clinical performances of medical students

Jang Hee Park(박장희),Taeje Seong(성태제),Sehee Hong(홍세희) 한국교육평가학회 2011 교육평가연구 Vol.24 No.1

의과대학들은 학생들의 진료 능력을 평가하기 위해 실제 의사 진료상황을 설정하고 훈련된 표준화환자(훈련된 모의환자)를 이용하여 수행평가를 실시하고 있다. 대부분 의과대학들은 컨소시엄을 구성해 공동으로 문항개발, 표준화환자 훈련, 시험시행을 하고 있다. 여러 대학이 시행하므로 학교효과를, 관찰에 의한 수행평가이므로 채점자효과를 평가해 야 한다. 하지만 본 연구 자료가 여러 대학의 학생들이 과제당 단일 표준화환자에 의해 평가되어 채점자효과를 단일차원에서 계산이 어렵다. 이에 채점자집단을 2수준으로 하고 학교집단도 함께 파악하는 교차분류모형(cross-classified model)을 이용하여 학생 성적에 나타나는 학교효과와 채점자효과를 동시에 분석하였다. 분석 결과, 수행과제의 평가영역들(병력청취, 신체진찰, 임상예절, 의사환자관계) 중 신체진찰은 학교효과가, 환자의사관계는 표준화환자효과가 통계적으로 유의하였다. 독립변수들 중에서는 대학별 평균성적과, 표준화환자별 평균 성적이 통계적으로 유의하였다. 수행평가 문항 구성 및 표준화환자 훈련 및 채점교육 시 이러한 효과들을 고려하여 개발하고 훈련시킬 필요가 있다. When we analyze performance assessment result data assessed by single rater on a large scale, the school effect and rater effect should be considered. The purpose of the present study is to estimate the amount of variation in individual scores attributable to the differences between medical schools and between standardized patients (SPs) (raters), and to examine how the characteristics of schools and SPs might explain such variation. Students were grouped by the school attended and by the SP who evaluated the students’ performance and acted as a patient in each task (case). Each student was cross-classified with a school and a SP. The cross-classified model is a useful method for analyzing the combined effect (school and rater effect) in this type of hierarchical data. The results by this model showed that students’ performance outcomes were significantly related to the differences between schools and SPs. Each task had four content domains: History Taking, Physical Examination, Clinical Courtesy, and Patient-Physician Interaction. Among them, the school effect on student scores with regard to Physical Examination items and the SP effect with regard to History Taking and Patient-Physician Interaction items were significant. Some predictors, for example, mean scores of schools and SPs, explained the variation of student scores significantly. For reliable performance evaluation of the medical students, SPs should be carefully trained in the Patient-Physician Interaction domain.

4모수 문항반응모형을 적용한 TIMSS 2015 수학 검사의 문항모수 추정

안선영(Sunyoung Ahn),서영숙(Youngsuk Suh),송미영(Mi-Young Song),성태제(Taeje Seong) 한국교육평가학회 2021 교육평가연구 Vol.34 No.1

4모수 로지스틱 문항반응모형은 3모수 모형에 문항실수제외도를 추가하여 확장된 모형으로서, 응답 자료에 불확실성으로 포함되어 있던 문항추측도와 실수도를 모두 분리해낸다. 본 연구는 4모수 모형을 소개하고 TIMSS 2015 8학년 수학의 문항반응 자료에 적용하여 모형의 활용성을 탐색하였다. 이를 위해 2모수 모형, 3모수 모형, 그리고 인지진단 DINA 모형을 함께 분석하여 그 결과를 비교하였다. 문항반응모형 간 비교에서 문항 모수별 상관은 대부분 높았으며, 모형이 복잡해질수록 문항난이도, 변별도, 추측도 추정치와 해당 표준오차도 증가하였다. 그러나 4모수 모형에서 문항실수제외도의 평균 표준오차는 작아서 다른 문항 모수보다 안정적으로 추정되었음을 확인하였다. 4모수 모형과 DINA 모형의 비교 결과, 4모수 모형의 자료 적합성이 더 좋았고, 문항추측도는 부적상관을, 문항실수제외도는 매우 낮은 상관을 나타내어 두 검사 모형의 서로 다른 추정 경향을 확인하였다. 본 연구는 4모수 모형의 다양한 자료 해석과 정보제공 가능성을 밝히고, 문항 분석의 다양성과 측정의 정확성을 높이기 위한 시사점을 논의하였다. The 4-parameter logistic model(4PLM) was extended from the 3-parameter logistic model(3PLM) by considering the item non-slip parameter. It separates the guessing and the slip parameter from the ambiguity of the response data. The purpose of current study is to explore the use of the 4PLM by applying it for analyzing the 8th grade mathematics data of TIMSS 2015. In comparison between item response models, the correlations by item parameters were mostly high. As the model became more complicated, the difficulty, discrimination, guessing parameter estimates, and the corresponding standard errors also increased. However, for the 4PLM, the mean standard error was small, indicating that it was more reliably estimated relatively than other item parameter estimates. The comparison results of the 4PLM and the DINA model were as follows. The 4PLM was more suitable for the data. The guessing parameter estimates of the models showed a negative correlation, and the correlation for the item non-slip was very small, implying the different estimation trends of the two test models. This article demonstrated a possible application of the 4PLM by comparing it with other conventional models, and provided discussions for implications of the 4PLM in analyzing various test data.