Effects of students feedback on english teachers test preparation and administration

국문 초록 (Abstract)

본 연구는 특정학교에서 교사들이 집필한 시험문제의 질을 평가하고 시험 문제의 질이 학생들의 시험에 대한 피드백에 의해 얼마나 향상될 수 있는가를 살펴보았다. 특히 본 연구는 1) 학생들이 교사들의 시험에 어떻게 반응하는지, 2) 학생들의 피드백이 교사들의 시험에 대한 인식과 시험 출제 과정에 어떤 영향을 미치는지, 3) 시험 문제의 질이 학생들의 피드백에 영향을 받아 실제로 더 나아지는지를 연구하였다. 약 760명의 고등학교 1학년 학생들이 중간고사와 기말고사 시험에 응시하였으며, 그 중 115명의 학생들이 시험 후 피드백 설문지를 작성하였다. 네 명의 고등학교 영어 교사들이 연구에 참여하였으며 그들은 시험 후에 두 번의 피드백 모임을 가지고 학생들의 피드백과 시험 결과를 살펴보았다. 본 연구의 주요 목적은 교사들의 시험에 대한 인식과 관습이 학생들의 피드백에 영향을 받아 변하는가를 살펴보는 것이었다.
전반적인 결과는 다음과 같다.
1. 학생들의 학교 시험 공정성(test fairness)에 대한 태도는 기말고사에서 나아졌음에도 불구하고 긍정적이지 않았다. 학생들이 인식한 각 문제에 대한 난이도, 변별도, 형식적합도 및 논평은 교사들이 그들의 시험을 개선할 수 있는 유용한 통찰력을 제공하였다. 학생들은 객관식 문제보다 서술형 문제에 더 많은 논평을 하였는데, 이는 서술형 문제가 더 많은 보완과 수정을 필요로 함을 암시한다.
2. 교사들의 시험에 대한 인식과 관습은 연구를 통해 많은 변화를 보여주었다. 학생들의 중간고사에 대한 피드백을 통해 교사들은 시험의 약점을 알아내고 어떻게 고칠지를 의논하였다. 그들이 논의한 점을 기말고사 출제에 실행함으로써, 기말고사의 질이 실제로 향상되었다. 교사들은 피드백 회의가 그들의 시험이 어떠한지, 어떻게 고칠지, 나아가 그들의 노력이 어떤 결과를 가져올지를 깨닫게 해준다는 점에서 매우 긍정적인 태도를 보였다.
3. 시험 결과에 대한 분석은 기말고사의 객관식 문제가 질적으로 향상되었음을 보여주었다. 이것은 학생들의 피드백이 실제로 교사들이 그들의 시험을 개선하는 것을 도왔다는 것을 의미한다. 반면, 교사들의 서술형 문제 정답률을 높이고자 한 노력은 원하는 결과를 얻지 못하였다. 전반적으로, 교사들이 출제한 많은 문제들이 너무 쉽거나 너무 어려웠던 것으로 밝혀져 교사들의 시험 문제 개선에 대한 더 많은 노력이 필요함이 드러났다.
이러한 결과들은 학생들의 피드백이 교사들의 시험을 개선하는데 유용한 도구가 될 수 있음을 보여준다. 따라서 영어 교사들 사이에서 학생들의 피드백을 얻어, 이용하고자 하는 더 많은 노력이 필요하다. 교사들의 시험의 중요성 인식과 평가에 대한 꾸준한 맞춤식 교사 연수 및 훈련이 또한 이루어져야 하겠다.

다국어 초록 (Multilingual Abstract)

The present study investigated the quality of teacher-made tests in one specific school and explored how it could be improved with the students’ feedback on the test. Specifically, the study attempted to examine 1) how students react to the quality of teacher-made tests, 2) how the students’ feedback influences their teachers’ awareness and practice on testing, and 3) how the teacher-made tests improve after the students’ feedback. About 760 students in the tenth grade took midterm and final exams, and among them, 115 students answered the questionnaires on both tests. Four Korean high school English teachers produced the exams and they had two feedback sessions in which they discussed the test results and students’ feedback. The primary purpose of this study was to investigate whether the teachers’ testing awareness levels and practices had changed affected by the students’ feedback.
The overall findings from the study are as follows:
1. Students’ attitudes to the test fairness in both tests were not positive despite the significant improvement in the final exam. Perceived item difficulty, validity, form appropriacy and written comments by students gave useful insights for teachers to revise their tests. Compared to the multiple-choice items, students commented more on the supply-type items, which indicates that the supply-type items needed more revision and improvement.
2. Teachers’ awareness and practices on testing showed significant changes throughout the study. Due to the students’ feedback on the midterm exam, they found the weak points of their test and discussed how to change them. By practicing what they discovered on the midterm exam, they saw some improvement in the quality of the final exam. Teachers’ attitudes towards the feedback sessions were very positive in that they realized how their tests were perceived, understood how to change them, and recognized the results that can be brought forth by their efforts.
3. There were some improvements in the quality of the multiple-choice items in the item analyses of the final exam. This indicated that the students’ feedback indeed helped the teachers improve their test. On the other hand, teachers’ efforts to raise students’ scores on the supply-type items did not bring forth the expected results. Overall, many items constructed by the teachers were too easy or too difficult, indicating the necessity for more revision and modification by the teachers.
These findings suggest that student feedback can be a useful tool for teachers to improve their tests. Thus, there should be more efforts among English teachers to obtain students’ feedback on exams and utilize it. The need for teachers to recognize the importance of testing and continuous and tailored teacher training on assessments is also suggested.

목차 (Table of Contents)

• ABSTRACT i
• TABLE OF CONTENTS iii
• LIST OF TABLES vii
• CHAPTER 1. INTRODUCTION 1
• 1.1. The Purpose of the Study 1
• 1.2. The Significance of the Study 3
• 1.3. Research Questions 4
• 1.4. Organization of the Thesis 5
• CHAPTER 2. LITERATURE REVIEW 6
• 2.1. Theoretical Background 6
• 2.2. Research on Teacher-made Test 10
• 2.3. Research on Test-taker Feedback 14
• CHAPTER 3. METHODOLOGY 18
• 3.1. Context of the School 18
• 3.2. Participants 21
• 3.2.1. Test Writers 21
• 3.2.2. Test Takers 22
• 3.3. Materials 23
• 3.3.1. The School Exam Papers 23
• 3.3.2. The Logs of the Feedback Sessions by the Teachers 25
• 3.3.3. Questionnaire for the Students 25
• 3.3.4. Questionnaire for the Teachers 27
• 3.4. Procedures 28
• 3.4.1. The Miderm Exam Preparation and Administration 28
• 3.4.2. Survey of the Students' Feedback on the Midterm Exam 29
• 3.4.3. The First Feedback Session by the Teachers . 29
• 3.4.4. The Final Exam Preparation and Administration 30
• 3.4.5. Survey of the Students' Feedback on the Final Exam 30
• 3.4.6. The Second Feedback Session by the Teachers 31
• 3.5. Data Analysis 31
• CHAPTER 4. RESULTS AND DISCUSSION 33
• 4.1. The Teachers' Initial Stages of Testing Beliefs and Practices ................33
• 4.1.1. The Teachers' Eveluation of Themselves as Test Writers 34
• 4.1.2. Problems and Concersns about Test Writing 35
• 4.1.3. Experience in Teacher Training on Test Development 36
• 4.2. The Midterm Exam 37
• 4.2.1. The Teachers' Views on the Quality of the Midterm Exam 37
• 4.2.2. The Students' Feedback on the Midterm Exam 38
• 4.2.3. The First Feedback Session 46
• 4.3. The Final Exam 49
• 4.3.1. The Teachers' Views on the Quality of the Final Exam . 50
• 4.3.2. The Students' Feedback on the Final Exam 51
• 4.3.3. The Second Feedback Session . 59
• 4.3.4. The Teachers' Views on the Effects of the Feedback Sessions . 62
• 4.4. Results of the Statistical Analyses of the Exams 63
• 4.4.1. Descriptive Statistics of the Exam Scores 64
• 4.4.2. The Difficulty Indices of the Midterm and Final Exams 65
• 4.4.3. The Discrimination Indices of the Midterm and Final Exams 67
• 4.4.4. Distracter Analysis of the Midterm and Final Exams 70
• 4.4.5. Summary of the Findings 74
• CHAPTER 5. CONCLUSION 76
• 5.1. Summary of the Research Findings and Implications 76
• 5.2. Limitations of the Study and Suggestions for Future Research 81
• REFERENCES 83
• APPENDICES 88
• ABSTRACT IN KOREAN 112