Rasch 모형을 활용한 서평쓰기 수행평가 채점 기준 개발 및 타당화 연구 = A Study on Development and Validation of Scoring Rubric for Performance Assessment of Writing a Book Review using Rasch Model

국문 초록 (Abstract)

이 연구의 목적은 Rasch 모형을 활용하여 타당성과 신뢰성을 갖춘 서평쓰기 수행평가의 채점 기준을 개발하는 것이다. 서평쓰기는 읽기와 쓰기가 통합된 활동으로 이를 함께 고려해서 지도해야 서평쓰기가 본래 목적으로 삼는 비판적 문식성을 키울 수 있다. 이러한 평가 목적에 맞게 서평쓰기 수행평가를 실시하려면, 이에 맞는 평가 도구와 채점 기준이 필요하다. 특히, 학생의 발달과 성장 중심의 평가를 위해서는 수행평가 결과에 대해 구체적으로 피드백해 줄 수 있는 채점 기준이 마련되어야 한다.
이러한 문제의식을 가지고 이 연구에서는 서평쓰기의 교육적 의의와 채점 기준을 탐색하고, 쓰기 수행평가 과제와 채점 기준 개발에 필요한 이론적 배경을 검토하였다. 이를 바탕으로 서평쓰기 수행평가 채점 기준을 개발하여 이에 대한 두 차례의 타당성 검증을 실시하였다. 이 연구의 각 장에서 다루어진 구체적인 연구 내용은 다음과 같다.
Ⅱ장에서는 서평쓰기의 교육적 의의와 채점 기준에 대해 살펴보고, 쓰기 수행평가 과제 및 채점 기준표 개발에 필요한 이론을 검토하였다. 이를 위해 우선 서평쓰기 수행평가의 필요성을 확인하고자 읽기와 쓰기의 통합 필요성에 대해 살펴보았다. 그리고 서평쓰기의 교육적 의의로 ‘비판적 문식성에 대한 평가’, ‘생태학적 평가’, ‘자기 주도적 학습 능력 및 태도 함양’을 제시하였다. 다음으로 서평쓰기의 채점 기준을 탐색하기 위해 서평의 개념과 특성, 구성 요소, 기존의 채점 기준을 살펴보았다. 이를 통해 서평쓰기의 채점 요소로 ‘소개 및 요약’, ‘비평의 관점’, ‘비평의 근거’, ‘조직’, ‘표현 및 어법’을 도출하였다. 마지막으로 서평쓰기 수행평가를 설계하기 위해 필요한 쓰기 수행평가 과제 및 채점 기준표 개발 절차에 대해 살펴보았다.
Ⅲ장에서는 서평쓰기 수행평가 채점 기준의 타당성 검증을 위해 사용한 연구 방법을 기술하였다. 이를 위해 고등학교 1학년 학생 62명을 대상으로 서평쓰기 과제를 제시하고, 58편의 서평을 수집하였다. 이를 바탕으로 두 차례의 타당성 검증이 이루어졌다. 1차 타당성 검증은 50명의 국어 교사가 채점자로 참여하여, 개발된 채점 기준에 따라 서평 4편에 대해 채점을 실시하고, 채점 기준의 적절성에 대한 설문을 실시하였다. 2차 타당성 검증은 15명의 국어 교사가 채점자로 참여하여, 수정된 채점 기준에 따라 서평 30편을 채점하고, 채점 기준에 대해 채점자 의견을 제안하도록 하였다. 채점 결과 자료는 주로 다국면 Rasch 모형을 활용한 Facets 프로그램으로 분석하였고, 일부 내용에 대해서는 SPSS 프로그램을 활용하여 분석하였다.
Ⅳ장에서는 서평쓰기 수행평가 채점 기준의 타당성 검증 결과에 대해 논의하였다. 이를 바탕으로 최종적으로 개발된 채점 기준을 제시하고, 채점 기준의 활용 방안에 대해 서술하였다. 수집된 채점 결과 자료와 채점자 의견을 바탕으로 피험자, 채점자, 채점 기준의 세 가지 국면에서 타당성 검증 결과를 제시하였다. 1차 타당성 검증 결과 채점자가 ‘비평의 근거’ 요소를 채점하는 데 어려움이 있는 것을 확인하였다. 이와 함께 채점자의 설문 응답을 바탕으로 ‘비평의 관점’과 ‘비평의 근거’ 채점 요소를 ‘평가’로 통합하고, ‘표현 및 어법’에서 ‘어법’을 삭제하였다. 그리고 채점 기준의 세부 진술을 축소하고, 척도별로 채점 기준의 내용이 통일성을 갖추도록 세부 진술을 수정하였다.
2차 타당성 검증 결과는 피험자 국면에서 수행평가 과제가 피험자의 능력을 변별하기에 적합하고, 채점자 또한 신뢰도가 높은 평가 결과를 보여주었다. 그리고 각각의 채점 요소 및 척도도 피험자의 수준을 변별하는 데 적합한 것으로 확인되었다. 다만, 일부 채점자의 경우 특정 학생의 서평에서 ‘소개’ 요소를 평가하는 데 어려움이 있는 것을 확인하였고, 채점자들이 제안한 의견을 함께 고려하여 채점 기준을 수정 및 보완하였다. 이를 통해 서평쓰기 채점 요소를 최종적으로 ‘소개’, ‘평가’, ‘조직’, ‘표현’으로 확정지었다. 그리고 개발된 채점 기준에 대한 활용 방안으로 채점 기준에 근거하여 서평쓰기 수행평가 과제와 결과 보고서 예시를 제시하였다.
마지막으로 이 연구의 의의를 정리하면 다음과 같다. 첫째, 서평의 장르적 특성을 고려하여 서평쓰기 채점 기준을 설정하였다. 둘째, 서평쓰기가 읽기와 쓰기의 통합 활동이라는 점에서, 이 둘을 함께 고려하여 채점 기준을 개발하였다. 셋째, 앞으로의 사회에서 학생들에게 꼭 필요한 비판적 문식성을 실제적으로 평가할 수 있는 채점 기준을 개발하였다. 넷째, Rasch 모형을 활용하여 타당성과 신뢰성을 갖춘 서평쓰기 채점 기준을 개발하였다. 다섯째, 궁극적으로는 서평쓰기 수행평가 채점 기준을 교육 현장에서 실제 활용하여 교수․학습의 질을 높일 수 있다는 점이다.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1. 연구의 필요성 및 목적 1
• 2. 선행 연구 검토 5
• 3. 연구 문제 및 제한점 10
• Ⅱ. 이론적 배경 13
• 1. 읽기와 쓰기의 통합 평가로서의 서평쓰기 13
• 2. 서평쓰기의 채점 기준 탐색 26
• 3. 쓰기 수행평가 과제 및 채점 기준표 개발 36
• Ⅲ. 연구 방법 44
• 1. 연구 참여자 44
• 2. 검사 도구 47
• 3. 연구 절차 54
• 4. 분석 도구 56
• Ⅳ. 연구 결과 및 논의 58
• 1. 서평쓰기 채점 기준의 1차 타당성 검증 58
• 2. 서평쓰기 채점 기준의 2차 타당성 검증 100
• 3. 서평쓰기 수행평가 채점 기준의 활용 방안 118
• Ⅴ. 결론 124
• 참고 문헌 128
• ABSTRACT 135
• 부록 139