반성적 쓰기를 활용한 쓰기 평가도구의 타당도와 신뢰도 검증 = (A) Study on the validity and reliability of reflective writing for writing assessment

국문 초록 (Abstract)

쓰기 평가는 결과로서의 글에 대한 등급을 매기는 것이 아니라 학생 필자의 의미 구성 과정에 대한 정보를 수집하여 쓰기 교수·학습의 질을 개선하기 위한 것이다. 수행 평가가 도입되면서, 쓰기 평가에서는 학생 필자의 쓰기 능력과 태도를 질적으로 평가하고, 쓰기 결과와 더불어 쓰기 과정을 평가하기 위한 방법들을 탐구하고 있다.
본 연구는 과정 평가 방법으로 소개되어 있는 반성적 쓰기가 평가 도구로서 적절한지 검증하는 것을 목적으로 한다. 반성적 쓰기는 반성적 사고를 기반으로 하며, 반성적 사고는 학습자가 학습 과정을 재조명함으로써 기존의 지식 구조를 수정하고 변형하여, 새로운 지식 구조를 형성하도록 돕는 고등 사고력이라고 할 수 있다. 반성적 사고를 쓰기 평가에 적용하면, 학생 필자는 쓰기 과정에서 겪은 다양한 경험들을 반성적 사고를 통해 유의미한 지식으로 창출할 수 있다. 반성적 쓰기는 학생 필자가 자신의 쓰기 과정을 돌아보고 이 과정에서 생긴 인지적이고 정의적인 반응들을 적은 글 자료로서 쓰기 과정에 대한 서술형 평가이면서 직접 평가 도구가 된다.
이러한 점에 주목하여, 본 연구는 중학교 1학년 학생들을 대상으로 9주간의 쓰기 수업을 진행하여 설득적인 글쓰기와 정서표현의 글쓰기를 수행하도록 하였다. 두 편의 쓰기를 수행한 이후, 연구자가 구안한 형식에 따라 학생 필자들은 자신의 쓰기 과정에 대하여 반성적 쓰기를 수행하였다. 이 과정에서 수집한 글 두 편과 반성적 쓰기 두 편을 분석하여, 평가 도구로서 반성적 쓰기의 활용 가능성을 탐색하였다. 반성적 쓰기가 평가 도구로서 적절한가를 검증하기 위해 타당도와 신뢰도를 중심으로 분석하였으며, 반성적 쓰기를 수행한 학생들의 의견을 조사하고 분석하였다. 이러한 분석 과정을 거쳐 다음과 같은 결과를 얻었다.
첫째, 반성적 쓰기는 결과 평가에서 수집할 수 없는, 필자에 대한 유용한 정보들을 보여주었다. 쓰기 과정에서 학생 필자가 겪는 다양한 문제와 그 해결 과정, 새로운 대안의 도출 과정을 나타냈다. 특히 학생 필자는 반성적 쓰기를 통해 쓰기에 대한 동기, 흥미, 습관, 가치 등 정의적 측면의 반응들을 표현하였다. 둘째, 반성적 쓰기의 타당도는 내용 타당도와 쓰기 자료와의 공인 타당도를 통해 검증하였다. 내용 타당도와 공인 타당도의 점검 결과, 반성적 쓰기는 타당도가 높은 평가 도구임이 검증되었다. 반성적 쓰기의 신뢰도는 평가자간 신뢰도와 재검사 신뢰도를 통해 검증하였다. 반성적 쓰기는 쓰기 자료보다 평가자간 신뢰도에서 높은 결과를 보였으며, 재검사 신뢰도 역시 긍정적이었다. 이 점은 반성적 쓰기가 평가 도구로서 적절함을 의미한다. 셋째, 반성적 쓰기라는 새로운 평가 방법에 대하여 학생들은 평가 도구로서 적절하며, 수업 시간에 수행하기 쉬운 평가 도구라고 응답하였다. 이로써 반성적 쓰기가 실용도의 측면에서도 평가 도구로서 활용이 적절함을 확인하였다.
이와 같은 결과를 바탕으로 반성적 쓰기를 활용할 수 있는 방법을 제시하면 다음과 같다. 반성적 쓰기에서 제시된 정보는 학생 필자의 자기 평가 자료, 학생 필자간의 동료 평가 자료, 교사의 학생 필자 평가 자료로서 활용할 수 있다. 교사는 새로운 교수·학습 방법을 적용하고 그 효과를 얻고자 할 때, 학생들의 반응을 해석하여 쓰기 교수·학습 계획을 세울 수 있다.
본 연구는 쓰기 과정에서 학생 필자의 인지적이고 정의적인 반응을 연구하였다는 점에서 의의가 있다. 또한, 쓰기 과정 평가를 위한 구체적인 평가 도구를 제작하고 그 결과를 효과적으로 검증하였다는 점에서도 의의를 가진다.

다국어 초록 (Multilingual Abstract)

The nature of writing assessment is not to score students' writing but to understand how they construct meaning during the writing process, and to improve the quality of teaching and learning. Performance-assessment suggests that students' writing should be qualitatively evaluated by focusing on their writing ability and attitude, and by exploring the process of writing.
The purpose of this thesis is to investigate the pertinent of reflective writing known as a process-based assessment tool. Reflective writing is based on reflective thinking, which requires student writers to reflect their own learning process. The reflective thinking includes revising and translating existing knowledge structure, so that students can promote their high-level cognition.
By applying reflective thinking to writing assessment, student writers can create meaningful knowledge through diverse experiences during writing process. This is because reflective writing allows student writers to reflect their cognitive and emotional responses during writing process. Thus, reflective writing can function as an assessment tool for essay test with direct test method.
Based on this rationale, current study examined middle school freshmen's writings for 9 weeks. The researcher makes students write persuasive writing and expressive writing. After completing each writing, students composed reflective writing guided by this research. In order to evaluate the effectiveness of reflective writing as an assessment tool, this study analyzed students' two writings and its matching reflective writings. In particular, the analysis was focused on verifying validity and reliability of reflective writing as an assessment tool. Students' survey data were also used to triangulate findings of this study.
The findings of the current study were as follows. First, reflective writing showed meaningful information about student writers which cannot be obtained through the result-based assessment. For example, student writers expressed multiple problem solving strategies and new perspectives, and they also expressed emotional responses about writing process such as motivation, interests, habit, and value.
Second, the test result of content validity and concurrent validity revealed that reflective writing is a valid tool for writing assessment. Also, inter-rater reliability and test-retest reliability were examined, and showed high level of reliability for both tests. These results prove that reflective writing is a useful tool for writing assessment.
Third, survey data showed that students perceive reflective writing as useful for assessment tool and easy to use in class. This result confirms the practicality of reflective writing as well.
The findings of this study suggest following implications. The information included in reflective writing can be used for students' self-evaluation, peer evaluation, and teachers' evaluation for students. In addition, teachers can create a more effective writing curriculum by interpreting the information included in students' reflective writing
This thesis is meaningful and important in that it revealed cognitive and emotional processes of student writers, and also verified the effectiveness of reflective writing as a process-based assessment tool.

목차 (Table of Contents)

• Ⅰ. 서론 = 1
• 1. 연구의 필요성과 목적 = 1
• 2. 선행 연구 검토 = 6
• 3. 연구 문제 및 제한점 = 13
• Ⅱ. 이론적 배경 = 15
• 1. 쓰기 평가 이론과 방법 = 15
• 2. 반성적 사고와 반성적 쓰기 = 22
• 3. 반성적 쓰기와 쓰기 평가 = 30
• Ⅲ. 연구 방법 = 45
• 1. 연구 대상과 기간 = 45
• 2. 연구 설계와 절차 = 49
• 3. 자료 수집 및 분석 도구 = 60
• Ⅳ. 연구 결과 및 분석 = 69
• 1. 반성적 쓰기의 반응 양상 = 69
• 2. 반성적 쓰기의 타당도 = 81
• 3. 반성적 쓰기의 신뢰도 = 89
• 4. 반성적 쓰기에 대한 학생들의 반응 = 95
• 5. 반성적 쓰기의 활용 = 100
• Ⅴ. 결론 및 제언 = 107
• 참고문헌 = 110
• ABSTRACT = 116
• 부록 = 118