진단평가로서의 과정중심 쓰기 평가의 타당성

다국어 초록 (Multilingual Abstract)

Until a recent date, writing diagnostic test which measures learners' current ability has been carried out in product oriented assessment. Product oriented assessment evaluates only students' writing samples and there is a time limit during the test. However, the process oriented approach which emphasizes the process of test appeared as the perspective of knowledge changed from content­centered learning to method­centered learning. With this change, teachers have realized that the timed essay test fails to bring out a complete picture of someone's writing ability. Therefore, process oriented assessment is rapidly replacing the timed essay test in many classrooms. However, there are not enough reliable source that assures the effectiveness of process oriented writing test. Thus, this study investigated the difference of results between timed test and process oriented test to examine the practical effect of process oriented test.
The study had two research goals: 1) to investigate a gap of results between timed test and process oriented test. If there are some difference, what features-structure, content, words-will be different, 2) how learners perceive and appreciate two tests.
For this study, 47 university students who major in English education in Seoul participated in March, 2010. On the first day, students took timed test for 40minutes. On the second day, they took process oriented test for 105minutes. When learners underwent a process oriented test, they wrote their first draft for 40minutes at first. Then, they paired up, and they had a discussion on the topic freely with partners. After the discussion, they gave and took feedback about their first draft with peers. Lastly, they revised their writing based on the activities-discussion and peer feedback. Following the two tests, students were asked to complete a questionnaire about their cognition and attitude of timed test and process oriented test. Students' writing tasks were rated with a 9­scale instrument in terms of four features: Organization, Content, Vocabulary Use and Holistic feature. Two graders including this investigator scored writing tasks, and found the average of each result using the scoring guide. Next, the results of timed test and process oriented test were compared.
In order to analyze the results of two tests, descriptive statistics and t­test were used. Also, frequency statistics was used to analyze the questionnaire.
The summary of results drawn from this study are as follows.
First, in terms of structure, content, vocabulary use and total score, process oriented test was higher than timed test.
Second, although the ratings of the process oriented test increased in all of the sections: structure, content, vocabulary use and total score, only the section of vocabulary use demonstrated statistical significance. Namely, process oriented test had an effect on all of the sections, but it affected only the section of vocabulary use.
Third, results of the questionnaire showed that learners have character of recursion and simultaneity when they write generally. In addition, learners had more positive thought about process oriented test than timed test.
It is concluded that there is statistical significance in only the section of vocabulary use. Therefore, it is hard to say that there is the practical effect of process oriented test. However, it could be inferred that features of test type have an influence on the test results because the ratings of the process oriented test increased in all of the sections. Besides, the results of this study showed the possibility of application of process oriented test in diagnostic test, based on students' positive cognition of process oriented test and statistical significance in the section of vocabulary use.

국문 초록 (Abstract)

학생들의 현재 실력을 측정하고자 하는 쓰기 진단평가는 그동안 학생들의 결과물만을 평가하는 결과중심 쓰기 접근법으로 진행되어 왔다. 그러나 지식에 대한 관점이 내용중심에서 방법중심으로 변화하면서 과정을 중시하는 과정중심 쓰기 접근법이 대두되었다. 그리고 결과중심 쓰기 평가가 학생들 쓰기 능력을 제대로 판단하지 못한다는 한계점에 대해 많은 교사들이 인식하게 되면서, 과정중심 쓰기를 통해 평가를 하려는 움직임이 일어나고 있다. 그러나 아직까지 과정중심 쓰기 평가의 실효성을 보증할 근거가 불충분한 상황이다. 따라서 본 연구는 진단평가 상황에서 과정중심 쓰기 평가의 실효성을 알아보기 위해 시간제한 쓰기 평가와 과정중심 쓰기 평가의 결과 변화를 살펴보았다. 본 연구의 목적을 위하여 다음과 같은 연구 문제를 설정하였다.
연구문제 1. 시간제한 쓰기 평가(timed­test)와 과정중심 쓰기 평가의 결과는 차이가 있을 것인가. 만약 두 평가 점수 결과에 차이가 있다면,
1­1. 구조 영역에서 차이가 있을 것인가.
1­2. 내용 영역에서 차이가 있을 것인가.
1­3. 어휘사용 영역에서 차이가 있을 것인가.
연구문제 2. 피험자들이 두 유형의 평가를 어떻게 인식하고 있는가.
본 실험의 연구자는 위의 연구 문제를 해결하기 위해 서울시에 위치한 어느 대학교 사범대학 영어교육을 전공하고 있는 재학생 47명을 선정하여 2010년 3월까지 실험을 실시하였다. 먼저 첫째 날에는 학생들이 40분간 시간제한 쓰기 평가 유형의 쓰기 평가를 보도록 하였고, 둘째 날에는 과정중심 쓰기 평가를 105분 동안 진행하도록 하였다. 과정중심 쓰기 평가는 처음에 40분 동안 초안을 쓰도록 하고 후에 두 명씩 짝을 지어 주제에 대한 토론을 하도록 하였다. 그리고 서로의 글을 보고 수정할 부분을 이야기 하는 동료평가 단계를 진행하였고, 마지막으로 앞의 활동들을 토대로 각자의 글을 수정하는 수정단계를 진행하였다. 두 시험을 모두 마친 후, 설문지를 통해 참여자들의 평가에 대한 인식과 태도를 조사하였다. 쓰기 결과물 평가는 구조, 내용, 어휘의 세부영역과 총괄영역으로 이루어진 채점 기준표를 이용하였으며, 점수는 0.5점을 단위로 하여 1점부터 5점까지 9등간으로 나누었다. 본 연구자를 포함한 총 두 명의 채점자가 점수를 주었고, 채점 기준표를 기준으로 하여 두 점수간의 평균을 내어 시간제한 쓰기 평가와 과정중심 쓰기 평가 점수를 비교 하였다.
자료 분석은 SPSS를 사용했으며, 세부영역과 총괄영역의 시간제한 쓰기 평가, 과정중심 쓰기 평가 점수의 t검정을 통하여 통계적인 유의미성을 분석하였다. 또한 설문지는 빈도분석을 하여 연구 참여자들의 생각을 알아보았다.
본 연구에서 나타난 연구결과를 요약하면 다음과 같다.
첫째, 구조, 내용, 어휘, 총괄의 각 영역에서 과정중심 쓰기 평가 점수가 시간제한 쓰기 평가 점수보다 높았다.
둘째, 구조, 내용, 어휘, 총괄영역의 모든 세부영역 점수가 상승하였으나, 어휘 영역 점수에서만 유의미한 점수 차이를 보였다. 즉, 과정중심 쓰기 평가는 구조, 내용, 어휘 및 총괄영역에서 영향을 미치기는 하나 어휘영역에서만 유의미한 효과를 낸다는 점을 알 수 있었다.
셋째, 설문지를 통해 학습자들이 일반적 글쓰기를 할 때 ‘반복성’과 ‘동시성’의 특징을 보인다는 것을 알 수 있었다. 그리고 시간제한 쓰기 평가보다 과정중심 쓰기 평가에 대해 긍정적인 태도를 가지고 있음을 알 수 있었다.
결과적으로 어휘영역에서만 유의미한 평균점수의 차이가 있었기 때문에, 진단평가 상황에서 과정중심 쓰기 평가의 실효성을 단정 짓기에는 무리가 있을 수 있다. 그러나 모든 영역의 평균이 상승한 것으로 보아, 쓰기 평가 유형이 가진 특성이 결과에는 영향을 미친다고 볼 수 있다. 또한 어휘영역에서의 유의미한 상승과 설문지를 통한 참여자들의 긍정적 태도 및 인식을 근거로, 본 연구의 결과는 진단평가 상황에서의 과정중심 쓰기를 적용할 수 있는 가능성을 나타냈다고 볼 수 있다.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1.1 연구배경 1
• 1.2 연구목적 2
• 1.3 연구문제 및 가설 3
• Ⅱ. 본론 5
• 2.1 쓰기에 대한 이론의 변화 5
• 2.2 쓰기 평가 10
• 2.2.1 쓰기 평가 원리 10
• 2.2.2 쓰기 평가 방법 12
• 2.3 과정중심 쓰기에 대한 연구 14
• 2.3.1 과정중심 쓰기의 정의 14
• 2.3.2 과정중심 쓰기 과정 및 단계 17
• 2.3.3 과정중심 쓰기와 진단평가와의 연계성 22
• Ⅲ. 연구 방법 및 절차 24
• 3.1 연구 대상 24
• 3.2 연구 도구 24
• 3.2.1 쓰기평가 시험지 24
• 3.2.2 채점 기준표 24
• 3.2.3 설문지 25
• 3.3 연구 절차 25
• 3.3.1 시험 절차 25
• 3.3.2 평가 절차 27
• 3.4 자료 분석 28
• Ⅳ. 연구 결과 및 분석 29
• 4.1 시간제한 쓰기 평가와 과정중심 쓰기 평가의 점수 비교 29
• 4.2 시간제한 쓰기 평가와 과정중심 쓰기 평가에 대한 태도 및 의견 33
• 4.2.1 일반적 글쓰기 과정에 대한 설문 분석 34
• 4.2.2 시간제한 쓰기 평가에 대한 설문 분석 35
• 4.2.3 과정중심 쓰기에 대한 설문 분석 37
• 4.2.4 시간제한 쓰기 평가와 과정중심 쓰기에 대한 설문 분석 41
• Ⅴ. 결론 및 제언 45
• 5.1 요약 및 논의 45
• 5.2 제언 및 한계점 48
• 참고문헌 50
• 부록 53
• 국문초록 82
• ABSTRACT 84