쓰기 채점 방식에 따른 국어교사의 채점 신뢰도 비교 연구 -고등학생의 비평문 채점을 중심으로- = A Comparative Study on the Korean Language Teacher's Scoring Reliability According to Writing Scoring Methods

다국어 초록 (Multilingual Abstract)

The purpose of this study is to analyze the difference in rating reliability depending on the writing assessment methods. For that, the scoring data from 16 Korean language teachers divided into four groups was analyzed using Rasch Measurement Model. The findings are as follows. First, In case of rating severity, It was most strict evaluation in holistic scoring and most generous assessment in analytic scoring. Primary traits scoring has intermediate level of severity but closer to the holistic scoring. Second, In case of intra-rater reliability, All rater using analytic assessment method has appropriate level but two of four rater in holistic scoring group and seven of eight rater in primary traits scoring group has inadequate consistency. As a result, holistic and primary traits assessment methods have a problem in intra-rater reliability. Thirds, inter-rater reliability showed very contrasting patterns. It was very high in holistic assessment but very low in analytic and primary traits assessment. This results can be interpreted as raters showed high inter-rater consistency when they use familiar scoring method.
In light of these results, More valid and reliable assessment could be available when we understand each writing assessment methods very well and utilize various measures to make up for reliability of each assessment methods.

국문 초록 (Abstract)

이 연구에서는 Rasch 모형을 활용하여 쓰기 채점 방식에 따른 국어 교사의 채점 신뢰도를 비교하고자 하였다. 이를 위해 채점 방식 별로 총체적 채점, 분석적 채점, 주요 특성 채점(1, 2)의 네 집단에 각 4명씩 총 16명의 국어교사에게 고등학생의 비평문 20편을 채점하게 하였다. 그 결과 채점자내 일관성에 있어서는 분석적 채점을 시행한 채점자들이 가장 적합한 일관성을 보였으며 총체적 채점이 중간 정도의 적합성을, 주요 특성 채점 방식이 가장 낮은 적합성을 보였다. 채점자 간 엄격성의 차이를 의미하는 채점자간 신뢰도에 있어서는 총체적 채점에서 매우 높은 신뢰도를 보인 반면 분석적 채점이나 주요 특성 채점 방식에서는 매우 낮은 신뢰도를 보였다. 이를 통해 볼 때, 각각의 채점 방식에서 비롯된 채점 신뢰도의 특성을 이해하고 이를 보완할 수 있는 채점 방안이 마련되어야 할 것으로 보인다.

참고문헌 (Reference)

1 김라연, "총체적 쓰기 평가와 분석적 쓰기 평가의 상관 연구" 이중언어학회 35 (35): 103-126, 2007

2 김성숙, "채점의 변동 요인 분석 방법에 대한 고찰" 14 (14): 303-325, 2001

3 박영목, "작문 능력 평가 방법과 절차" 99 : 1-29, 1999

4 장소영, "언어교육평가 연구를 위한 FACETS 프로그램." 글로벌콘텐츠 2009

5 배향란, "쓰기의 총체적 방법 연구" 13 : 280-315, 1995

6 박영목, "쓰기 평가 연구의 주요 과제" 한국작문학회 (6) : 9-38, 2008

7 지은림, "사회과 보고서 수행평가를 위한 총체적 채점과 분석적 채점의 비교" 12 (12): 11-24, 1999

8 정희모, "대학생 글에 대한 총체적 평가와 분석적 평가의 결과 비교 연구" 청람어문교육학회 39 (39): 251-273, 2009

9 정희모, "대학글쓰기 평가의 신뢰도와 타당도 향상을 위한 한 방안" 한국작문학회 9 (9): 277-305, 2009

10 지은림, "논술고사의 신뢰성에 영향을 미치는 채점자 특성 분석" 한국교육평가학회 21 (21): 97-113, 2008

11 박영민, "논술 평가자의 주관적 경험 분석" 우리어문학회 33 (33): 493-523, 2009

12 Bacha, N., "Writing evaluation: what can analytic versus holistic essay scoring tell us?" 29 : 371-383, 2001

13 Spandel, V., "Writing Assessment, In A Handbook for Student Performance Assessment in an Era of Restructuring" ASCD 1996

14 Lee, Y. W., "Toward automated multi-trait scoring of essays: Investigating Links among holistic, analytic, and text feature scores" 31 (31): 391-417, 2009

15 Hout, B., "The literature of direct writing assessment : Major concerns and prevailing trends" 60 : 237-263, 1990

16 Othman, N. B., "The inter-rater reliability of scores in the assessment of three types of direct writing" 8 (8): 18-30, 2010

17 Smith, C. B., "Successful use of the six trait in writing"

18 Rezaei, A. R., "Reliability and validity of rubric for assessment through writing" 15 : 18-39, 2010

19 박종임, "Rasch 모형을 활용한 국어교사의 채점 일관성 변화 양상 및 원인 분석 -중학생 서사문 채점을 중심으로-" 우리어문학회 37 (37): 301-335, 2011

20 박영민, "Rasch 모형을 활용한 국어교사의 쓰기 평가 특성 분석－중학생 설명문 쓰기 평가를 중심으로－" 국어교육학회 37 (37): 367-391, 2010

21 McNamara, T. F., "Measuring Second Language Performance" Longman 1996

22 White, E. M., "Language and Reality in Writing Assessment" 41 (41): 193-198, 1990

23 White, E. M., "Holisticism" 35 : 400-409, 1984

24 Cooper, C. R., "Holistic evaluation of writing, In Evaluating Writing: Describing, Measuring, Judging" State University of New York at Buffalo 3-37, 1977

25 Linacre, J. M., "FACETS: Computer Program for Analysis of Examination with Multiple FACETS" MESA Press 2003

26 Hayes, J. R., "Does holistic assessment predict writing performance?" 17 (17): 3-26, 2000

27 Spandel, V., "Creating Writers Through 6-Trait Writing Assessment and Instruction 5th edition" Allyn & Bacon 2008

28 Wolcott, W., "An Overviewof Writing Assessment" NCTE 1998

29 박태호, "6가지 주요 특성 평가법을 활용한 논술 고쳐쓰기 지도" 한국국어교육학회 71 (71): 143-162, 2005

30 Culham, L., "6 + 1 Traits of Writing: The Complete Guide (Grades 3 and Up)" Scholastic Professional Books 2003