논설문 채점에 나타난 국어 교사의 채점 편향의 특성 분석 - 텍스트 특징에 따른 채점 편향 분석을 중심으로 = An Analysis on the Characteristics of Rating Bias of Korean Language Teachers in Rating Persuasive Writing : focusing on analyzing rating bias according to characteristics of text

국문 초록 (Abstract)

이 연구의 목적은 논설문 채점에서 나타나는 채점 편향의 특성을 분석하여 채점자의 일관성 수준을 적절하게 유지하기 위한 방안을 모색하는 것이다. 연구 결과는 다음과 같다.
첫째, 전체 엄격성의 일관성 수준을 적합하게 유지한 채점자의 채점 결과에서도 특정 국면에서는 엄격성을 유지하지 못하는 편향이 산출되었다.
둘째, 편향 패턴은 채점자별로 매우 상이한 것으로 나타났다. 편향이 나타난 텍스트는 총 49편(53.3%)이었으며, 이 중 관대한 편향과 엄격한 편향이 동시에 나타난 텍스트는 23편(25%)에 달했다.
셋째, 텍스트 수준이 매우 낮거나, 매우 높은 경우, 텍스트의 양이 매우 많거나 매우 적은 경우, 문단 구분이 잘 되어 있는 경우 편향이 나타날 확률이 높은 것으로 나타났다.
이러한 결과를 바탕으로 편향을 최소화하기 위한 채점 훈련 방안, 채점 설계 및 결과 해석 시 유의사항 등에 대해 제언하였다.

다국어 초록 (Multilingual Abstract)

The purpose of this paper is to analyze the characteristics of rating bias of korean language teachers and to find ways to maintain the level of consistency of rater appropriately. The result of this study are as follows.
First, even in the result of rater who kept the level of consistency appropriately, a bias that did not maintain the level of severity in a particular facet was produced. Second, bias patterns vary from raters. Bias was produced in 49 texts(53.3%) and both lenient and severe bias was produced at the same time in 23 texts. Third, if the level of text is very low, very high, if the quantity of text is large, very small and if the paragraph is well organized, bias is more likely to produce. Based on these result, in designing the rating method, rating training and interpreting the result of rating, some ways that make raters maintain their level of severity consistently was suggested.

참고문헌 (Reference)

1 김지영, "한국어 말하기 평가에서의 채점 편향성 분석" 이중언어학회 (70) : 59-83, 2018

2 김지영, "한국어 말하기 평가 채점자의 채점 경향 연구" 연세대학교 2018

3 박종임, "평가자 일관성에 따른 설명문 평가 예시문 선정의 차이 연구" 한국작문학회 (14) : 301-338, 2012

4 장은주, "채점의 일관성 유형에 따른 국어교사의 쓰기 평가 특성 분석" 한국교원대학교 2015

5 배정윤, "중립반응범주 유무에 따른 Likert형 척도의 양호도 비교" 이화여자대학교 2002

6 서수현, "요인 분석을 통한 쓰기 평가의 준거 설정에 대한 연구" 고려대학교 대학원 2008

7 박영민, "예비국어교사의 중학생 논설문 평가에서 발견되는 엄격성 및 일관성의 특성" 국어교육학회 (43) : 253-283, 2012

8 장소영, "언어교육평가 연구를 위한 FACETS프로그램" 글로벌콘텐츠 2009

9 권태현, "성취기준 예시문 선정 연구" 한국교원대학교 2014

10 채선희, "논술시험 채점의 공정성과 효율성 확보방안-채점과정의 엄격성과 FACETS 모형에 의한 채점결과 분석" 9 (9): 5-29, 1996

11 최숙기, "논설문 평가에 나타난 국어교사의 평가 특성 및 편향 분석" 한국교육과정평가원 14 (14): 201-228, 2011

12 박종임, "국어교사의 쓰기 평가 특성 연구" 한국교원대학교 대학원 2013

13 백유진, "국어교사의 쓰기 평가 지식과 효능감이 논설문 평가에 미치는 영향" 한국교원대학교 2018

14 閔泰範, "採点者의 認知樣式이 論述考査 採点에 미치는 影響" 韓南大學校 大學院 1991

15 Charney, D., "The validity of using holistic scoring to evaluate writing : a critical overview" 18 : 65-81, 1984

16 Hughes, D. C., "The use of model essays to reduce context effects in essay scoring" 21 (21): 277-281, 1984

17 Stewart, M., "Syntactic maturity, mechanics or writing and teachers’ quality ratings" 13 : 207-215, 1979

18 Freedman, S. W., "Research on writing: Principles and methods" Longman 1983

19 Wright, B. D., "Reasonable mean-square fit values" 8 (8): 369-386, 1994

20 Schaefer, E., "Rater bias patterns in an EFL writing assessment" 25 : 465-493, 2008

21 김수미, "Python을 활용한 논설문 자동 피드백 방안 연구" 한국교원대학교 2020

22 Eckes, T., "Operational rater types in writing assessment : Linking rater cognition to rater behavior" 9 (9): 270-292, 2012

23 He, T. H., "Multi-faceted Rasch measurement and bias patterns in EFL writing performance assessment" 112 (112): 469-485, 2013

24 McNamara, T. F., "Measuring second language performance" Longman 1996

25 Linacre, J. M., "Many-facet Rasch measurement" MESA Press 1989

26 Weigle, S. C., "Investigating rater/prompt interactions in writing assessment : Quantitative and qualitative approaches" 6 : 145-178, 1999

27 Eckes, T., "Introduction to Many-Facet Rasch Measurement" Peter Lang 2011

28 Mckelvie, S. J., "Graphic rating scales–How many categories?" 69 (69): 185-202, 1978

29 Peterson, S., "Evaluation and teacher's perceptions of gender in sixth-grade student writing" 33 (33): 181-208, 1998

30 Lumley, T., "Assessment criteria in a large-scale writing test : What do they really mean to the raters?" 19 : 246-276, 2002

31 Vaughan, C., "Assessing second language writing in academic contexts" Ablex 1991

32 Kondo-Brown, K., "A FACETS analysis of rater bias in measuring Japanese L2 writing performance" 19 (19): 3-31, 2002