예비국어교사의 중학생 논설문 평가에서 발견되는 엄격성 및 일관성의 특성 = The Feature Analysis of Pre-service Korean Language Teacher's Scoring Severity and Consistence in Assessing Persuasive Writing

다국어 초록 (Multilingual Abstract)

The aims of this paper is to analyze the feature of severity and consistence of 32 raters as pre-service Korean language teachers assessing persuasive wiring. The results are following. First, 16 raters are took into severe range and the other 16 raters to lenient range. Second, there aren't differences of raters severity according to their genders. Third, each gender group are showed consistency range. Forth, raters grade ‘form and grammar’ as the highest and grade ‘expression’ as the lowest. Fifth, as analyzed using of assessment scale, raters of 60% assigned to 2 and 3 points, so these show the central tendency. This result will be helper to develop programs for pre-service Korean language teacher to raise the assessment expertise.

국문 초록 (Abstract)

이 연구에서는 예비국어교사 32명을 중학생 논설문 평가자로 삼아 엄격성 및 일관성을 분석하였다. 이 연구에서 얻은 결과는 다음과 같다. 첫째, 엄격한 평가자와 관대한 평가자는 각각 16명씩이었으며, 일관성이 적합한 평가자가 32명 중 16명(50%), 부적합을 보인 평가자가 4명(12.5%), 과적합을 보인 평가자가 12명(37.5%)이었다. 둘째, 예비국어교사들의 성별에 따른 엄격성은 통계적으로 유의한 차이가 발견되지 않았다. 셋째, 예비국어교사들을 성별로 집단을 구분하였을 때, 일관성은 적합한 수준을 유지하는 것으로 분석되었다. 남자 예비국어교사들은 내적합 지수가 0.96, 여자 예비국어교사들은 1.03을 보였다. 넷째, 예비국어교사들이 중학생 논설문을 평가할 때 활용한 평가 요인을 분석한 결과, ‘형식 및 어법’에서 가장 엄격한 것으로 나타났다. 가장 관대한 평가 요인은 ‘표현’이었다. 다섯째, 예비국어교사들의 평가 척도 활용을 분석하였는데, ‘2점’ 및 ‘3점’을 준 비율이 60%였으며, 명목적으로는 동간인 평가 척도를 실제적으로는 동간으로 평가하지 않았다. 이러한 결과를 통해 볼 때, 예비국어교사들의 평가 전문성을 높이기 위한 교육도 병행해서 이루어져야 할 것으로 판단된다.

참고문헌 (Reference)

1 박영민, "현직 국어교사와 예비 국어교사의 쓰기 평가 비교 연구" 한국교육과정평가원 12 (12): 123-143, 2009

2 박종임, "평가자 일관성에 따른 설명문 평가 예시문 선정의 차이 연구" 한국작문학회 14 (14): 301-338, 2012

3 김성숙, "채점의 변동 요인 분석 방법에 대한 고찰：일반화 가능도 이론과 다국면 라쉬 모형의 적용과 재해석" 14 (14): 303-325, 2001

4 신동일, "언어교육평가 연구를 위한 FACETS: 기초과정편" 글로벌콘텐츠 2009

5 이현숙, "다국면 라쉬모형을 적용한 논술 채점 상황에서 채점 설계 및 채점자 특성이 채점의 정확성에 미치는 효과" 한국교육평가학회 21 (21): 129-152, 2008

6 김성숙, "논술 문항 채점의 변동 요인 분석과 일반화 가능도 계수의 최적화 조건" 8 (8): 35-57, 1995

7 최숙기, "논설문 평가에 나타난 국어교사의 평가 특성 및 편향 분석" 한국교육과정평가원 14 (14): 201-228, 2011

8 Spandel, V, "Writing Assessment, In A Handbook for Student Performance Assessment in an Era of Restructuring" ASCD 1996

9 Weigle, S. C., "Using FACETS to model rater training effects" 15 (15): 263-287, 1998

10 Hayes, J. R, "Understanding and reducing the knowledge effect : Implication for writers" 25 (25): 104-118, 2008

11 Huot, B., "Toward a new theory of writing assessment" 47 (47): 549-566, 1996

12 Cantor, N. K., "The reliability and validity of writing assessment：An investigation of rater, prompt within mode, and prompt between mode sources of error" 1986

13 Engelhard, G., Jr, "The measurement of writing ability with a many-faceted Rasch model" 5 : 171-191, 1992

14 Huot, B., "The literature of direct writing assessment：Major concerns and prevailing trends" 60 (60): 237-263, 1990

15 Lunz, M. E., "The invariance of judge severity calibrations, In Objective Measurement Theory into Practice" Ablex 3-112, 1996

16 Engelhard, G., Jr., "The influences of mode of discourse, experiential demand, and gender on the quality of student writing" 26 : 315-336, 1991

17 Barrett, S., "The impact of training on rater variability" 2 (2): 49-58, 2001

18 Gabrielson, S., "The effects of task choice on the quality of writing obtained in a statewide assessment" 8 : 273-290, 1995

19 Penny, J., "The effect of rating augmentation on inter-rater reliability：An empirical study of a holistic rubric" 7 : 143-164, 2000

20 Peterson, S. S, "Sixth-grade teachers’ written comments on student writing : genre and gender influences" 23 (23): 36-62, 2006

21 Barritt, L., "Researching practice：evaluating student essays" 7 : 315-327, 1986

22 Runder, L. M., "Reducing errors due to the use of judges, Practical Assessment" 3 (3): 1992

23 Wright, B. D., "Rating Scale Analysis" MESA Press 1982

24 Lumley, T., "Rater characteristics and rater bias：Implications for training" 12 (12): 54-71, 1995

25 Lumley, T., "Rater characteristics and rater bias：Implications for training" 12 (12): 54-57, 1995

26 박종임, "Rasch 모형을 활용한 국어교사의 채점 일관성 변화 양상 및 원인 분석 -중학생 서사문 채점을 중심으로-" 우리어문학회 39 (39): 301-335, 2011

27 박영민, "Rasch 모형을 활용한 국어교사의 쓰기 평가 특성 분석－중학생 설명문 쓰기 평가를 중심으로－" 국어교육학회 37 (37): 367-391, 2010

28 지은림, "RASCH 모형의 이론과 실제" 교육과학사 2000

29 Engelhard, G., "Monitoring faculty consultant performance in the advanced placement English literature and composition program with a many-faceted Rasch model" College Enterance Examination Board 2003

30 Wright, B. D, "Measuring the impact of judge severity on examination scores" 3 : 331-345, 1990

31 McNamara, T. F., "Measuring second language performance" Addison Wesley Longman Ltd 1996

32 Linacre, J. M, "Many-facet Rasch measurement" MESA Press 1993

33 Myford, C. M., "Judging acting ability：The transition from notice to expert" 1991

34 Lunz, M. E., "Judge consistency and severity across grading periods" 13 : 425-444, 1990

35 Lunz, M. E., "Inter judge reliability and decision reproducibility" 54 : 913-925, 1994

36 White, M. J, "Implicit writing beliefs and their relation to writing quality" 30 (30): 166-189, 2005

37 Haswell, J, "Gendership and the miswriting of students" 46 (46): 223-254, 1995

38 Roulis, E., "Gendered voice in composing, gendered voice in evaluating：Gender and the assessment of writing quality, In Composing social identity in written language" Lawrence Erlbaum Associates 151-183, 1995

39 Barnes, L. L., "Gender bias in teachers’ written comments, In Gender in the classroom：Power and pedagogy" University of Illinois Press 140-159, 1990

40 Haswell, R. H., "Gender bias and critique of student writing" 3 : 31-83, 1996

41 Engelhard, G., Jr, "Examining rater errors in the assessment of written composition with a many-faceted Rasch model" 31 : 93-112, 1994

42 Peterson, S., "Evaluation and teachers’ perceptions of gender in sixth-grade student writing" 33 (33): 181-208, 1998

43 Etaugh, C. B., "Evaluating competence of women and men：Effects of experimenter gender and group gender composition" 12 : 191-200, 1988

44 Cronbach, L. J., "Essential of Psychological Testing(5th ed. )" Harper Collins 1990

45 Rich, J., "Effects of children’s physical attractiveness on teachers' evaluations" 67 : 599-609, 1975

46 Ruth, L., "Designing writing tasks for the assessment of writing, orwood" Ablex Publishing 1988

47 Bond, T. G, "Applying the Rasch Model：Fundamental Measurement in the Human Sciences(2nd ed.)" Lawrence Erlbaum Associates, Inc 2007

48 Cason G. J., "A deterministic theory of clinical performance rating" 7 : 221-247, 1984