외국인 한국어 말하기 시험의 평가자 요소가 채점에 미치는 영향 = A Study of Korean Raters’ Characteristics for Foreign Speakers’ Korean Oral Performance

다국어 초록 (Multilingual Abstract)

The study investigated the effects of raters’ experience onthe validity and reliability for foreign speakers’ Korean speaking assessment. welve professional Korean and twelve non-professional Korean raters assessedtwenty-seven Korean learners’ oral performance. For the quantitative analysis theFACETS program with multi-facets Rasch model was carried out. The resultsare as follows: (1) professional raters tended to assess strictly rather thannon-professional raters, (2) the strict assessment was realized on the open-endedresponse task, while the relaxed assessment was found on the opinion responseand story-telling response tasks, and (3) both groups evaluated strictly on thegrammar section, while they gave higher scores to the questions on the cohesivediscourse section. The study also found that some professional raters causedproblems of reliability and validity on their assessment. Other non-professionalraters, on the other hand, tended to show over-fitted or under-fitted assessment. The result implies that raters should take the assessment training beforeparticipating in the real assessment.

참고문헌 (Reference)

1 이석재, "한국인의 영어 문장 발음에 대한 한국인/원어민/ILT 평가 점수 사이의 상관관계" 83-87, 2003

2 신동일, "한국의 영어 평가학" 한국문화사 2006

3 김정숙, "한국어 표준 말하기 시험 측정 도구를 위한 기초 연구" 한민족어문학회 (51) : 227-258, 2007

4 김정숙, "한국어 말하기 능력 평가기준 설정을 위한 연구" 이중언어학회 10 : 24-33, 1993

5 윤은미, "한국어 말하기 능력 평가 도구 개발 연구*" 연세대학교 언어연구교육원 한국어학당 32 : 259-338, 2007

6 정광, "한국어 능력 평가 방안 연구" 한국어학회 (1) : 1-22, 1994

7 전은주, "한국어 능력 평가 - 말하기 능력 평가범주 설정을 위하여" 한국어학회 (6) : 132-172, 1997

8 노대규, "외국어로서의 한국어 시험과 평가" 이중언어학회 1 : 139-170, 1983

9 이호, "영어논술평가에서의 일반 척도, 세부과업별 척도, 이분식 척도의 비교 연구" 한국영어학회 11 (11): 601-626, 2011

10 이영식, "영어 말하기 평가의 개발" 글로벌영어교육학회 2 : 1-18, 2006

11 이은혜, "영어 말하기 평가 도구 IELTS와 MATE 비교분석" 언어정보연구소 24 (24): 1-23, 2007

12 장소영, "언어교육평가 연구를 위한 FACETS 프로그램." 글로벌콘텐츠 2009

13 이호, "귀납적 이분법 척도를 활용한 예비 영어교사의 영어말하기 평가 신뢰도와 효용성에 관한 연구" 한국교원교육학회 27 (27): 215-237, 2010

14 Weigle, S. C, "Using FACETS to model rater training effects" 15 : 263-287, 1998

15 Lane, J, L, "The basics of rubrics"

16 Hadden, B. L, "Teacher and nonteacher perceptions of second-language communication" 41 : 1-24, 1991

17 North, B, "Scaling descriptors for language proficiency scales" 15 (15): 217-262, 1998

18 Lumley, T, "Rater characteristics and rater bias:Implication for training" 12 : 54-71, 1995

19 최숙기, "Rasch 모형을 활용한 요약문 평가 준거 개발 및 타당도 분석 －고등학생 설명문 텍스트 요약하기를 중심으로－" 한국독서학회 (25) : 415-451, 2011

20 McNamara, T. F, "Measuring second language performance" Longman 1996

21 Lincare, J. M, "Many-facet Rasch measurement" MESA Press 1989

22 Bachman, L. F, "Language testing in practice" Oxford University Press 1996

23 Knoch, U, "Diagnostic assessment of writing : A comparison of two rating scales" 26 (26): 275-304, 2009

24 Chalhoub-Deville, M, "Deriving oral assessment scales across different tests and rater groups" 12 : 16-33, 1995

25 Luoma, S, "Assessing speaking" Cambridge University Press 2004

26 Kim, Y-H, "An investigation into native and non-native teachers’ judgments of oral English performance: A mixed methods approach" 26 (26): 187-217, 2009