한국어 말하기 평가의 채점 타당도 연구 -워크숍 기반의 채점자 훈련을 중심으로- = A Study on Scoring Validity Through Rater Training Workshops for the Korean Speaking Test for Academic Purposes

국문 초록 (Abstract)

본 연구는 한국어 말하기 평가의 채점 타당도를 확보하기 위해 워크숍 기반의 채점자 훈련을 설계 및 실행하고 채점자 훈련에서 나타난 채점 근거의 유형을 분석하는 것을 목적으로 한다. 이를 위하여 대규모 학문 목적 한국어 말하기 평가를 위한 워크숍 기반의 채점자 훈련을 설계하였다. 채점자 훈련 과정에서 평가 도구에 명시된 채점 기준을 채점자가 능동적으로 적용할 수 있도록 하였으며 수집된 채점자 담화를 통해 채점자들이 점수 결정 과정에서 주목하는 채점의 근거들을 분석하였다. 분석 결과 채점자들이 수험자의 응답에 점수를 부여할 때 문항의 내용 및 특성, 평가 준거, 채점 척도를 근거로 삼는다는 것을 확인하였다. 또한 채점자들은 채점자 간 협의를 통해 정신적 채점 기준과 응답 표상을 수립하여 채점에 참여하고 있었다. 채점자 훈련의 결과로 과제의 특성을 고려한 채점 접근의 전략화와 주관적 평가 준거 비중의 객관화, 평가 척도의 조정과 정교화의 효과를 확인할 수 있었다.

다국어 초록 (Multilingual Abstract)

This study investigates scoring validity through rater training workshops for the Korean Speaking Test for Academic Purposes (KoSTAP). The rater training workshops in this study were designed to ensure the raters can discuss scoring rubric, clarify and modify the intended rating criteria, and reach an agreement through discussions. The rater training procedure was composed of orientation about KoSTAP and scoring rubric, sample item scoring, group discussion, group scoring, and general discussion. The study results showed that discussions conducted through the workshops served as a necessary process for the raters to make the scoring rubric increasingly tangible and concrete. The results also showed that the raters scored based on the contents and characteristics of the tasks, the criteria, and the scoring scale. In addition, the raters participated in scoring by establishing mental response representations and scoring criteria through negotiations among them. As a result of the rater training, we were able to identify the effectiveness of rating strategies based on the characteristics of the task, objectification of criteria weights, and adjustments and refinements in the evaluation scales.

참고문헌 (Reference)

1 이두용, "한국인과 중국인 예비 한국어 교사 대상 채점자 교육 사례" 국제한국어교육학회 29 (29): 85-108, 2018

2 이성준, "한국어 말하기 평가의 채점 변인 연구 : 채점 과정 분석을 중심으로" 서울대학교 2019

3 이향, "한국어 말하기 평가의 발음 영역 채점에서의 채점자 특성에 따른 채점 경향 연구 -한국어 교육 경험과 전공을 중심으로-" 언어연구교육원 한국어학당 39 : 213-245, 2013

4 김지영, "한국어 말하기 평가에서 원어민과 비원어민 채점자의 채점 경향 비교" 언어교육원 55 (55): 179-201, 2019

5 조윤정, "한국어 말하기 평가에서 나타난 채점자 신뢰도 및 일관성 연구" 한국화법학회 (40) : 105-128, 2018

6 원미진, "한국어 말하기 평가 개발을 위한 채점 경향 분석 연구" 언어연구교육원 한국어학당 47 : 169-192, 2017

7 최윤곤, "한국어 교사의 채점자 훈련 모형 개발" 국제한국언어문화학회 10 (10): 295-316, 2013

8 민병곤, "학문 목적 한국어 말하기 평가 도구 개발 연구" 한국어교육학회 (157) : 309-340, 2017

9 이승원, "학문 목적 말하기 평가에서 읽기 통합형 과제 응답의 담화적 특성 -읽기 자료 사용을 중심으로-" 한국화법학회 (44) : 81-119, 2019

10 강석한, "외국인 한국어 말하기 시험의 평가자 요소가 채점에 미치는 영향" 이중언어학회 (55) : 1-29, 2014

11 이영식, "영어작문 평가에 대한 채점자 훈련의 원리" 55 (55): 201-217, 2000

12 Bachman, L. F., "언어테스팅의 설계와 개발" 범문사 252-253, 2004

13 Herman, J. L., "수행평가 과제 제작의 원리와 실제" 이화여자대학교 출판부 141-162, 2000

14 박현정, "문항반응이론을 활용한 학문 목적 한국어 말하기 평가 문항 및 채점자 특성 분석" 이중언어학회 (73) : 177-203, 2018

15 윤은경, "말하기 숙달도 평가에 관한 논평 －ACTFL OPI를 대상으로－" 국제한국어교육학회 19 (19): 169-193, 2008

16 DeRemer, M. L., "Writing assessment Raters’ elaboration of the rating task" 5 (5): 7-29, 1998

17 Kane, M. T., "Validating the interpretations and uses of test scores" 50 (50): 1-73, 2013

18 Weigle, S. C., "Using FACETS to model rater training effects" 15 (15): 263-287, 1998

19 Pulakos, E. D., "The development of training programs to increase accuracy with different rating tasks" 38 : 76-91, 1986

20 Jang, S. Y., "The development and evaluation of a systematic training program for increasing both rater reliability and rating accuracy" University of Illinois at Urbana-Champaign 2010

21 Orr, M., "The FCE speaking test: Using rater reports to help interpret test scores" 30 (30): 143-154, 2002

22 Fulcher G., "Testing Second Language Speaking" Pearson Education 138-170, 2003

23 Eckes, T., "Rater types in writing performance assessments: A classification approach to rater variability" 25 (25): 155-185, 2008

24 Woehr, D. J., "Rater training for performance appraisal: A quantitative review" 67 (67): 189-205, 1994

25 Bejar, I. I., "Rater cognition: Implications for validity" 31 (31): 2-9, 2012

26 Lumley, T., "Rater characteristics and rater bias: implications for training" 12 (12): 54-71, 1995

27 Douglas, D., "Performance on a general versus a field-specific test of speaking proficiency by international teaching assistants" 235-256, 1993

28 Eckes, T., "Operational rater types in writing assessment: Linking rater cognition to rater behavior" 9 (9): 270-292, 2012

29 McNamara, T. F., "Measuring second language performance" Longman 44-233, 1996

30 Weir, C. J., "Language t esting and validation" Palgrave McMillan 43-49, 2005

31 Malone, M. E., "Language Testing and Assessment(Vol. 7)" Springer Science+Business Media LLC 225-239, 2008

32 Wigglesworth, G., "Exploring bias analysis as a tool for improving rater consistency in assessing oral interaction" 10 (10): 305-319, 1993

33 Shaw, S. D., "Examining writing: Research and practice in assessing second language writing(Vol. 26)" Cambridge University Press 143-217, 2007

34 Taylor, L., "Examining speaking: Research and practice in assessing second language speaking(Vol. 30)" Cambridge University Press 171-233, 2011

35 O’Sullivan, B., "Examining speaking: Research and practice in assessing second language speaking(Vol. 30)" Cambridge University Press 36-64, 2011

36 Taylor, L., "Examining speaking: Research and practice in assessing second language speaking(Vol. 30)" Cambridge University Press 171-233, 2011

37 Eckes, T., "Examining rater effects in TestDaF writing and speaking performance assessments: A many-facet Rasch analysis" 2 (2): 197-221, 2005

38 Davies, A., "Dictionary of language testing" Cambridge University Press 153-, 1999

39 Myford, C. M., "Detecting and measuring rater effects using many-facet Rasch measurement: Part II" 5 (5): 189-227, 2004

40 Carr, N. T., "Designing and analyzing language tests" Oxford University Press 145-148, 2011

41 Moss, P. A., "Can there be validity without reliability?" 23 (23): 5-12, 1994

42 Lievens, F., "Assessor training strategies and their effects on accuracy, interrater reliability, and discriminant validity" 86 (86): 255-, 2001

43 Brown, A., "An examination of rater orientations and test‐taker performance on English‐for‐academic‐purposes speaking tasks" ETS i-157-, 2005