한국어 말하기 평가 채점자의 채점 경향 연구

국문 초록 (Abstract)

본 연구는 한국어 말하기 숙달도 평가에 참여한 채점자들의 채점 경향을 분석하고 채점 과정에서 나타나는 채점자의 행동 특성을 살펴보는 것을 목적으로 한다. 채점자들의 채점 엄격성 및 채점 일관성, 채점 편향성 등의 채점 경향을 파악하기 위해서 6명의 채점자가 한국어 말하기 숙달도 평가를 채점한 자료를 다국면 라쉬 모형을 이용하여 분석하였다. 그리고 채점 과정에서 나타나는 채점자의 행동 특성을 파악하기 위해서 채점자 6명을 대상으로 포커스 그룹 인터뷰를 실시하여 그 내용을 분석하고 분류하였다.
다국면 라쉬 모형을 통해 살펴본 채점 신뢰도 분석 결과는 다음과 같다. 채점자 간 신뢰도 측면에서 채점자 간 채점 엄격성의 차이는 채점이 거듭되면서 줄어드는 양상을 보였으나 통계적인 차이는 사라지지 않았다. 그리고 채점자 내 신뢰도의 측면에서 채점 일관성은 채점자와 채점 차시에 따라 다르게 나타났다. 채점자들 중 가장 안정적인 일관성을 보인 채점자는 [채점자1]과 [채점자3]이었으며 [채점자2]는 세 번의 채점에서 부적합과 적합, 과적합 등 채점 차시에 따라 모두 다른 채점 경향을 보였다. 그리고 1, 2차 채점에서 과적합 경향을 보였던 [채점자4]는 3차 채점에서는 적합한 경향으로 수정되었고 1, 2차 채점에서 일관된 채점 경향을 보였던 [채점자5]와 [채점자6]은 3차 채점에서는 각각 약간의 과적합과 부적합 경향을 보였다. 이러한 결과는 채점자 훈련을 통해 채점자 간 차이를 줄일 수는 있으나 완전히 제거할 수는 없다는 선행연구나 원어민이거나 교육 경력이 많은 채점자라도 하더라도 일관되게 채점하는 것은 아니라는 선행연구의 결과와 동일했다. 그리고 채점 편향성은 채점자의 채점 일관성이 통계적으로 적합하더라도 유의미한 결과가 분석되었으며 이는 평가구인, 평가문항, 응시자 등과의 상호작용에서 모두 나타났다. 분석된 편향의 결과는 채점자에 따라 상이한 양상을 보였으며 평가문항의 경우는 난이도가 높은 고급 수준의 문항에서 가장 많이 나타났고 응시자의 경우는 숙달도가 낮은 경우가 비교적 많았다.
포커스 그룹 인터뷰를 통해 살펴본 채점자의 행동 특성은 채점 과정, 채점 조건, 채점자 특성, 채점자 훈련 등의 범주로 나누어 볼 수 있었다. 개별 채점자의 채점 행동 특성을 중심으로 보면, [채점자1]은 유창성 구인 내에서 발음을 함께 채점하는 데 대해 난해함이 있었음을 언급했고 이는 통계 분석 결과에서도 유창성에 대한 엄격성이 채점 차시에 따라 점차 높아지는 양상으로 나타났다. 그러나 [채점자1]은 과제수행에 대해서는 엄격하게, 정확성에 대해서는 관대하게 채점하는 경향에 대해서 알지 못했는데 편향성 결과를 본 후에 한국어능력시험 쓰기 채점의 영향인 것 같다고 설명했다. [채점자2]는 1차와 3차 채점에서 각각 과적합과 부적합 경향을 보였으나 그와 같은 채점 경향의 원인에 대해서 채점자 본인은 알지 못했다. 여러 채점 자료를 복합적으로 참고하여 채점한 과정을 고려할 때 [채점자2]는 채점 자료를 참고하는 과정에서 평가기준을 충분히 내재화하지 못하고 채점한 것으로 추정된다. 그리고 정확성 구인에 대한 편향을 보인 [채점자3]은 유창성과 정확성 구인의 변별에 대한 난점을 언급했고 나름의 기준을 세워 채점했음을 밝혔다. 유창성과 정확성을 변별하는 과정에서 응시자 발화를 발음의 오류보다는 문법이나 어휘 사용의 오류로 판정하는 사례가 많았던 것으로 판단된다. 1, 2차 채점에서 과적합 경향이 나타난 [채점자4]는 영어 숙달도 평가 기준을 한국어 평가에 적용함으로써 다른 채점자들과는 다른 평가척도를 사용한 데 따른 것이었다. 3차 채점에서 과적합 경향을 보인 [채점자5]는 상대적으로 길었던 채점 기간으로 인해 채점에 대한 집중력이 분산되어 나타난 것으로 추정된다. 그리고 부적합 경향이 나타난 [채점자6]은 채점 분량 및 채점 기간에 따른 피로도와 함께 평가문항과 특정 응시자 집단에 대한 편향의 영향이 있었던 것으로 보인다.
이와 같은 결과를 바탕으로 본 연구에서는 한국어 말하기 숙달도 평가와 채점자 훈련과 관련된 시사점을 제안했다. 이 연구는 한국어교육 평가 관련 논문으로서 양적 연구 방법과 질적 연구 방법을 통해 말하기 숙달도 평가 과정에서 나타난 개별 채점자의 채점 경향과 행동 특성을 밝혔다는 점에서 연구의 의의가 있다. 한국어교육 평가 분야에서 채점자와 관련된 연구는 시작 단계에 있으므로 본 연구의 결과는 한국어 말하기 평가의 채점자 연구와 채점자 훈련을 위한 기초 자료로 사용될 수 있을 것이다.

참고문헌 (Reference)

1. 『교육평가』, 권대훈, 양서원, 파주: 양서원, , 2016

2. 현대교육평가. 제4판, 성태제, 서울: 학지사, , 2014

3. 『영어 평가 방법론』, 이완기, 서울:(주)문진미디어, , 2007

4. 교육평가의 이해 제2판, 김재철, 이대식, 최종근, 신종호, 김동일, 황정규, 김민성, 강태훈, 양명희, 서민원, 김준엽, 서울:학지사, , 2016

5. Rasch 모형의 이론과 실제, 지은림, 교육과학사, 서울:교육과학사, , 2000

6. 외국어 평가의 이론과 실제, 신상근, 한국문화사, 서울: 한국문화사, , 2010

7. “국어교사의 쓰기 평가 특성 연구”, 박종임, 미출간 한국교원대학교 박사학위논 문, , 2013

8. 제2차 한국어능력시험 말하기 평가 개발 연구, 우창현, 박성태, 정수진, 함정식, 김경선, 국립국제교육원, , 2015

9. 제3차 한국어능력시험 말하기 평가 개 발 연구, 김미옥, 원미진, 김성숙, 강현화, 김현정, 국립국제교육원, , 2016

10. 제4차 한국어능력시험 말하기 평가 개 발 연구, 김미옥, 김성숙, 김현정, 강현화, 원미진, 국립국제교육원, , 2017

11. 한국어교육 연구 동향 분석, 인문연구 63, 53~90쪽, 윤지원, 최정순, 영남대학 교 인문과학연구소, , 2010

12. (eds), The Cambridge Guide to Second Language Assessment, 234-246쪽, O’Sullivan(2012), Assessing Speaking, In Coombe, Cambridge: Cambridge University Press, , 1996

13. “다양한 평가시스템의 개발 및 활용에 관한 연구”, 김경수, 김일중, 임두택, 백종섭, 백종두, 한국거버넌스학회, 한국행정연구원, , 2004

14. 언어교육평가 연구를 위한 FACETS 프로그램: 기초 과정편, 장소영, 글로벌콘텐츠, 서 울: 글로벌콘텐츠, , 2009

15. 한국어 말하기 평가에서 고정 오류 연구, 이중언어학 63, 1~22쪽, 강석한, 이 중언어학회, , 2016

16. Rater bias patterns in an EFL writing assessment, Language Testing 25-4, 465~493쪽, Schaefer, E., London: Edward Arnold, , 2008

17. Quantity and quality in speaking test performance, Language Testing 11-2, 125~144쪽, Douglas, D., London: Edward Arnold, , 1994

18. 근무성적 평정의 오류와 극복 방안, 사회과학논문집 15-2, 25~36쪽, 백종섭, 대 전대학교 사회과학연구소, , 1996

19. 한국어능력시험의 CBT/IBT 기반 말하기 평가를 위한 문항 유형 개발, 박동호, 국립국제교육원, 국립국제교육원, , 2012

20. 영어 말하기 평가의 채점과정 연구, 영어영문학 연구, 49-4, 169~186 쪽, 김현주, 한국중앙영어영문학회, , 2007

21. 한국어 말하기 평가에서의 채점 편향성 분석, 이중언어학 70, 59~83쪽, 김지영, 원미진, 이중언어학회, , 2018

22. 중학교 영어교사의 말하기평가 채점경향 분석, 언어과학 18-4, 77-99쪽, 백헌영, 양병곤, 한국언어과학회, , 2011

23. 한국어 말하기 능력 평가 도구 개발 연구, 외국어로서의 한국어교육 32, 정혜진, 홍윤혜, 김수진, 배문경, 전나영, 윤은미, 양수향, 박보경, 한상미, 연세 대학교 언어연구교육원, , 2007

24. 한국어능력시험 쓰기 평가의 채점 특성 연구, 한국어교육 28-1, 173-196쪽, 김정숙, 안수현, 국제한국어교육학회, , 2017

25. NEW FACETS을 활용한 채점자료 분석방법, Foreign languages education 12-2, 191~211쪽, 설현수, 신동일, 한국외국어교육학회, , 2005

26. Rater characteristics and rater bias: implications for training, Language Testing, 12, 54-71쪽, Lumley, T., McNamara, T.F., London : Edward Arnold, , 1995

27. 한국어 말하기 능력 평가기준 설정을 위한 연구, 이중언어학 10-1, 24~33쪽, 원진숙, 김정숙, 이중언어학회, , 1993

28. Models of the interaction of language and social setting, Journal of Social Issues 23-2, 8~38쪽, Hymes, D.H., Plenum for the Society for the Psychological Study of Social Issues, , 1967

29. 한국어 말하기 능력 평가 기준 설정을 위한 연구, 한국어문교육 6, 101~133쪽, 원진숙, 고려대학교 한국어문교육연구소, , 1992

30. 영어 말하기 평가의 채점자 신뢰성과 편향성 조사, English Teaching 69-2, 247-270쪽, 주미진, 한국영어교육학회, , 2014

31. Evaluating rater accuracy in performance assessments, Journal of Educational Measurement 33-1, 56~70쪽, Engelhard, G., National Council on Measurement in Education, , 1996

32. 후광효과 이해를 통한 채점 오류 분석 연구, Foreign Languages Education, 9(4), 215-232쪽, 신동일, 장소영, 한국외국어교육학회, , 2002

33. 채점 경향 분석을 위한 Rasch 측정모형 적용 연구, Foreign Language Education, 8(1), 249-272쪽, 신동일, 한국외국어교육학회, , 2001

34. Judge consistency and severity across grading periods, Evaluation and the Health Professionals, 13, 425-444쪽, Lunz, M.E., Stahl, J.A., Education Resources Information Center, , 1990

35. 한국어교육학 연구의 최신 동향 및 전망: 연구사를 중심으로, 국어국 문학 155, 39~78쪽, 강현화, 국어국문학회, , 2010

36. 인식 조사를 통한 한국어 구어 유창성의 개념 및 요인 연구, 한국어교 육 21-4, 183-204쪽, 이정희, 국제한국어교육학회, , 2010

37. 한국 중․고등학교 교사들의 영어작문 채점 훈련에서 나타나는 채점자 편향과 그 원인, 이창수, 서울대학교 대학원 영어교육학과 박사학위 논문, , 2014

38. 외국인 한국어 말하기 시험의 평가자 요소가 채점에 미치는 영 향, 이중언어학 55, 1-29쪽, 강석한, 안현기, 이중언어학회, , 2014

39. 쓰기 평가에서 채점 특성에 대한 피드백이 채점에 미치는 영 향 연구, 이중언어학 61, 1~29쪽, 강민석, 심재경, 이중언어학회, , 2015

40. 한국어교육 연구 동향 분석을 기초로 한 한국어교육학의 연구 영역, 새국어교육 110, 121~146쪽, 강승혜, 한국국어교육학회, , 2017

41. A Facets analysis of rater bias in measuring Japanese second language writing performance, Language Testing, 19(1), 3-31쪽, Kondo-Brown, K., London: Edward Arnold, , 2002

42. 한국어 말하기 평가 개발을 위한 채점 경향 분석 연구, 외국 어로서의 한국어교육 47, 169~192쪽, 김지영, 원미진, 연세대학교 언어연구교육원, , 2017

43. Analysing Focus Group Data, In David Silverman(eds), Qualitative Research: Issues of Theory, Method and Practice, 168~184쪽, Wilkinson, S., SAGE publications, Inc, , 2011

44. Communicative competence as language use, Applied Linguistics 10-2, 157~170쪽, American Association for Applied Linguistics, Davies, A., British Association for Applied Linguistics, , 1989

45. Effects of nonnative English-speaking rater’s oral proficiency level on English speaking test ratings and rating processes, 유경아, 미출간 이화여 자대학교 박사학위논문, , 2011

46. The influence of training and experience on rater performance in scoring spoken language, Language Testing, 33-1, 117~135쪽, Davis, L., London: Edward Arnold, , 2016

47. 컴퓨터 기반 한국어 말하기 숙달도 평가 도 구 개발 연구, 외국어로서의 한국어교육 34, 519~554쪽, 윤은미, 배문경, 홍윤혜, 한상미, 연세대학교 언어연구 교육원, , 2009

48. 영어 말하기 채점자의 행동 특성 분석: 채점자 훈련을 위한 제언, 교과교육학연구 19-4, 1081~1101쪽, 송민영, 이용상, 이화여대 교과교육연구소, , 2015

49. Scoring Validity, In Taylor L.(eds), Examining Speaking: Research and practice in assessing second language speaking, 171-233쪽, Taylor, L., Galaczi, E., Cambridge: Cambridge University Press, , 2011

50. 한국어 말하기 평가의 면대면 인터뷰 방식과 컴퓨터 기반 평가 방식 간 측정학적 특성 비교 연구, 김경선, 연세대학교, 미출간 연세대학교 박사학위논문, , 2017

51. The effect of rater variables in the development of an occupation specific language performance test, Language testing 12-1, 1~15쪽, Brown, A., London: Edward Arnold, , 1995

52. 한국어 어휘 유창성과 평가 구인에 대한 인식 연구: 채점자 논평을 중심 으로, 이중언어학 58, 59-86쪽, 이 경, 이중언어학회, , 2015

53. On communicative competence, In Pride J.B. and Holmes J.(eds), Sociolinguistics: selected reading, 269~293쪽, Penguin, Harmondsworth, Hymes, D.H., Middlesex, , 1972

54. 이동은, 이유경, 최은지, 한국어 표준 말하기 시험 측정 도구를 위한 기초 연구, 한민족어문학 51, 229~258쪽, 김정숙, 한민족어문학회, , 2007

55. From communicative competence to communicative language pedagogy, In Richards J.C. and Schmidt R.W.(eds), Language and communication, 2~27쪽, Canale, M., London: Longman, , 1983

56. 일반화가능도 이론을 적용한 한국어 말하기 성취도 평가의 신뢰도와 오차요인 분석, 한국어교육 21-4, 51~75쪽, 강승혜, 이규민, 김경선, 국제한국어교육학 회, , 2010

57. 다국면 Rasch 측정의 Facets 프로그램을 활용한 영어 작문 평가의 원어 민 채점 검증, 영어어문교육 20-1, 475~496쪽, 이영식, 한국영어어문교육학회, , 2014

58. 학문 목적 한국어 쓰기 수행 평가의 채점자 신뢰도 검증: 다국면 Rasch 모형을 활용하여, 새국어교육 103, 311~354쪽, 이은하, 한국국어교육학회, , 2015

59. 한국어 교육에서의 말하기 연구 동향 분석 및 연구 방안 모색: 2010년 이후 연구를 중심으로, 새국어교육 112, 71~122쪽, 이선진, 한국국어교육학회, , 2017

60. Focus Group: A practical Guide for Applied Research, 4th Edition, SAGE publications, Inc.(민병오 외 옮김(2014), 포커스 그룹: 응용조사 실행방법, Richard, A.K., Mary, A.C., 서울:명인문화사.), , 2009

61. Investigating the effect of training on raters’bias toward test takers in Oral proficiency assessment: A Facets analysis, The Journal of Asia TEFL 14-4, 687~702쪽, Khabiri, M., Bijani, H., 아시아영어교육학회, , 2017

62. Theoretical bases of communicative approaches to second language teaching and testing, Applied Linguistics 1-1, 1~47쪽, American Association for Applied Linguistics, Canale, M., Swain, M., British Association for Applied Linguistics, , 1980

63. Measuring Second Language Performance, Pearson Education Ltd.(채선희 외 옮김(2003), 문항반응이론의 이론과 실제: 외국어 수행평가를 중심으로, McNamara, T.F., 경기:서현사.), , 1996

64. The meaning and use of the term ‘competence’in linguistics and applied linguistics, Applied Linguistics 9-2, 148~168쪽, American Association for Applied Linguistics, Taylor, D.S., British Association for Applied Linguistics, , 1988

65. Rasch 모형을 활용한 국어교사의 채점 일관성 변화 양상 및 원 인 분석: 중학생 서사문 채점을 중심으로, 우리어문연구 39, 301-335쪽, 박영민, 박종임, 우리어 문학회, , 2011

66. 학문 목적 한국어 말하기 평가 과제 유형 개발 연구: 다국면 라쉬 모형과 일반화가능도 이론 적용을 중심으로, 새국어교육 100, 115~141쪽, 김상경, 박동호, 한국국어교육학회, , 2014

67. Interlanguage is not a state of mind: an evaluation of the construct for second language acquisition, Applied Linguistics 6-2, 101~117쪽, American Association for Applied Linguistics, Sharwood-Smith, M., Bialystock, E., British Association for Applied Linguistics, , 1985

68. Communicative writing profile: An investigation of the transferability of a multiple-trait scoring instrument across ESL writing assessment contexts, Language Learning 41-3, 337~373쪽, Hamp-Lyons, L., Henning, G., Research Club in Language Learning, , 1991

69. 채점자 훈련이 영어 작문 채점에 미치는 효과에 대한 연구: FACETS 분 석을 통한 신뢰도 변화 분석, Journal of the Applied Linguistics Association of Korea, 18-1, 257-292쪽, 최연희, 한국응용언어학회, , 2002

70. 한국어 말하기 평가의 발음 영역 채점에서의 채점자 특성에 따른 채점 경향 연구: 한국어 교육 경험과 전공을 중심으로, 외국어로서의 한국어교육 39, 213~245쪽, 이향, 연세대학교 언어연구교육원, , 2013