한국어 말하기 성취도 평가에서의 평가범주의 세분화 문제 연구 = A Study on Segmentation of Evaluation -Criteria in Achievement Test of Korean Speaking

다국어 초록 (Multilingual Abstract)

The purpose of this study is to find a plan of improving the efficiency and practicality of the achievement test of Korean speaking. Each Korean language education institute mostly use analytical assessment to precisely assess the speaking ability of learners. The analytical assessment can achieve efficiency when its evaluation-criteria are well classified and described. Therefore, to improve the efficiency of assessment, this work was intended to investigate the segmentation of evaluation-criteria. To do that, this researcher explored three study issues : first, which do raters prefer, an evaluation form with segmented evaluation-criteria or an evaluation form with non-segmented evaluation-criteria?; secondly, what are the segmented evaluation-criteria that make raters feel easy to assess? ; and thirdly, what types of evaluation-criteria are needed to be segmented? To address the study issues, this researcher collected speaking samples from three test takers, and then requested 20 Korean language teachers to evaluate them. As a result, raters preferred a segmented evaluation form in terms of evaluation-criteria, and it was found that they felt an evaluation easy when the criteria of ``contents`` and ``accuracy`` were segmented. And, the comparison of two different types showed that there was the most significant difference when the criteria of ``contents`` and ``range`` were segmented.

참고문헌 (Reference)

1 김상수, "한국어 학습자 발화의 유창성 연구" 부산대학교 대학원 2009

2 김정숙, "한국어 표준 말하기 시험 측정 도구를 위한 기초 연구" 한민족어문학회 51 (51): 227-258, 2007

3 이인혜, "한국어 쓰기 평가의 채점 방식에 따른 채점자 신뢰도 연구 : 종합적 채점 및 분석적 채점을 중심으로" 고려대학교 대학원 2012

4 김정숙, "한국어 쓰기 능력 평가 방안- 종합적 채점과 분석적 채점 결과를 중심으로" 이중언어학회 (43) : 81-99, 2010

5 공일주, "한국어 숙달 지침과 말하기 능력 측정에 대하여" 6 : 1993

6 이준호, "한국어 수행 평가의 원리 및 방안 연구" 고려대학교 대학원 2009

7 이희경, "한국어 성취도 평가 문항 개발 연구 －연세대학교 한국어학당의 사례를 중심으로－" 연세대학교 언어연구교육원 한국어학당 27 : 341-416, 2002

8 사와다 히로유키, "한국어 말하기 평가에서 전략적 능력과 어휘 구사력의 평가 :일본인 학습자를 대상으로 한 성취도 평가를 중심으로" 서울대학교 국어교육연구소 12 : 2003

9 이영식, "한국어 말하기 시험의 유형 및 채점 기준 설정을 위한 기초 연구" 국제한국어교육학회 15 (15): 207-228, 2004

10 이진영, "한국어 말하기 성취도 평가의 단계별 유형과 기준 연구" 한양대학교 교육대학원 2009

11 윤은미, "한국어 말하기 능력 평가 도구 개발 연구*" 연세대학교 언어연구교육원 한국어학당 32 : 259-338, 2007

12 원진숙, "한국어 말하기 능력 평가 기준 설정을 위한 연구" 6 : 1992

13 김정숙, "한국어 말하기 능력 평가 기준 설정을 위한 연구" 이중언어학회 10 : 1993

14 박성경, "한국어 듣기 · 말하기 성취도 평가에 관한 연구 - 초급을 중심으로 -" 우리어문학회 (30) : 299-325, 2008

15 전은주, "한국어 능력 평가: 말하기 능력 평가 범주 설정을 위하여" 한국어학회 6 : 1997

16 金裕正, "한국어 능력 평가 연구 : 숙달도 평가(korean proficiency Test)를 중심으로" 高麗大學校 大學院 1999

17 정광, "한국어 능력 평가 방안 연구: 숙달도 측정을 중심으로" 한국어학회 1 : 1994

18 김유정, "한국어 능력 평가 방안 연구 : 성취도시험을 중심으로" 국제한국어교육학회 9 (9): 1998

19 강승혜, "한국어 고급 말하기 평가 도구 개발 기초 연구 - 고급 말하기 토론 활동을 중심으로 -" 연세대학교 언어연구교육원 한국어학당 30 : 1-21, 2005

20 한상미, "학문 목적 한국어 말하기 평가 연구 －대학 입학 전 과정을 중심으로－" 국제한국어교육학회 20 (20): 207-238, 2009

21 김경선, "일반화가능도 이론을 적용한 한국어 말하기 성취도 평가의 신뢰도와 오차요인 분석" 국제한국어교육학회 21 (21): 51-75, 2010

22 지현숙, "인터뷰 시험 담화 분석을 통한 한국어 구어 능력 평가의 구인 연구" 국어교육연구소 16 : 2005

23 최은규, "유형별로 본 한국어 능력 평가의 실제와 과제" 국제한국어교육학회 17 (17): 289-319, 2006

24 Brown, H. Douglas, "외국어 평가" 피어슨에듀게이션코리아 2006

25 이완기, "영어 평가 방법론" 문진미디어 2003

26 Herman, J. L., "수행평가 과제 제작의 원리와 실제" 이화여자대학교 출판부 2000

27 이향, "말하기 수행 평가에서 발음 범주 채점의 최적화 방안 연구 -일반화가능도 이론을 활용하여-" 국제한국어교육학회 23 (23): 301-329, 2012

28 Brown, A., "The effect of rater variables in the development of an occupation-specific language performance test" 12 (12): 1995

29 Fulcher, G, "Testing second language speaking" Longman 2003

30 Lumley, T., "Rater characteristics and rater bias: implications for training" 12 (12): 1993

31 Schaefer, E., "Rater bias patterns in an EFL writing assessment" 25 (25): 2008

32 Douglas, D., "Quantity and quality in speaking test performance" 11 : 1994

33 Bachman, L. F., "Language testing in practice" Oxford University Press 1996

34 McNamara, T, "Language Testing" Oxford University Press 2000

35 Wigglesworth, G., "Exploring bias analysis as a tool for improving rater consistency in assessing oral interaction" 10 (10): 1993

36 Fulcher, G., "Effective rating scale development for speaking tests: Performance decision trees" 28 (28): 2010

37 Fulcher, G., "Does thick description lead to smart tests? A data-based approach to rating scale construction" 13 (13): 1996

38 Carey, M. D., "Does a rater’s familiarity with a candidate’s pronunciation affect the rating in oral proficiency interviews?" 28 (28): 2011

39 Knoch, U., "Diagnostic assessment of writing : A comparison of two rating scales" 26 (26): 2009

40 Genesee, F., "Classroom-based evaluation in second language education" Cambridge University Press 1996