일반화가능도 이론을 적용한 한국어 말하기 성취도 평가의 신뢰도와 오차요인 분석 = Analysis of Error Sources and Estimation of Reliability in a Korean Speaking Achievement Test by Applying Generalizability Theory

다국어 초록 (Multilingual Abstract)

The purpose of the study is: 1) to determine error sources and the effects of each error source in a Korean speaking achievement test; 2) to estimate the generalizability coefficient; and 3) to suggest optimal measuring conditions for Korean speaking achievement tests based on the generalizability theory.
For the design of the G study, a three-facet, partially-nested model (p x (f:t) x r) was used with each of three facets setting tasks, raters, and assessment criteria as random effects. The G study design was used in an identical manner as the D study. As a result of the G study, error sources in the Korean speaking achievement test indicate that error sources for tasks have a more significant impact than error sources related to raters or assessment criteria associated with the score of the speaking test. As for the generalizability coefficients in the D study, increasing the number of tasks had a more significant impact than increasing the number of raters or assessment criteria in the Korean speaking achievement test. Therefore, it seems more efficient to increase the number of tasks rather than the number of raters or assessment criteria in order to create the optimal conditions for a Korean speaking achievement test.

참고문헌 (Reference)

1 이희경, "한글능력검정시험과 한국어능력시험의 비교 분석: 초급 단계를 중심으로" 국제한국어교육학회 73-109, 2005

2 김광해, "한국에서의 한국어 평가: 한국어 능력 시험(KPT: Korean Proficiency Test)" 서울대학교 국어교육연구소 10 : 403-448, 2002

3 강승혜, "한국어평가론" 태학사 2006

4 이해영, "한국어능력시험의 현황과 개선 방안" 국어교육학회 (20) : 197-236, 2004

5 김왕규, "한국어능력시험의 평가기준개발연구" 한국교육과정평가원 2002

6 민병곤, "한국어능력시험의 운영 현황 및 과제" 국제한국어교육학회 16 (16): 137-162, 2005

7 조인옥, "한국어능력시험의 언어권별 수험자 반응분포에 대한 연구" 연세대학교 2000

8 장은아, "한국어능력시험의 성별에 따른 차별기능문항 분석" 이중언어학회 32 (32): 291-325, 2006

9 김유정, "한국어능력시험의 난이도 분석 연구" 국제한국어교육학회 17 (17): 21-46, 2006

10 김정숙, "한국어능력시험의 개선 방안 연구 (Ⅰ) -등급 부여 방식을 중심으로-" 국제한국어교육학회 16 (16): 77-98, 2005

11 이은경, "한국어능력시험에서의 문법 평가 연구" 한국문법교육학회 (3) : 199-231, 2005

12 스가이 요시노리(須賀井 義敎), "한국어능력시험과 일본 “<한글>능력검정시험”초급 문제에 대한 비교 연구" 국제한국어교육학회 17 (17): 73-109, 2006

13 강은아, "한국어능력시험 초급단계의 어휘·문법 영역 문항 연구" 전남대 2002

14 김정숙, "한국어 표준 말하기 시험 측정 도구를 위한 기초 연구" 한민족어문학회 51 (51): 227-258, 2007

15 고우리, "한국어 어휘·문법 숙달도 평가 방안 연구-한국어능력시험 1, 2급 문항분석을 중심으로" 경희대 2004

16 사와다 히로유키, "한국어 말하기 평가에서 전략적 능력과 어휘 구사력의 평가" 서울대학교 국어교육연구소 12 : 101-130, 2003

17 이진영, "한국어 말하기 성취도 평가의 단계별 유형과 기준 연구" 한양대학교 교육대학원 2009

18 김현진, "한국어 말하기 성취도 평가 방안" 연세대학교 언어연구교육원 87-100, 2007

19 전나영, "한국어 말하기 능력 평가 도구 개발" 연세대학교 언어연구교육원 161-195, 2007

20 박성경, "한국어 듣기 · 말하기 성취도 평가에 관한 연구 - 초급을 중심으로 -" 우리어문학회 (30) : 299-325, 2008

21 조항록, "한국어 능력 평가 체계의 현황과 과제" 국제한국어교육학회 17 (17): 333-363, 2006

22 김하수, "한국어 능력 평가 시험의 기본 모형 수립을 위한 기초적 연구" 10 : 279-316, 1997

23 김유정, "한국어 능력 평가 방안 연구 -성취도 평가를 중심으로-" 국제한국어교육학회 9 (9): 37-94, 1998

24 김정숙, "한국어 능력 시험의 개선 방안 연구(Ⅱ) -평가 문항 유형을 중심으로-" 국제한국어교육학회 16 (16): 91-108, 2005

25 전은주, "한국어 능력 시험 평가 문항의 내용타당도 분석 -제12회 일반 한국어(S-TOPIK)의 쓰기 듣기 읽기 영역을 중심으로-" 국어교육학회 (31) : 129-165, 2008

26 조현용, "한국어 능력 시험 어휘 평가에 관한 연구" 한국국어교육연구회 101 : 1-20, 2000

27 백봉자, "한국어 교육 성취 수준에 대한 평가 -연세대학교 한국어학당 1급, 2급 성취도를 중심으로-" 이중언어학회 15 : 141-167, 1998

28 강승혜, "한국어 고급 말하기 평가 도구 개발 기초 연구 - 고급 말하기 토론 활동을 중심으로 -" 연세대학교 언어연구교육원 한국어학당 30 : 1-21, 2005

29 이관식, "제3회, 제4회 한국어 능력시험 어휘 평가 연구" 경희대학교 인문학연구소 (4) : 249-268, 2000

30 조재윤, "일반화가능도 이론을 이용한 쓰기 평가의 오차원 분석 및 신뢰도 추정 연구" 한국어교육학회 (128) : 325-358, 2009

31 신동일, "일반화가능도 이론 적용을 중심으로 한 말하기 평가도구 타당도 검증 연구" 한국응용언어학회 17 (17): 199-221, 2001

32 김성숙, "일반화가능도 이론" 교육과학사 2001

33 남명호, "수행평가에 있어서 일반화가능도 이론의 활용" 한국교육평가학회 9 (9): 73-93, 1996

34 이규민, "단위검사 개념의 적용 -일반화가능도 이론을 중심으로-" 한국교육평가학회 16 (16): 60-80, 2003

35 이영식, "다변량 일반화가능도 이론에 의한 말하기 시험의 타당도와 신뢰도에 관한 연구" 한국외국어교육학회 11 (11): 249-265, 2004

36 안미란, "능력 기술을 바탕으로 하는 학문 목적 한국어 읽기ㆍ쓰기 평가 문항 유형 개발" 한국외국어교육학회 15 (15): 521-544, 2008

37 Wainer, H., "Using a New Statistical Model for Testlets to Score TOEFL" 37 (37): 203-220, 2000

38 Brown, H. D., "Principles of Language Learning and Teaching" Prentice Hall Regents 1994

39 Brennan, R. L., "Manual for urGENOVA Version 2.1" The University of Iowa 2001

40 Crick, J. E., "Manual for GENOVA: A GENeralized Analysis Of VAriance System, ACT Technical Bulletin, Number 43, The American college Testing Program"

41 Brown, H. D., "Language Assessment: Principles and Classroom Practices" Longman 2004

42 Lee, G., "Incorporating the Testlet Concept in Test Score Analyses" 19 : 9-15, 2000

43 Brennan, R. L., "Generalizability Theory" Springer 2001

44 김정환, "2-단계 맞춤 검사에서 일반화가능도 계수의 최적화 조건" 한국교육평가학회 12 (12): 65-82, 1999