말하기 수행 평가에서 발음 범주 채점의 최적화 방안 연구 -일반화가능도 이론을 활용하여- = A study on the optimal conditions in rating of pronunciation scale for speaking performance assessment - using Generalizability Theory-

다국어 초록 (Multilingual Abstract)

This study aims to examine any practical optimal conditions for pronunciation assessment that is used for evaluating Korean-speaking abilities, based on such a theory. In this study, the initial review of the concept of speaking performance assessment led to an assumption that interactions amongst tasks, raters, and examinee affect speaking performance evaluation. Based on such an assumption, an analysis was conducted applying the Generalizability Theory for the three facets. To this end, 33 examinee were given computer-based tests on three categories for speaking performance evaluation. Six raters then performed holistic and analytical ratings for pronunciation scale. Using the rating results, a G study was conducted on tasks, raters, and examinees, based on which a D Study was finally carried out.
First off, the result of the G Study indicates that the examinee's abilities are the error facet that accounts for the largest variance component. The very fact that this rating method reflects the differences among the test takers' abilities above all else, attests to the validity of this test. During the D study, reliability of analytical rating turned out to be relatively high compared to holistic rating. And Although reliability factor could show a significant rise by increasing the number of rater from one to two, any more increase in the number of raters showed merely a small growth in reliability factor. In the meantime, while increase in the number of tasks from one to two could result in a significant rise in reliability factor, any further increase in the number of tasks only exhibited a very little improvement in reliability factor. In this respect, such study results seem to be meaningful enough to help any consideration for practicality of speaking performance assessment.

참고문헌 (Reference)

1 김은애, "한국어 학습자의발음 오류 진단 및 평가에 관한 연구" 국제한국어교육학회 17 (17): 71-99, 2006

2 김정숙, "한국어 표준 말하기 시험 측정 도구를 위한 기초 연구" 한민족어문학회 22 (22): 227-258, 2007

3 이원경, "한국어 평가론" 태학사 2006

4 공일주, "한국어 숙달 지침과 말하기 능력 측정에 대하여" 한글학회 9 (9): 91-118, 1993

5 이희경, "한국어 성취도 평가 문항 개발 연구 －연세대학교 한국어학당의 사례를 중심으로－" 연세대학교 언어연구교육원 한국어학당 27 : 341-416, 2002

6 이영식, "한국어 말하기 시험의 유형 및 채점 기준 설정을 위한 기초 연구" 국제한국어교육학회 15 (15): 207-228, 2004

7 정화영, "한국어 말하기 숙달도 평가 방안 : FSI Oral Proficiency Test 분석을 중심으로" 연세대학교 교육대학원 2000

8 강유리, "한국어 말하기 성취도 평가의 실태와 개선 방안 연구" 한양대학교 교육대학원 2005

9 이진영, "한국어 말하기 성취도 평가의 단계별 유형과 기준 연구" 한양대학교 교육대학원 2009

10 金良遠, "한국어 말하기 능력 평가 방안 연구" 高麗大學校 敎育大學院 1993

11 장준호, "한국어 말하기 능력 평가 도구 개발에 관한 연구" 중앙대학교 대학원 2010

12 윤은미, "한국어 말하기 능력 평가 도구 개발 연구*" 연세대학교 언어연구교육원 한국어학당 32 : 259-338, 2007

13 원진숙, "한국어 말하기 능력 평가 기준 설정을 위한 연구" 6 : 101-134, 1992

14 김정숙, "한국어 말하기 능력 평가 기준 설정을 위한 연구" 이중언어학회 2 (2): 24-33, 1993

15 박성경, "한국어 듣기·말하기 능력 평가 유형 개발 연구 : 성취도 평가를 중심으로" 부산외국어대학교 교육대학원 2007

16 정광, "한국어 능력 형가 방안 연구-언어숙달도의 측정을 중심으로" 한국어학회 48 (48): 481-538, 1994

17 전은주, "한국어 능력 평가-말하기 능력 평가 범주 설정을 위하여-" 한국어학회 15 (15): 153-172, 1997

18 金裕正, "한국어 능력 평가 연구 : 숙달도 평가(korean proficiency Test)를 중심으로" 高麗大學校 大學院 1999

19 지현숙, "한국어 구어 문법 능력의 과제 기반 평가 연구" 서울대학교 대학원 2006

20 강승혜, "한국어 고급 말하기 평가 도구 개발 기초 연구 - 고급 말하기 토론 활동을 중심으로 -" 연세대학교 언어연구교육원 한국어학당 30 : 1-21, 2005

21 김상경, "한국어 CBT 말하기 평가의 개선 방안 : CBT와 인터뷰시험의 수험자 담화 비교를 중심으로" 경희대학교 대학원 2010

22 이은하, "학문 목적 한국어 학습자의 쓰기 수행 평가를 위한 분석적 채점척도 개발" 이화여자대학교 대학원 2007

23 김성숙, "학문 목적 기초 한국어 쓰기 능력 평가 척도 개발과 타당성 검증" 연세대학교 대학원 2011

24 한상미, "컴퓨터 기반 한국어 말하기 숙달도 평가 도구 개발 연구" 연세대학교 언어연구교육원 한국어학당 34 : 519-554, 2009

25 김성숙, "일반화가능도이론" 교육과학사 2001

26 조재윤, "일반화가능도 이론을 이용한 말하기 평가의 과제와 채점자 요인 최적화 조건에 관한 연구" 고려대학교 대학원 2008

27 박성원, "인터뷰 담화 분석을 이용한 한국어 말하기 숙달도 평가 연구" 이화여자대학교 교육대학원 2002

28 박승재, "웹 기반 한국어 말하기 능력 평가 방안 연구" 선문대학교 교육대학원 2009

29 노대규, "외국어로서의 한국어 시험과 평가" 이중언어학회 (1) : 1983

30 강승호, "신뢰도(Reliability)" 교육과학사 2004

31 국립국어원, "말하기능력 측정도구 개발1" 국립국어원 2006

32 이화여자대학교 언어교육원, "말이 트이는 한국어1" 이화여자대학교 출판부 2009

33 Canale, M., "Theoretical bases of com-municative approaches to second language teaching and testing" 1 (1): 1-47, 1980

34 Jenkins, J, "The phonology of English as an international language:New models,new norms,new goals" Oxford University Press 2000

35 Foster, P., "The influence of planning and task type on second language performance" 18 : 299-324, 1996

36 Brown, A, "The effect of rater variables in the development of an occupation-specific language performance test" 12 (12): 1-15, 1995

37 Higgs, T. V., "The Push Toward Communication. In Curriculum, competence and the foreign language teacher" National Textbook Company 57-79, 1982

38 Cronbach, L. J., "The Dependability of Behavioral Measurements : Theory of Generalizability for Scores and Profiles" John Wiley 1972

39 Lumley, T., "Rater characteristics and rater bias:Implications for training" 12 (12): 54-71, 1995

40 Henning, G, "Oral proficiency testing:comparative validities of interview,imitation,and completion methods" 33 (33): 315-332, 1983

41 McNamara, T. F, "Measuring second language performance" Longman 1996

42 Crick, J. E., "Manual for GENOVA:A generalized analysis of variance system" 43 : 1983

43 Bachman, L. F., "Language testing in practice" Oxford University Press 1996

44 Bachman, L. F., "Investigating variability in tasks and rater judgements in a performance test of foreign language speaking" 12 (12): 238-257, 1995

45 Kenyon, D. M, "Introductory remarks at symposium on Development and use of rating scales in language testing" 1992

46 Brennan, R. L, "Generalizability theory" Springer Verlag 2001

47 Wigglesworth, G, "Exploring bias analysis as a tool for improving rater consistency in assessing oral interaction" 10 (10): 305-319, 1993

48 Chalhoub-Deville, M, "Deriving oral assessment scales across different tests and rater groups" 12 (12): 16-33, 1995

49 Weir, C. J, "Communicative language testing" Prentice Hall Regent 1990

50 Levis, J. M, "Changing contexts and shifting paradigms in pronunciation teaching" 39 (39): 369-377, 2005

51 Cushing Weigle, S, "Assessing writing" Cambridge University Press 2002

52 Xiaoming, X, "Aspects of performance on line graph description tasks:influenced by graph familiarity and different task features" 27 (27): 73-100, 2010