영어 말하기 평가에서 한국인 평가자의 평가 특성 연구 = The Study on Korean Raters’ Characteristics for Korean English Oral Performance

다국어 초록 (Multilingual Abstract)

The study investigated the effects of raters, examinees and rating areas on the validity and reliability for Korean English speaking assessment. Ten native English and Korean raters assessed the fourteen Korean English speakings by following five rating criteria. Quantitative analysis is carried out using FACETS program with multi-facets Rasch model. The results are as follows: (1) native English raters tend to assess strictly rather than Korean raters, (2) the strict assessment put on open-ended response task, while we can find the relaxed assessment on directed response or story-telling response task, and (3) both groups evaluate strictly on grammar section, while they give higher scores on cohesive discourse. The study finds that Korean raters could cause the problems of reliability and validity on their assessment. Some Korean raters tend to show over-fitted or under-fitted assessment. The result informs us that Korean raters should carry out the assessment training before the real assessment.

목차 (Table of Contents)

• 1. 서론
• 2. 영어 말하기 평가 요건
• 3. 연구의 내용 및 방법
• 4. 결과 및 토의
• 5. 결론
• 참고문헌

참고문헌 (Reference)

1 이석재, "한국인의 영어 문장 발음에 대한 한국인/원어민/ILT 평가점수 사이의 상관관계" 83-87, 2003

2 정현성, "한국인 영어 학습자의 발음 정확성 자동 측정방법에 대한 연구" 언어연구소 (42) : 165-196, 2008

3 강석한, "한국인 영어 발음의 좋음과 나쁨 인지 평가에 영향을 미치는 초분절 매개변수 연구" 한국음성학회 3 (3): 3-10, 2011

4 신동일, "한국의 영어평가학2: 말하기시험편" 한국문화사 2006

5 윤규철, "영어발음 자동평가 모델" 한국중원언어학회 (19) : 149-168, 2011

6 이호, "영어논술평가에서의 일반 척도, 세부과업별 척도, 이분식 척도의 비교 연구" 한국영어학회 11 (11): 601-626, 2011

7 이영식, "영어 말하기 평가의 개발" 11 (11): 1-18, 2006

8 이은혜, "영어 말하기 평가 도구 IELTS와 MATE 비교분석" 언어정보연구소 24 (24): 1-23, 2007

9 장소영, "언어교육평가 연구를 위한 FACETS 프로그램." 글로벌콘텐츠 2009

10 김종국, "대학 교양영어 인터뷰 평가의 타당성 연구" 한국영어학회 6 (6): 179-200, 2006

11 이호, "귀납적 이분법 척도를 활용한 예비 영어교사의 영어말하기 평가 신뢰도와 효용성에 관한 연구" 한국교원교육학회 27 (27): 215-237, 2010

12 Weigle, S. C, "Using FACETS to model rater training effects" 15 : 263-287, 1998

13 Taylor, L. B., "The changing landscape of English: Implications for language assessment" 60 : 51-60, 2006

14 Lane, J, L, "The basics of rubrics"

15 Kachru, B. B., "Standards, codification and sociolinguistic realism: The English language in the outer circle, In English in the world: Teaching and learning the language and literatures" Cambridge University Press 11-30, 1985

16 North, B, "Scaling descriptors for language proficiency scales" 15 (15): 217-262, 1998

17 Lumley, T, "Rater characteristics and rater bias: Implication for training" 12 : 54-71, 1995

18 최숙기, "Rasch 모형을 활용한 요약문 평가 준거 개발 및 타당도 분석 －고등학생 설명문 텍스트 요약하기를 중심으로－" 한국독서학회 (25) : 415-451, 2011

19 McNamara, T. F., "Measuring second language performance" Longman 1996

20 Lincare, J. M., "Many-facet Rasch measurement" MESA Press 1989

21 Bachman, L. F., "Language testing in practice" Oxford University Press 1996

22 이춘희, "Improving inter-rater reliability in oral proficiency test at college level" 한국현대영어영문학회 54 (54): 367-387, 2010

23 Crystal, D., "English as a global language" Cambridge University Press 2003

24 Knoch, U., "Diagnostic assessment of writing: A comparison of two rating scales" 26 (26): 275-304, 2009

25 Luoma, S., "Assessing speaking" Cambridge University Press 2004

26 Lowenberg, P. H., "Assessing English proficiency in the global context: The significance of non-native norms, In Language in the global context: Implications for the language classroom" SEAMEO Regional Language Center 207-229, 2000

27 Kim, Y-H, "An investigation into native and non-native teachers’ judgments of oral English performance: A mixed methods approach" 26 (26): 187-217, 2009

28 강석한, "A Comparative Study on Criteria and Tasks in Korean English Speaking Assessment by Native and Non-native Raters" 언어교육원 48 (48): 241-262, 2012