컴퓨터 기반 한국어 초급 말하기 평가의 타당도 검증 연구 = Validity Verification of Computer-based Korean Speaking Test for Beginners

다국어 초록 (Multilingual Abstract)

This paper aims to verify the validation of KSPTⅠ(Korean Speaking Test Ⅰ) which is developed as a computer-based test tool. For this aim, a simulated test was conducted on the target of 115 applicants. The result of the simulated test showed that the overall reliability and the reliability of each construct were around .70 which reaches an adequate level. The correlation between the test score and three constructs- pronunciation, accuracy, and content-was high enough but the fluency did not measure independently from the other constructs. It refers that the definition of fluency construct should be clarified, and that it is necessary to complement the criteria for scoring. Difficulty level and discrimination index of most of the test items were appropriate. But both the difficulty level and the discrimination index of test item number 10 were relatively low. It indicates that test item number 10 should be corrected. The correlation between the test grading level and the teacher’s grading level measured .68 which is high. The results of the survey on the applicants indicated that the test duration, the speed of asking questions, and time limits for response were appropriate.

참고문헌 (Reference)

1 박동호, "한국어능력시험의 CBT/IBT기반 말하기 평가를 위한 문항 유형 개발" 국립국제교육원 2012

2 원미진, "한국어능력시험(TOPIK) 말하기 평가 개발을 위한 모의시험 개발 절차" 한국외대사이버관 대강당 2016

3 윤희원, "한국어능력시험(TOPIK) 개선방안 연구" 한국교육과정평가원 2010

4 조항록, "한국어능력시험 체제 개편에 따른 평가틀 제작 및 표준문항 개발" 국립국제교육원 2013

5 김정숙, "한국어 표준 말하기 시험 측정 도구를 위한 기초 연구" 한민족어문학회 (51) : 227-258, 2007

6 강승혜, "한국어 평가론" 태학사 2006

7 김경선, "한국어 말하기 평가의 면대면 인터뷰 방식과 컴퓨터 기반 평가 방식 간 측정학적 특성 비교 연구" 연세대학교 일반대학원 2017

8 강승혜, "한국어 고급 말하기 평가 도구 개발 기초 연구 - 고급 말하기 토론 활동을 중심으로 -" 언어연구교육원 한국어학당 30 : 1-21, 2005

9 한상미, "학문 목적 한국어 말하기 평가 연구 －대학 입학 전 과정을 중심으로－" 국제한국어교육학회 20 (20): 207-238, 2009

10 민병곤, "학문 목적 한국어 말하기 평가 도구 개발 연구" 한국어교육학회 (157) : 309-340, 2017

11 김상경, "학문 목적 한국어 말하기 평가 과제 유형 개발 연구 - 다국면 라쉬 모형과 일반화가능도 이론 적용을 중심으로 -" 한국국어교육학회 (100) : 115-141, 2014

12 한상미, "컴퓨터 기반 한국어 말하기 숙달도 평가 도구 개발 연구" 언어연구교육원 한국어학당 34 : 519-554, 2009

13 신상근, "외국어 평가의 이론과 실제" 한국문화사 2010

14 이완기, "영어 평가 방법론" 문진미디어 2007

15 유럽평의회, "언어 학습, 교수, 평가를 위한 유럽공통참조기준" 한국문화사 2010

16 김정태, "말하기 평가 시행 도구 기술과 문항 유형간의 관계성 연구" 한국멀티미디어언어교육학회 12 (12): 177-202, 2009

17 Kim, Jung Tae, "Validation of a test screen design" 한국멀티미디어언어교육학회 10 (10): 62-80, 2007

18 Kim, J. T., "The effectiveness of test-takers’ participation in development of an innovative web-based speaking test for international teaching assistants at American colleges" University of Illinois at Urbana-Champaign 2006

19 Chapelle, C. A., "Assessing language through computer technology" Cambridge University Press 2006