한국어능력시험의 언어권별 수험자 반응 분포에 대한 연구 : 제 3회 시험 수험자의 답안결과를 중심으로 = (A) study of the distribution of responses made by the examinees of Korean proficiency test of different language circles : focusing on the answers given by the examinees of the 3rd KPT

국문 초록 (Abstract)

본격적인 한국어 교육의 역사가 반세기가 지나는 이즈음 드디어 한국어 교육을 하나의 완결된 장으로 이끄는 ‘평가’ 도구가 개발되었다. 1997년에 최초로 개발되어 지금까지 3회가 실시된 한국어능력시험(Korean Proficiency Test)은 아직 실시 역사가 짧아 시험 문항에 대한 본격적인 연구는 미비한 상태여서 3회까지 실시된 문항에 대한 검토와 개선은 이루어지지 않았다.
따라서 본 연구는 실제 출제된 제 3회 시험 문항을 자료로 하여 실제 제 3회 시험을 치른 수험자들의 응답 결과를 대상으로 문항을 분석하고자 하였다. 나아가 수험자들을 언어권별로 분류하여 문항에 반응한 정답과 오답의 분포를 살펴보는 언어별 분석과 해답 퍼센트 분석의 방법을 취하였으며, 이로써 각 언어권별 수험자들이 각각 어떤 영역에서 어떤 문항을 특별히 잘하고 어려워하는지 그 문항의 유형과 내용 항목을 구체적으로 살펴보았다. 즉, 언어권마다 문항 반응 분포가 다르게 나타나는 원인으로 세 가지-첫째, 언어의 영향 둘째, 문화의 영향 셋째, 문항자체의 원인-를 가정하였고 그에 대한 검증을 시도하여 한국어 교육 현장과 다음시험 문항 출제 시 시사점을 주는 데 목적이 있다. 본 연구의 내용은 다음과 같은 절차로 진행되었다.
I장에서는 한국어능력시험 역시 하나의 평가 도구로서 평가되어야 할 필요성과 따라서 이 연구의 목표로서 수험자의 언어별 분석을 시도함을 밝혔다.
II장에서는 본 연구의 핵심적 개념과 이론의 틀이 되는 평가 이론과 방법에 대하여 논하였다. 준거참조검사로서 한국어능력시험이 갖추어야 할 요소는 무엇인지를 전제로 하였으며, 연구의 주요 방법인 문항 분석, 즉 언어별 분석과 해답 퍼센트 분석, 문항 형식 분석(item format analysis)에 대한 앞선 연구의 소개와 그 적용을 제시하였다.
III장에서는 연구의 주요 자료에 대한 제시와 분석 대상인 수험자의 현황을 소개하였다. 그리고 이하 진행될 언어별 연구를 위하여 수험자를 언어권별로 분류한 기준과 절차에 대하여 논하고 있다.
IV장에서는 연구의 본론 부분으로서 연구 결과와 해석을 보였다. 먼저 시험 전체와 각 급의 난이도를 언어권별로 분석하여 대략적인 경향을 볼 수 있었고, 다음으로는 더 세밀하게 급 내에서 영역별로 분석하였다. 그리고 마지막으로 모든 선다형(multiple-choice item) 문항을 대상으로 개별 문항에 반응한 정답과 오답의 분포를 살펴 언어권에 관계없이 잘하고 못하는 문항과 언어권별로 잘하고 못하는 문항의 유형과 내용 항목을 제시하였다.
V장에서는 앞서 제시한 연구 문제와 세 가지의 가정, 연구 절차, 그리고 연구 결과를 요약 제시하였으며, 연구 자료와 절차상의 한계점과 후속 연구를 위한 제언을 하였다.
본 연구는 미국의 TOEFL이나 일본의 일본어능력시험 등 외국의 언어 평가들이 여러 가지 방법으로 매년 문항 분석이 실시하여 계속 문항을 개선하고 좋은 문항을 축적하고 있는 것에 반하여, 한국어능력시험이 아직 한 번도 문항에 대한 검토를 시도하지 않은 현 상태에서 실제 수험자의 응답 자료를 대상으로 문항을 분석하는 방법을 취하였다. 연구 방법이나 절차상 미숙한 점도 많겠지만, 후속 연구와 다음 시험의 문항 출제 시 도움을 줄 수 있을 것이라 생각된다.

다국어 초록 (Multilingual Abstract)

Just recently when half a century is going to pass since substantial Korean education for foreigners started, an evaluation tool which is to give Korean education a complete shape has finally developed. Korean Proficiency Test(KPT) was first developed in 1997 and was held three times so far, due to its short history, a thorough study of question items has not yet been sufficiently done and therefore these questions have neither been fully investigated nor improved.
This study examined the question items actually given in the 3rd KPT by analyzing the answers of the examinees who took the test actually. The analyses were done in two ways. One is an analysis by language, that is to sort the examinees according to each language circle they belong to and then to examine the distribution of correct answers. Being analyzed in this way, patterns and contents of the questions were concretely examined in regard to how well or not well the examinees in each language circle did as to each specific field and question item of the test. The analysis supposed three possible causes of the different distribution of how the examinees in each language circle responded to the questions-(1)the influence of language (2)the influence of culture (3)the questions themselves. The purpose of this study is by examining the three causes, to give some suggestive ideas to Korean education actually now being given and the future KPT in regard to how and what questions should be given. The study consists of the following five parts and was done in this order.
In Chapter I, it is made clear that KPT should be valued as one of the evaluation tools, and therefore the examinees are to be analyzed by their each language, which is what this study aims at.
In Chapter II, the core conception of the study, and an evaluation theory and, method which are to make the framework of the theory are discussed, Considering what factors KPT should have as a criterion-referenced test, the studies done so far on item analysis-more precisely by language analysis, by percentage analysis and item format analysis-which is the main method of the study are introduced and their applications are presented.
In Chapter III, the main materials for the study were presented, and the present circumstances of the examinees to be analyzed are explained. The basis and the procedure of sorting the examinees according to their language circles for the study of by-language analysis to be followed are discussed.
In Chapter IV, as the main issue of this study its result and interpretation are presented. First, by analyzing the test overall and analyzing by language the degree of difficulty by each grade, a general tendency is revealed. Then, by-field and by-grade analyses are done much more in detail. Finally, all of the multiple choice items are analyzed. An analysis of the distribution of correct answers and wrong answers to individual question items reveals that some items have nothing, and some items have something to do with a language circle each examinee belong to in regard to how well or not well he/she did. Such item patterns and contents are presented.
In Chapter V, the problem in the study, the three supposed causes, the procedure of the study and the result of the study mentioned above are summarized. Suggestive ideas for limited study materials and procedure and for the future study are presented.
Question items being analyzed every year, language evaluation methods in foreign countries, such as TOEFL(USA) and JLPT(Japan) are kept being improved. On the contrary, examination of question items has never been done on KPT. Under this present circumstances, this study took a method of analyzing question items using actual answers given by the examinees of KPT. The method and the procedure taken in this study might still be imperfect. The study, however, should offer some good stuff for the future study to be developed and for KPT in regard to question items be improved.

목차 (Table of Contents)

• 목차
• 국문요약
• I 머리말 = 1
• 1.1 연구의 필요성 = 1
• 1.2 연구의 목적 및 목표 = 2
• 1.3 연구 내용 = 3
• II 이론적 배경 = 4
• 2.1 NRT와 CRT = 4
• 2.2 문항형식분석 = 7
• 2.3 모어별 분석 = 11
• 2.4 한국어능력평가 = 13
• III 연구방 법 = 16
• 3.1 연구 자료 = 16
• 3.2 수험자 현황 = 17
• 3.3 연구 절차 = 18
• IV 결과 및 해석 = 20
• 4.1 언어권별 검사 점수 분석 = 20
• 4.2 언어권별 문항 내용 영역의 난이도 분석 = 37
• 4.3 언어권별 문항 반응 분포 = 52
• 4.3.1 언어의 영향 = 53
• 4.3.2 문화의 영향 = 70
• 4.3.3 문항 자체의 원인 = 74
• V 맺음말 = 82
• 참고문헌 = 87
• ABSTRACT = 90
• 부록
• 부록1 : 급별 수험자 현황
• 부록2 : 문항 구성 내용