쓰기 평가 문항의 타당도 분석에 대한 연구 : 한국어능력시험 기출 문항을 대상으로

국문 초록 (Abstract)

한국어능력시험(Test of Proficiency in Korean, TOPIK)은 공신력 있는 국가 공인시험으로 한국어 사용 능력을 측정하고 학습자의 한국어 숙달도를 확인할 수 있는 표준화된 평가 도구이다. 이 시험은 한국어 교육과정의 설계, 교수 및 학습, 평가 등 한국어 교육 전반에 긍정적인 영향을 주었을 뿐만 아니라 학습자에게도 평가로서의 기능 외에 한국어 학습의 방향을 제시하는 역할을 하고 있다. 이처럼 한국어능력시험이 한국어 교육 발전에 미치는 영향이 지대하고 그 위상이 점차 높아지고 있는 만큼 더욱 신뢰할 수 있고 타당한 평가가 요구된다. 진정성이 높은 평가 도구가 되기 위해서는 평가의 기준에 맞게 제대로 평가하고 있는가하는 타당도에 대한 검토가 이루어져야 한다. 이를 위해 먼저 평가 문항에 대한 분석이 선행되어야 하며, 특히 의사소통 능력 신장을 위해 필수적으로 갖추어야 하는 능력인 쓰기의 평가 문항에 대한 분석이 시급하다는 인식 하에 쓰기 평가 문항 타당도 분석을 실시하고자 하였다.
쓰기 평가 문항의 타당도 분석은 개편된 제35회부터 공개된 제52회까지의 TOPIKⅡ 쓰기 평가 문항을 대상으로 하였다. 문항 분석에 앞서 문항 분석의 기준을 설정하기 위해 강승혜 외(2006)에서 제시하고 있는 쓰기 평가 문항 유형 목록과 Brown(1996)의 검사 문항 형식 분석 지침을 참고하였다. 내용 분석의 기준을 설정하기 위해 전은주(2008)의 연구와 《국제 통용 한국어 표준 교육과정》을 활용하여 평가 기준을 범주별로 분류하고 항목을 세분화하였다.
쓰기 평가 문항의 유형을 살펴본 결과 문장 완성하기 2문항, 설명·묘사하기 1문항, 자유 작문 1문항으로 평가 문항의 유형이 고정되고 정형화되어 있다. 쓰기 평가 문항의 형식을 유형별로 분석한 결과, 쓰기 평가 내용이 발문을 통해 분명하게 제시되지 않는 문항이 다수 발견되었으며 채점 기준이 명확하게 제시되지 않고 있는 것으로 파악되었다. 쓰기 평가 문항의 내용 분석 기준에 근거하여 소재, 기능, 맥락, 텍스트 유형의 범주로 나누어 분석하였다. 분석 결과, 네 가지 범주에 대하여 평가 기준에 제시된 내용이 쓰기 평가 문항에 잘 반영되지 않았으므로 타당도가 다소 낮다고 볼 수 있다.
본 연구의 쓰기 평가 문항 타당도 분석은 검증의 기준이 연구자의 주관적인 판단에 의존하므로 주관성을 배제하기가 어렵지만 평가 기준에 의거한 분석이 이루어졌다는 점에 의의를 둔다. 또한 타당도와 신뢰도가 높은 한국어 쓰기 평가 문항의 개발 및 연구에 조금이나마 도움을 줄 수 있기를 바란다.

다국어 초록 (Multilingual Abstract)

As a publicly trusted national authorized test the Test of Proficiency in Korean (TOPIK) is a standardized assessment tool that can measure the Korean language ability and confirm the learner's Korean language proficiency. This test not only has a positive impact on the overall Korean language education including the design, teaching, learning and evaluation of the Korean language curriculum, but it also plays a role in presenting the direction of Korean language learning in addition to the evaluation function to the learners. As such, the impact of the Korean Language Proficiency Test on the development of Korean language education is enormous and its status is gradually increasing, so more reliable and appropriate evaluation is required. In order for such test to be a highly authentic evaluation tool, the review of the validity whether it properly evaluates in accordance with the evaluation criteria should be realized. For this the analyze of the evaluation items should be done first, and in particular, this study intended to carry out the validity analysis of the writing test questions with the recognition that it is urgent to analyze the test questions of the writing, which is essential ability to improve communication ability.
The validity analysis of the writing test questions was targeted the writing test questions of TOPIKⅡ from the revised 35th to the revealed 52nd. In order to establish the criterion for the questions analysis before the analysis, this study referred to the list of the questions types of the writing test suggested by Kang Seung Hye et al. (2006) and the guidelines of the analysis of the test questions form of Brown (1996). In order to establish the criteria of content validity analysis, evaluation criteria were classified and subdivided by categories by using the study of Jeon Eun-ju (2008) and 《The International Standard Curriculum for Korean Language》.
As a result of examining the type of writing test questions, they type of evaluation questions was fixed and standardized with the two questions for sentence completion, 1 question of explanation/description, and 1 question of free composition. As a result of analyzing the forms of writing test questions by type, many items were found that were not clearly presented through the contents of writing, and the evaluation criteria were not clearly presented. The contents validity of the written test questions were analyzed by the categories of material, function, context, and text type based on the analysis standard. As a result of the analysis, it can be said that the content validity is somewhat low because the contents presented in the evaluation criteria for the four categories are not well reflected in the writing test questions.
The validity analysis of writing evaluation questions of this study has significance in that the analysis is done based on evaluation criteria, though it is difficult to rule out the subjectivity as the criteria of validation depends on the subjective judgment of the researcher. This study also hopes that it would contribute, if a little, to the development and research of Korean language writing evaluation items with high validity and reliability.

목차 (Table of Contents)

• 표 목차 ⅲ
• 그림목차 ⅴ
• 국문초록 ⅵ
• 제 1 장 서론 1
• 제 1 절 연구의 목적 1
• 제 2 절 선행 연구 검토 2
• 제 3 절 연구의 대상 및 방법 4
• 제 2 장 한국어 쓰기 평가 6
• 제 1 절 한국어 쓰기 평가 6
• 1. 한국어 쓰기의 개념 6
• 2. 한국어 쓰기 평가의 목적과 범주 7
• 제 2 절 한국어능력시험에서의 쓰기 평가 9
• 1. 한국어능력시험의 목적과 응시 대상 10
• 2. 한국어능력시험의 평가 체제 11
• 3. 한국어능력시험의 문항 구성 및 평가 기준 12
• 4. 한국어능력시험의 쓰기 평가 14
• 제 3 장 한국어능력시험 쓰기 평가 문항 분석 기준 16
• 제 1 절 한국어 쓰기의 표준 교육 모형 16
• 제 2 절 한국어능력시험 쓰기 영역의 평가 기준 18
• 제 3 절 한국어능력시험에서의 쓰기 평가 문항 분석을 위한 기준 설정 19
• 1. 쓰기 평가 문항 형식 분석을 위한 기준 설정 20
• 2. 쓰기 평가 문항 내용 분석을 위한 기준 설정 27
• 제 4 장 한국어능력시험 쓰기 평가 문항 타당도 분석 41
• 제 1 절 쓰기 평가 문항의 형식 분석 41
• 1. 쓰기 평가 문항의 유형 분석 41
• 2. 쓰기 평가 문항의 유형별 형식 분석 56
• 1) 문장 완성하기(실용문) 56
• 2) 문장 완성하기(설명문) 60
• 3) 설명·묘사하기 65
• 4) 자유 작문 73
• 제 2 절 쓰기 평가 문항의 내용 분석 81
• 1. 소재 범주 82
• 2. 기능 범주 84
• 3. 맥락 범주 87
• 4. 텍스트 유형 범주 89
• 제 5 장 결론 93
• 참고문헌 97
• Abstract 100