다국면 라쉬 모형을 통한 한국어 쓰기 평가에서의 채점 경향 연구

국문 초록 (Abstract)

본 연구는 다국면 라쉬 모형을 활용하여 한국어 쓰기 평가의 채점자들에게서 나타나는 전반적인 채점 경향을 살펴보고, 나아가 채점자들의 한국어교육 경력과 채점자 훈련 경험이라는 채점자 특성 변인이 채점의 엄격성이나 일관성, 편향성 등의 채점 경향에 미치는 영향을 객관적으로 분석하는 데에 그 목적을 두었다.
연구의 결과를 간략히 살펴보면, 한국어 쓰기 채점자들은 엄격성에서 큰 편차를 보이고 있었으며, 채점의 일관성에 문제가 있거나 특정 평가 범주에 대한 편향성을 나타내는 채점자가 여럿 관찰되었다. 한편, 본 연구에서 설정한 채점자 특성 변인은 채점 경향에 영향을 주는 것으로 나타났다. 대체로 경력이 낮고 채점자 훈련 경험이 있는 채점자가 더 엄격한 채점을 하는 경향이 있었다. 한편, 채점자 훈련 경험이 있는 채점자들은 채점의 일관성과 편향성 면에서 채점자 훈련 경험이 없는 채점자들보다 더 나은 양상을 보여주고 있었다. 평가 범주별 채점 척도 사용에 있어서도 집단 간의 차이가 나타났다. 특히, 한국어교육 경력이 낮은 채점자들과 채점자 훈련 경험이 없는 채점자들은 언어의 정확성 범주에 매우 엄격한 경향을 보였으며, 채점자 훈련을 받은 채점자들의 경우에는 내용 및 과제수행 범주에 엄격한 경향을 나타냈다.
본 연구는 한국어 쓰기 평가 분야에서 아직 활발하게 논의되어 오고 있지 않은 쓰기 채점자들의 전반적인 채점 경향과 채점자 특성에 따라 다르게 나타나는 채점 경향을 구체적으로 분석하였다는 점에서 그 의의를 찾을 수 있다.

목차 (Table of Contents)

• 1. 서론 1
• 1.1. 연구의 목적 및 필요성 1
• 1.2. 선행 연구 4
• 1.3. 연구 방법 및 내용 10
• 2. 쓰기 평가와 채점 경향 12
• 2.1. 쓰기 평가의 개념, 방법과 신뢰도 12
• 2.1.1. 쓰기 평가의 개념 12
• 2.1.2. 쓰기 평가의 방법과 신뢰도 16
• 2.2. 쓰기 평가에서의 채점자 특성과 채점 경향 19
• 2.2.1. 쓰기 평가에서의 채점자 특성 19
• 2.2.2. 쓰기 채점자의 채점 경향 21
• 2.3. 채점 경향의 측정 방법으로서의 다국면 라쉬 모형 25
• 2.3.1. 다국면 라쉬 모형의 개념 26
• 2.3.2. 채점자 연구에 있어서 다국면 라쉬 모형의 유용성 31
• 3. 채점 경향 분석을 위한 연구 방법 35
• 3.1. 연구 문제 35
• 3.2. 연구 대상 36
• 3.2.1. 채점자 36
• 3.2.2. 채점 대상 글 38
• 3.2.3. 채점 기준 39
• 3.3. 자료 분석 방법 41
• 3.4. 연구 절차 44
• 4. 한국어 쓰기 평가에서의 채점 경향 46
• 4.1. 자료의 적합도 분석 46
• 4.2. 채점자들의 전반적 채점 경향 49
• 4.2.1. 전체 측정 국면의 분포도 분석 49
• 4.2.2. 채점의 엄격성 분석 53
• 4.2.3. 채점의 일관성 분석 55
• 4.2.4. 평가 범주에 따른 채점 경향 60
• 4.2.5. 채점의 편향성 분석 70
• 4.3. 채점자 특성에 따른 채점 경향 74
• 4.3.1. 채점자 특성에 따른 엄격성 분석 74
• 4.3.2. 채점자 특성에 따른 일관성 분석 76
• 4.3.3. 채점자 특성에 따른 편향성 분석 79
• 5. 결론 및 제언 86
• 참고문헌 93
• 부록 104
• <부록 1> 채점지 예시 104
• <부록 2> 채점자 대상 사후 설문지 105