평가자 변인에 따른 채점-재채점 신뢰도 분석

국문 초록 (Abstract)

국어교육에서 쓰기 직접 평가는 학생들의 쓰기 능력 진단과 발달을 위해 중요한 의미를 갖는다. 따라서 국어교사에게는 쓰기 직접 평가를 위해 쓰기평가에 관한 지식과 효능감을 고루 갖추고 타당하고 신뢰할 수 있는 쓰기평가를 하는 전문성이 요구된다. 하지만 쓰기 채점 시 채점자가 주관성 개입 문제를 극복하고 글에 점수를 부여하는 경향을 지속적으로 일정하게 유지하는 채점 일관성을 갖는 데에는, 집중도 하락이나 피로도 증가, 채점 척도와 기준 활용의 차이 등으로 인해 어려움이 따른다. 따라서 채점 일관성 정도를 판단하고 이를 향상시킬 수 있는 방안을 모색하는 일은 중요하다.
이러한 문제의식에 기초하여, 이 연구에서는 쓰기평가에서의 채점자 내 일관성을 채점-재채점 신뢰도 분석을 통해 실증적으로 확인하고자 한다. 평가자 일관성 유형과 쓰기평가 효능감 수준 그리고 배경요인에 해당하는 경력과 성별 등을 변인으로 하여 채점-재채점 신뢰도를 분석, 쓰기평가자의 평가 특성을 통해 채점 일관성 신장 방안을 모색하였다.
이 연구에서는 30명의 평가자를 대상으로 하여 총 2회에 걸쳐 쓰기 채점을 시행하였다. 성별을 기준으로 하면 남교사 12명(40.00%), 여교사 18명(60.00%), 경력을 기준으로 하면 5년 미만 4명(13.33%), 5년 이상∼10년 미만 14명(46.67%), 10년 이상∼15년 미만 9명(30.00%), 15년 이상 3명(10.00%)으로 총 30명의 국어교사를 대상으로 하였다. 평가자들은 7개 평가 요소로 이루어진 6점 척도의 채점 기준표에 따라, 논설문 쓰기 과제를 수행한 고등학교 2학년 학생의 글을 채점하였다. 1, 2차 채점 시기에 각각 35편의 학생 글을 채점하였고, 그 중 20편에 해당하는 학생 글은 1, 2차 채점 시기에 동일하게 주어져 차후 채점-재채점 신뢰도 분석의 대상으로 삼았다. 또 평가자 요인 검사지, 쓰기평가 효능감 검사지가 투입되었고, 일부 평가자를 대상으로 심층 면담이 실시되었다.
기술통계 분석을 통해 1, 2차 채점 결과를 정리하고, 그 중 채점-재채점 신뢰도 분석의 대상이 되는 학생 글 20편에 대한 기술통계를 따로 분석하였다. 평가자 일관성 유형에 따른 채점-재채점 신뢰도 분석을 위해, 채점 결과에 대한 모형 적합도 검사 후 다국면 Rasch 모형을 통해 분석한 채점 일관성과 엄격성의 특성을 서술하였다. 채점 일관성 유형에 따라 집단을 1∼6으로 분류하고, 그 중 특징적인 일관성 유형을 보여주는 집단인 1, 4, 6에 해당하는 평가자의 채점-재채점 신뢰도를 분석하였다. 또 쓰기평가 효능감 수준에 대해 서술한 후 효능감 수준에 따른 채점-재채점 신뢰도 차이를 분석하고, 경력과 성별에 따른 차이도 분석하였다. 서술과정에서 평가자와의 심층 면담 내용을 인용하고, 평가자 요인 검사지에 나타난 쓰기평가 연수 경험과 쓰기 직접 평가 경험에 관한 내용을 활용하여 채점 일관성 향상을 위한 방안을 모색하였다. 이러한 과정을 통해 얻은 결론은 다음과 같다.
첫째, 평가자별로 채점 일관성을 분석한 결과, 채점-재채점 신뢰도가 대체로 확보된 것으로 나타났다. 상관분석을 통해 얻은 상관계수가 폭넓게 분포하여 평가자마다 정도의 차이는 있으나, 중간 정도의 상관관계를 보인 평가자가 9명, 높은 상관관계를 보인 평가자가 18명으로 이는 적절한 수준의 채점 일관성을 유지하는 평가자가 다수 있음을 의미한다.
둘째, 평가자 엄격성과 일관성을 분석한 결과, 평가자 개인마다 엄격성 수준에 편차가 있음이 나타났다. 전반적으로 엄격한 평가자보다 관대한 평가자가 많았고, 채점과 재채점에서 서로 다른 엄격성 수준을 보이는 평가자도 있었다. 이러한 엄격성의 차이는 쓰기평가의 신뢰도에 문제를 가져올 수 있음을 의미한다.
셋째, 일관성 유형에 따라 평가자를 분류한 결과, 전체 평가자 중 1/3의 비율에 해당하는 평가자가 채점과 재채점에서 모두 채점 일관성을 적절히 유지하는 편이었으나, 마찬가지로 1/3에 해당하는 평가자들은 채점과 재채점에서 모두 과적합하거나 또는 부적합한 양상을 보이기도 했다. 이는 쓰기평가에서 평가자의 채점 일관성 신장이 필요하다는 것을 시사한다.
넷째, 평가자의 일관성 유형에 따른 채점-재채점 신뢰도를 분석한 결과, 채점과 재채점에서 모두 적합한 일관성을 보인 집단의 경우 대부분 높은 상관관계 또는 중간 정도의 상관관계를 보였다. 하지만 일관성 유형에 따라 채점-재채점 신뢰도가 일관된 경향을 보인다고 볼 수는 없었고, 쓰기평가의 경험이나 연수 등에 따라 달라지는 측면이 있음을 심층 면담을 통해 알 수 있었다. 이는 쓰기평가에 관한 채점자 훈련이 요구됨을 의미한다.
다섯째, 평가자의 쓰기평가 효능감에 따른 채점-재채점 신뢰도를 분석한 결과, 효능감 수준에 따른 일관된 경향은 뚜렷하지 않았으나 대체로 효능감 수준이 높은 평가자가 채점-재채점 신뢰도의 수준도 높은 경우가 많았다.
여섯째, 평가자의 경력과 성별에 따라 채점-재채점 신뢰도를 분석한 결과, 일반화할 수 있는 경향은 발견하지 못했으나 주로 5년 이상∼10년 미만의 경력에 속하는 평가자가 높은 정도의 상관관계를 보이는 비율이 높았다. 또 남교사의 경우에 낮은 정도의 상관관계를 보이는 정도가 높은 편이었다.
일곱째, 쓰기 평가자의 채점 일관성을 신장시키기 위해서는 쓰기평가 지식 습득과 실제 채점이 이루어지는 채점자 훈련, 피드백을 통한 자기 성찰 기회 부여 등이 필요함을 알 수 있었다.
이 연구는 국어교사를 대상으로 두 차례의 쓰기 직접 평가를 실시하여 채점-재채점 신뢰도를 분석하였고 이를 통해 채점 일관성을 실증적으로 확인하였다는 점, 채점 결과를 바탕으로 평가자의 채점 일관성 유형, 쓰기평가 효능감, 경력과 성별에 따른 채점-재채점 신뢰도 차이를 확인하여 평가자 특성을 분석, 평가자 요인을 고려하고 심층 면담을 통해 채점 일관성 신장 방안을 모색했다는 점, 이를 통해 쓰기평가에서의 채점 일관성 연구에 실증적 자료를 제공한다는 점에서 의의가 있다.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1. 연구의 필요성 및 목적 1
• 2. 선행 연구 검토 3
• 3. 연구 문제 및 제한점 8
• Ⅱ. 이론적 배경 10
• 1. 쓰기평가의 특성 10
• 2. 쓰기평가 신뢰도 12
• 3. 쓰기 평가자의 평가 특성 14
• Ⅲ. 연구 방법 19
• 1. 연구 대상 19
• 2. 검사도구 20
• 3. 연구 절차 25
• 4. 분석도구 30
• Ⅳ. 연구 결과 및 논의 31
• 1. 전체 채점 결과 31
• 2. 채점, 재채점 기술통계 35
• 3. 평가자별 채점-재채점 신뢰도 38
• 4. 일관성 유형에 따른 채점-재채점 신뢰도의 차이 40
• 5. 쓰기평가 효능감에 따른 채점-재채점 신뢰도의 차이 61
• 6. 경력 및 성별에 따른 채점-재채점 신뢰도의 차이 65
• Ⅴ. 결론 68
• 참 고 문 헌 73
• ABSTRACT 80
• 부록 차례 86