논술문 평가의 신뢰도 향상에 관한 연구 : 평가자 협의회를 중심으로|RISS 상세보기

국문 초록 (Abstract)

본 연구는 논술문 평가자 협의회를 통해 평가자간 일치율을 높임으로써 논술문 평가의 신뢰도 향상에 기여할 것을 목적으로 진행되었다. 그리고 실험 수행을 위해 선행 연구들의 검토를 통해 이론적 배경을 마련하였으며, 이 과정에서 논술의 개념 및 성격에 대하여 알아보고, 일반적 쓰기 평가의 원리에 터한 논술문 채점의 원칙 및 기준에 대해서도 고찰해 보았다.
그리고 이러한 이론적 배경을 토대로 하여 평가자 협의회의 효과를 두 개의 실험집단을 통해 검증해 보았다. 실험 결과 평가자 협의회의 횟수를 아무리 늘린다 할지라도 평가자간 평가 결과의 완벽한 일치가 여렵다는 사실을 확인할 수 있었다. 그리고 3인이 동일한 기준과 방법에 의해 평가할 때 적어도 2인은 거의 유사한 평가 결과를 보인다는 사실도 발견할 수 있었다. 따라서 논술문 평가에 있어 3인 이상이 공동 채점을 하되, 큰 차이를 보이는 한 명의 점수를 제한 나머지 2인의 점수를 평균하여 부여하는 것이 적합할 것이라는 결론에 도달하였다.
그리고 논술문을 채점할 경우 총체적 평가와 분석적 평가가 논술문을 서로 다른 기준에서 평가를 하기 때문에 평가 결과에 차이를 보일 수 있으므로 두 방법을 절충하여 평가할 필요가 있다. 평가자 협의회를 진행하면서 이에 대하여 교사들이 제시한 적정안에 따르면 우선 총체적 평가를 통해 등급을 부여하여 전체적인 글의 수준을 결정한 뒤, 각각의 등급 안에서 분석적 평가를 실시함으로써 세부적인 논술 능력의 구성요소들에 대해서도 평가를 하는 것이 바람직할 것이다. 전체 글을 먼저 검토해야만 작성된 논술문들의 수준을 파악할 수 있고, 이렇게 통합적 구조물로서의 글의 수준을 가늠하고 난 뒤에 각 글들의 요소별 평가를 실시하여 타당한 점수를 부여할 때 가장 이상적인 채점을 할 수 있다는 것이다. 그렇지 않을 경우 평가자는 논술문에 점수를 부여할 때 앞뒤 논술문의 영향을 받게 되며, 결국 공정한 배정을 할 수 없게 되거나 이미 채점한 논술문에 대하여 반복하여 채점하면서 점수를 수정하는 경우가 발생하게 된다.
따라서 논술문 채점의 상황에서는 주어진 모든 논술문을 전체적으로 검토하여 대강의 수준을 파악하고 이를 기준으로 총체적 평가를 실시하여 등급을 결정한 다음, 학생들의 논술 능력을 보다 정확하게 파악하기 위해 분석적 평가를 실시함으로써 타당한 점수가 주어질 수 있도록 하여 학생들이 자신의 수준을 정확히 진단받을 수 있도록 해야 한다.
또한 본 연구의 실험에 따르면 논술문 평가에 앞서 협의회를 가질 때 3인으로 구성하는 것은 바람직하며, 채점 상황은 명확하게 규정할 필요가 있는데, 평가 상황이 학생들의 수준을 진단함으로써 학습에 피드백을 제공하는 것을 목적으로 하는지, 총체적인 학생들의 쓰기 능력 및 사고력을 측정함으로써 서열화를 통한 선발을 목적으로 하는지에 따라 평가의 기준 및 방법을 달리하여 평가에 임해야 할 것이다.
그리고 평가자 협의회에 참여하는 평가자들은 각자 평가자로서의 전문 소양과 자질을 갖추고 협의회와 실제 평가에 임해야 한다. 전문적 자질이란 공정한 평가를 위해 여러 오류들을 극복할 수 있는 능력이며, 또한 열린 마음으로 평가 상황과 여러 사람들의 평가 관점을 두루 고려할 수 잇는 자질로서 평가 결과의 일치를 위해 매우 중요한 요소이다. 즉 평가자들의 유연한 사고는 협의회의 효과를 극대화하는 데 필수적인 요소이며, 합리적인 의사결정을 위해 기본이 되는 요소이기도 하다. 이러한 전문가적 자질들이 평가자들 개개인의 발전을 도모할 수 있을 뿐 아니라 서로의 능력을 향상시킬수 있기 때문이다.
본 연구에서는 논술문 채점의 신뢰성에 대한 문제로부터 출발하여, 이를 극복하기 위해 논술문 채점자간 신뢰도를 높일 수 있는 방법으로 여러 연구자들이 제시한 방법인 평가자 훈련의 일환으로 평가자 협의회를 선택하고 그 효과를 검증하기 위해 실험을 설계하였다. 실험 결과 평가자 협의회는 평가 방법에 상관없이 채점자간 평가 결과의 일치율을 향상시키는 데 적극 기여한다는 것을 확인하였다. 따라서 논술문 평가자 협의회를 통해 논술문 평가의 신뢰도를 향상시킬 수 있으리란 본 연구의 기본 가설은 타당한 것임이 입증되었다.

번역하기

본 연구는 논술문 평가자 협의회를 통해 평가자간 일치율을 높임으로써 논술문 평가의 신뢰도 향상에 기여할 것을 목적으로 진행되었다. 그리고 실험 수행을 위해 선행 연구들의 검토를 통...

목차 (Table of Contents)