지리과 서답형 문항의 채점 및 평가 방안에 관한 연구 -NAEP 4학년 서답형 답안의 채점 사례를 중심으로- = A Study of on the Scoring Rubric of Constructed-response Items in Geography Education Case Study on the Constructed-Response Items of the NAEP

다국어 초록 (Multilingual Abstract)

Although many educators think constructed-response items are very useful evaluation tool, it is not yet universalized to make those items because of a matter of preparation of scoring guide, accuracy of scoring, and reliability of grading, ect. This study analyzes the NAPE scoring system of constructed-response items of USA, and examines the considerations in scoring of the constructed-response items, scoring guidelines, scoring practices, and scoring categories or grades of constructed-response items, ect. On the basis of these analysis, the author puts forward some suggestions and comments as follows. First, it is important to make sure of the reliability and objection of scoring through ongoing identifying qualified scorers and scoring checks rather than to provide rubric only. Second, it is necessary not to prepare key word scoring system but to devise those scoring guide that considers a wide range of factors which affect examination papers. Third, we should offer ground informations such as scorer comments, description of scoring guide to students and teachers concerned.

국문 초록 (Abstract)

서답형 문항은 많은 교육자들에게 유용한 평가 도구로 인식되고 있지만 채점 기준을 마련하는 것의 어려움과 그 정확성의 문제, 채점 결과의 신뢰성, 그리고 채점 작업의 복잡성 등을 이유로 그동안 지리과에서 활발하게 제작되지 못했었다. 이 연구는 미국의 NAEP 지리과 서답형 문항의 채점 사례를 검토하여 서답형 문항의 채점을 위한 사전 고려 사항을 비롯해 채점 기준의 상세화, 점수 부여 방법, 채점 결과의 해설 등 서답형 문항의 전반적인 채점 시스템을 분석하였다. 이를 바탕으로 연구자는 우리나라의 서답형 문항 채점 시스템의 개선을 위한 몇 가지 시사점을 도출할 수 있었다. 첫째, 채점 기준을 마련하는 데에 그칠 것이 아니라 평정자의 전문성 제고, 지속적인 채점 보정과 점검 등을 통해 채점의 신뢰성을 확보하는 일이 중요하다. 둘째, 답안에 직간접적으로 함축되어 있는 학생들의 사고력을 충분히 측정할 수 있도록 키워드 중심의 기존 채점 방식을 탈피하여 채점 상세 내용을 개발해야만 한다. 셋째, 채점 시스템을 폐쇄적으로 운영하기 보다는 채점의 근거 및 채점 결과 해설에 대한 정보를 학생과 교사들에게 제공할 필요가 있다.

참고문헌 (Reference)

1 NAGB, 2010

2 장의선, "지리과 서답형 문항의 주요 유형에 관한 연구 -NAEP의 지리과 4학년 문항을 사례로-" 대한지리학회 47 (47): 934-954, 2012

3 교육과학기술부, "중등학교 학사관리 선진화방안"

4 양길석, "서술형·논술형 평가 문항의 제작, In 서술형·논술형 평가 예시문항 자료집(심화선택 일반사회 경제/사회·문화)-" 서울특별시교육청 3-26, 2006

5 장의선, "미국과 한국의 국가수준 평가 체제에 대한 비교 연구" 한국사회교과교육학회 18 (18): 93-119, 2011

6 노은희, "대규모평가를 위한 서답형 문항 자동 채점 방안연구" 한국교육과정평가원 2012

7 심재호, "국내외 학업성취도 평가의 서답형 문항 특성과 채점 체제 고찰" 한국열린교육학회 20 (20): 159-185, 2012

8 Williams, J., "Writing Quality Teacher-Made Tests: A Handbook for Teachers"

9 Tuckman, B., "Tips for using essay tests" 59 (59): 71-, 1994

10 NCES, "The Nation’s Report Card: Geography 2010" 2011

11 Schafer, W., "Resistance to Confounding Style and Content in Scoring Constructed-Response Items" 24 (24): 22-28, 2005

12 Odendahl, N., "Put Your Tests to the Test" 34 (34): 46-47, 2007

13 Ory, J., "Improving Your Test Questions"

14 C. Keith Waugh, "Assessment of Student Achievement" Pearson 2013

15 Popham, W.J., "Assessment for educational leaders" Pearson 2006

16 Kan, A., "An Alternative Method in the New Educational Program from the Point of Performance-based Assessment: Rubric Scoring Scales" 7 (7): 144-152, 2007

17 김미경, "2012년 국가수준 학업성취도 평가 출제 연구" 한국교육과정평가원 2012

18 한국교육과정평가원, "2011년 국가수준 학업 성취도 평가 채점 매뉴얼-고등학교 2학년 서답형 문항 온라인 채점-"

19 진재관, "2010년 국가수준 학업성취도 평가 결과 분석 -사회-" 한국교육과정평가원 2011